2018年11月23日金曜日

5%の力

その昔、検索エンジンのローカライズテストをしていたときのお話です。

検索エンジンなので、究極には、すべてのユーザーの検索に対して
検索した期待値を表示することが求められますが、
たとえば「テスト」と検索したときに、ユーザーが

  • 検索を初めて使って、ただテストと入れてみた
  • 学校のテストの答えを探したかった
  • 適性試験の傾向を調べたかった
  • ソフトウェアテストの記事を探したかった
などなど、いろいろ考えられる中から、ユーザーの傾向を推測して
表示する、というようなことをしたりしていました。

リリースも落ち着いて、だいぶ検索結果の信頼性もおちついてきたころ、
検索エンジンのチューニングがあり、
「5%のジャンクは捨てても問題ないので、新しいロジックで実装する」という方針があり
検索してみたところ、体感としては5%以上の確率で、全く期待していない
結果がトップにくることがありました。

よくよく考えてみると、検索エンジンにとって5%というのは、
20回に1回間違った結果を表示することになります。
検索を20回、というのは、普段使っているユーザーにはほぼ確実に
目に入ることになります。

はたして本当に、そのチューニングは正しかったのでしょうか?

その後、どういう経緯があったのか知る機会はありませんが、
新しいチューニングは1か月もしないうちに元に戻っていたようです。

5%は、本当に無視してもいい数字なのか?
それ以来、時々思いだして考えています。


2018年11月18日日曜日

UTP2

UTP2を勉強したときに作ったテストステラテジーです。
実運用するには、シナリオテストのあたりをもう少し細分化する必要があるかとおもっております。日々更新中。