検索エンジンなので、究極には、すべてのユーザーの検索に対して
検索した期待値を表示することが求められますが、
たとえば「テスト」と検索したときに、ユーザーが
- 検索を初めて使って、ただテストと入れてみた
- 学校のテストの答えを探したかった
- 適性試験の傾向を調べたかった
- ソフトウェアテストの記事を探したかった
などなど、いろいろ考えられる中から、ユーザーの傾向を推測して
表示する、というようなことをしたりしていました。
リリースも落ち着いて、だいぶ検索結果の信頼性もおちついてきたころ、
検索エンジンのチューニングがあり、
「5％のジャンクは捨てても問題ないので、新しいロジックで実装する」という方針があり
検索してみたところ、体感としては５％以上の確率で、全く期待していない
結果がトップにくることがありました。
よくよく考えてみると、検索エンジンにとって５％というのは、
２０回に１回間違った結果を表示することになります。
検索を２０回、というのは、普段使っているユーザーにはほぼ確実に
目に入ることになります。
はたして本当に、そのチューニングは正しかったのでしょうか？
その後、どういう経緯があったのか知る機会はありませんが、
新しいチューニングは１か月もしないうちに元に戻っていたようです。
５％は、本当に無視してもいい数字なのか？
それ以来、時々思いだして考えています。
