Find it if you can: a game for modeling different types of web search success using interaction data
SIGIR2011 Best paper
内容
検索が成功するとはどういう事か，どんな感じで皆検索してるのかを分析．
実験方法
実験方法はAmazon Mechanical Turkを使って，ユーザに"What animal is smaller than a bear but it eats a plant called bearberry?"とか"How many Argentine soldiers died in falklands islands war?"みたいな問題を与え，検索して解いてもらう．200人のユーザで実験．自明な質問を間違ったり，ルールを理解してなかったりといったアレなユーザをフィルタリングすると159人(79.5%)残るので彼らに1ドル，正解数の上位25%にボーナスで1ドル支払ったので最終的なコストは"In total, the user payments cost less than $250"と強調されている．
アルゴリズムはMarkov ChainだったりCRFだったり．
感想
安くて良い．そのうち卒論生もMechanical Turkを使うようになり，きっと来年ぐらいにはtwitterで「【急募】卒論の実験被験者募集してます！」とかいうRTも流れて来なくなる．
