Predicting searcher frustration
概要
ユーザは探している情報が見つかれば満足するかもしれないが，しかし，検索過程において苛々するという事は起こりうる事である．よって，検索の過程におけるユーザの苛立ちを予測したい．例えば，苛立ちを予測して検索アルゴリズムなどを変更できると望ましい．
目的
ゴールはこの3つ
- どのようにユーザの苛立ちを把握するかを特定する
- 裏立ちの原因/種類はどのようなものか特定する
- 苛立ちを軽減するためにシステム側でできそうな事は何かを特定する
それらに加え，そもそも苛立ちは予測できるのか，そしてクエリログとセンサーから得られた特徴量の中で何が最も重要なのかを特定することも目的である．
貢献
- 検索におけるユーザの苛立ちをはじめて研究した
- a publicly available data set of the data collected(検索エンジン側でなくブラウザアドオン形式で収集したデータだと言いたい?)
- センサーとクエリログから得られた特徴を使ったオンライン学習(と言うよりストリームデータに対する学習)による特定
関連研究
Frustration in Information Retrieval
- クエリログから計算しているものではないが，システムを利用するユーザの苛立ちを分類した研究
Satisfaction in Information Retrieval
この論文ではそもそもユーザの満足を情報が見つかった事と定義している．
- Beyond dcg: User behavior as a predictor of a successful search(WSDM 2010)
- Markov chain によよってセッションが success するかどうかの予測
- How well does result relevance predict session satisfaction?(SIGIR 2007)
- 最初に入力したクエリにおける検索結果の上位3件による類似度がセッションの満足度と関係があるという線形モデルの提案
これらの既存手法はセッション/タスクごとに計算をするモデルであるが，提案手法はオンラインでの計算が可能である．
実験
タスクを設定して検索してもらいつつ苛々したか/役に立ったかなどを聞いていく．苛立ちの主な原因は下記の5つ．
- 関係ない検索結果が出た時
- 思ったより苦労した時
- 検索結果が一般的すぎた時
- 信用ならない答えが出た時
- そもそも答えが存在しないのではと思えた時
実験の結果分かった事は，ユーザは検索に成功しても苛々するし，失敗するともっと苛々する(table 4)．
feature
クエリログからの特徴量
- search features と task features に分ける
- search: 検索時間，開いたページ数，クエリの長さ，スクロール長など
- task: search featuresの幅を広げたもの．search featuresに加え，これまでのsearchの平均時間や開いた総ページ数や一度のsearchで開くページ数など
- 詳細はCharacterizing and Predicting Search Engine Switching BehaviorやUnderstanding the relationship between searchers' queries and information goalsを参照
センサーからの特徴量
- mental state camera/pressure sensitive mouth/pressure sensitive chairの3つ
モデリング
次の2点で予測を行う
- 常に予測を行う
- ユーザが検索しても何もクリックしなくなった時に予測を行う
モデルはロジスティック回帰とHassanらによるMarkov Model Likelihood．ロジスティック回帰についてはquery/sensor/allから変数選択を行った/行ってないものの6つ(ここが謎?)とWhite & Domaisによるもの．
