A study on the impact of product images on user clicks for online shopping
概要
またもeBay．product search(商品検索)において商品画像そのものから特徴量を抽出しfeatureに追加する．
問題設定
特徴
二種類の特徴を考える．
Global features
- Brightness: 明るさ．RGBで
とする
- Contrast: コントラストはっきりしてる方がいいよねという事で．root mean square contrastを使って
Regional features
まず画像を商品と背景に分割する．そのためにgrabcutなるアルゴリズムを使うがその時のパラメータ決定はヒューリスティクスを用いて自動決定するようにした．
- Lightness of background: いい商品画像は背景が明るい色で有ることが多い．ので白と背景色のL2距離を取って，平均/分散をそれぞれ
として
と線形結合
- Colorfulness of foreground: 商品のカラフルさ．Measuring colorfulness in natural imagesを用いる
- Ratio of background and foreground: 普通に商品と背景画像の面積比
実験
CTR(Click Through Rate)，つまりは何回その商品がクリックされるかの回帰問題を解く．商品属性を入れるとMSEが改善．
また，その時のモデルにおいては100以上のfeatureを使ったが，変数の有効性をランキングしたところ，商品属性は上位25位に入った．中でも商品のカラフルさとコントラストが商品属性の中で一番効いていた．
感想
画像情報を使うというのは初めて聞いたわけだが，検索のfeatureにサムネイルの画像情報を使うとか普通にやられてるんですかね．
