"Hi, Magic Closet, Tell Me What to Wear!"(ACM MM 2012) 読んだ

Hi, Magic Closet, Tell Me What to Wear!(ACM MM 2012)(pdf)

概要

ウェディングやショッピング，デートなどといったシチュエーション(以下だるいのでoccasionをシチュエーションと訳す)を指定すると最も適した服のコーディネートを，服の写真アルバムやオンラインショップなどから推薦してくれるマジッククローゼットを提案する．

アブスト

マジッククローゼットが考慮しているのは

服の属性: カクテルドレスのほうがパンツスーツよりはバンケットに適している，など
服の美しさ: 赤いTシャツは緑のパンツより赤いパンツに適している，など

の二つ．
服そのものの低レベルな特徴とシチュエーションなどの高レベルな特徴を埋めるために，我々は服のカテゴリや色，パターンなどといった中レベルの特徴を架け橋として用いる．もっと言えば．これらの属性は提案する Latent SVM における潜在変数(服の属性は特徴とシチュエーションを結ぶ潜在変数，服の美したは特徴と特徴を結ぶ潜在変数)として扱う．
Amazon Mechanical Turkを使って7つの服の属性，10のシチュエーションについてアノテーションした What-to-Wearデータセットを構築し実験した．

Contribution

三つ．

我々の知る限り，これは次の2つの問題に始めて取り組んだ論文である
- ある人のアルバムからあるシチュエーションにもっとも適した服装をいかにして推薦するか
- ファッションECからどうやって適した服装を持ってくるか
24471枚にも及ぶ，全てアノテーションされたWhat-to-Wearデータセットを構築したこと
服装のマッチングルールを同時に学習するような，シチュエーションベースのLatent SVMによる推薦モデルを提案したこと

データセット構築

画像

Flickrとかからガンガン集めてくる．全身が写った画像が9469枚，上半身だけの画像が8421枚，下半身の画像が6527枚．

アノテーション

服のカテゴリと服の属性，シチュエーションについてメカニカルタークでアノテーション．

手法

画像を上半身/下半身のvisual feature，上半身の特徴，下半身の特徴，シチュエーションのタプルである $(\mathbf{x}, \mathbf{a_u}, \mathbf{a_l}, \mathbf{o})$ で表す．
モデルはシチュエーションを受け取って適した服を返すものであり，ついでに服とシチュエーション，服と服のマッチングも考える必要がある．
モデルは大雑把に言うと $\mathbf{w}^T_o\Phi(\mathbf{x}, \mathbf{a_u},\mathbf{a_l}, o)$ を

visual wordとシチュエーションの関数 $\mathbf{w}^T_o\phi(\mathbf{x}, o)$
visual wordと上/下半身の特徴の関数 $\sum_{j \in A^u \cup A^l} \mathbf{w}_{a_j}^T\varphi(\mathbf{x}, a_j)$
上/下半身の特徴とシチュエーションの関数 $\sum_{j \in A^u \cup A^l} \mathbf{w}_{o, a_j}^T\omega(a_j,o)$
上半身と下半身の特徴の関数で考える．
- $\epsilon$ は上半身から下半身への組み合わせであり得るものを有向グラフで考える(例えば，上半身の色が決まったら下半身の色もある程度決まるといった関係)．