[0907.1815] Frustratingly Easy Domain Adaptation
目的
簡単にDomain Adaptationをやる.
問題設定
ラベルつきデータが大量にあるsourceとラベルつきデータがあんまりないtarget,2つのドメインを考えて上手いこと学習したい.
方法
からを予測したい.この時のベクトルをつくることを考える.をそれぞれsourceドメイン,targetドメインとすると,
としてみる(0は0要素がF個並んだもの).するとこれを使って学習して得られた重みベクトルのうち,aは両ドメイン共通,bはs固有,cはt固有の重みであると考えられそう.
あとはそれぞれのベクトルでsourceとtargetで学習(アルゴリズムは何でも良し)して,重みwをの形に分解し,すれば良いらしい.
これが良い理由の考察として,tとsを分けて最適化するのではなく,両方含んだ式についてminをとろうと考えるからとかなんとか.
致命的な誤読.
このあたりの話は,正則化項が,ベイズ的には事前分布とみなせるいつもの話は,ここでも成り立つよっていう議論で,学習は普通にやればよかったと思うのですが
Frustratingly Easy Domain Adaptation読んだメモ - 糞ネット弁慶
仰ってる通りでは学習を普通に終えた後にそういう風に考えることができるよねぐらいの話でした.
実験結果
良かった.
シンプルすぎてまさにFrustratinglyだった.
カーネル使った話のあたりがよく理解できなかった.