PJS: Phoneme-balanced Japanese Singing-voice corpus
[2006.02959] PJS: phoneme-balanced Japanese singing voice corpus
Junya Koguchi さんと東大高道慎之介助教によって作成された，音素バランスを考慮した日本語歌声コーパスが公開されました．
このコーパスには声優統計コーパスの音素バランス文を歌詞としてメロディが付与された歌が含まれています．arXiv 原稿の
A native Japanese male in his twenties composed all the songs. He is not a professional composer but has work experience using his singing, composing, and recording skills.
という記述が良い．
ゴールデンウィークの握手会が延期になり気力が完全に尽きてしまい(そもそも2020年のほとんどのイベントが延期または中止になっているわけですが)，同じく握手会が延期になった友人と「アイドルとシロクマのことを考えないでください状態になっていてつらい」「何か没頭できる事は無いの」という話になった結果，「効果検証入門」を読んだ．
「どうせ読むのならば短期集中で」ということで，一日目午後に1章と2章，二日目午前に3章，午後に4章，三日目午前に5章のペースで Zoom で交互に節単位を音読しながら進めた．2020年，30歳を過ぎて音読．
数学力が低い自分でわかった気分になれる，非常に参考になった．明日からでも試したい．随所に「実際のビジネスの現場ではこんな滅茶苦茶なことが行われている」という記述が出てくるので考えさせられてしまう．「正しい効果を知るインセンティブとは何か?」に最後の章で触れていたのも良かった．耳が痛い．
脱落変数バイアスの概念はとても面白かったし，Difference-in-Differences はシンプルながら (その分平行トレンド仮定が強力ですが) 試したいと思えた．反対に causalimpact についてはそこまでモチベーションが湧かなかった．十分に学習された予測器にもとづいて何かをする，というのがどうにも受け入れにくい．回帰不連続デザインは話としては面白そうに見えたものの，「単に回帰をする」という話になっていて肩透かしを感じた．
そもそもが本書で紹介されているテクニックはどれも比較的シンプルでありながら多くの仮定のもとに成り立っており， AUC や Prec/Recall のようになんらかの定量的な「確からしさ」が出るわけでなく，セレクションバイアスは正負どちらにも発生するため，非常に扱いが難しいように思う．「今回の施策による効果量は『〜〜〜』という仮定が成立すると考えて計算していますが，『〜〜〜』というバイアスが排除しきれていない事は念頭に置かねばなりません．ですが，何も考えずに推定するよりは確からしいと考えられます」といったように，多くの留保にもとづいて説明するのが因果推論を用いた分析において取るべき態度なのでしょう．
いくつかのトピック，たとえば Conditional Independence Assumption や Post treatment bias や Bayesian Structual Time Series Model や合成コントロールについてはより詳しく知りたくなりました．また，因果ダイヤグラムやバックドア基準という単語も本文には登場しなかったので次はそのあたりを知っていきたい．
次は星野崇宏「調査観察データの統計科学」やPearl「入門 統計的因果推論」や岩波データサイエンス Vol.3や宮川雅巳「統計的因果推論」を読むべきなのでしょうが全部会社に置いたままです．
ybenjo/cibook_by_python にアップロードしました．注意点を書きます．
causalimpact を用いた実験RData の読み込みは ofajardo/pyreadr が良かった3.4.4 の傾向スコアの推定において本文では re74 と re75 の二乗を共変量に追加しているが，実験したところ傾向スコアが著しく悪化したために除外した
INFEASIBLE しか返さなくなり， NetworkX の Hopcroft–Karp も SciPy の maximum_bipartite_matching も上手く動かずに諦めたgroupby() して sum() した結果の加工が本当に分かっていない他の人も指摘しているかも知れないけれどネタバレが怖くて他人のエントリを読んでいない．自分の勘違いも多く含んでいると思う．
NA を含んだ場合，その行を除外して推定を行うのがデフォルトの挙動だと思うが，欠損値のある行を消してしまうのは新たなバイアスを産むのではないかrecencyが3より小さい場合 は 6より小さい場合 の誤り相関が強いと分子は0に近づき は 相関が強いと分母は0に近づき の誤り共変量のバランス における 平均の差をその標準偏差で割った の その がよくわからない．検索したところこの値は Cohen の d と呼ばれているらしい
よって，この分析の結果による効果量はそれらの差分をとって-1,554若しくは-43%ということになり は何に対して -43% なのか，分母は何なのかが明示されていないために分からない1853年の〜 という記述は全て 1854年D53 という変数が誤りなのではCigar データセットの導入が面倒だったので github の著者レポジトリで配布して欲しいと思いましたがライセンスが GPL2 だから無理なのでしょうか
Ecdat パッケージのインストールに失敗し続けたch4_did.R の causalimpact の select は dplyr:: で名前空間を指定しないとエラーが出る5.4.1
対応が遅れてしまい申し訳ありません．
GitHub の Issue でも指摘されていた (#6および#7) バランス文の読みを修正しました．該当箇所は 020，043，057，076，079，087 の読みと対応する音素です．変更差分はこの commit を参考にしてください．
また，声優統計コーパスを利用してる論文を検索して列挙しました．名の知れた会議の原稿に y_benjo and MagnesiumRibbon と書かれているのを読むのは気分が良いものです．
高道さん以外の研究室でも使われているのを見かけて驚きました．
しかし今更になって思うのですが引用先をホームページにするのではなく arXiv などの原稿にしておけば引用件数が Google に拾ってもらえたのではないでしょうか(検索結果に 被引用数 が表示されて欲しい)．今からでも間に合うのでしょうか．誰か arXiv への投稿を承認してくれる人を探さなければならない．この日記を読んでいる承認可能で「承認してもいい」という奇特な方はご連絡ください．
ここまで書いたところで「そもそも arXiv は実名で無い名前で原稿を投稿できるのだろうか」と思い調べたところ
It is a violation of our policies to misrepresent your identity or organizational affiliation.
Claimed affiliation should be current in the conventional sense: e.g., physical presence, funding, e-mail address, etc.
Misrepresentation of identity or affiliation, for any reason, is possible grounds for immediate and permanent suspension.
とあるので y_benjo and MagnesiumRibbon 名義で原稿を投稿するのは無理ということが分かりました．誰か回避策をください．
これは些細なことですが， Google の Dataset Search に反映されるように schema を書きました．早くクローラに検出されたい．
第22回情報論的学習理論ワークショップ (IBIS 2019) | 第22回情報論的学習理論ワークショップ, 2019.11.20〜23, ウインクあいちに行った．
always generate valid molecules って響きがかっこいいですね招待講演はホテルに戻って腹痛と格闘．
x_{t+1} = f(x_{t})a の組み合わせが膨大な時に全パターンを網羅するのは大変x と a との対を受け取って変換し uniform な施策の変換結果となるべく近づけるように学習「深層学習の理論」はホテルで作業．
「機械学習工学」の休憩時間に後ろから大学関係者による「数式が出てこない発表は面白くないなあ！」という大きな声が聞こえて参加者の興味も幅広いものだと思う．無理に聞かずにホテルに戻ればよかったのではないか．
[1811.11264] Synthesizing Tabular Data using Generative Adversarial Networks]
GAN を使って表形式のデータを生成する論文は既に読んだわけですが，その発展形． 著者らによる実装も公開されており(DAI-Lab/TGAN: Generative adversarial training for synthesizing tabular data)，実装を試した人もいる(テーブルデータ向けのGAN（TGAN）で、titanicのデータを増やす - u++の備忘録)．
前述した tableGAN との違いは CNN を用いずに LSTM を用いていること，交差エントロピーを用いるのではなく KL divergence を使って周辺分布を学習していることの二点．
データが 個の連続値の変数
と
個の離散値の変数
で構成されているとし，各行の各列についてそれぞれが連続値の変数なのか，離散値の変数なのかを区別して話を進める．
多くの場合連続値の変数は多峰 (multimodal) である．なのでそのまま表現せず，次のような手続きを踏む．
一言で言えば連続値の変数を 個の正規分布でクラスタリングし，一番当てはまりが良い分布に関する情報を持つ．論文では
とし，もし単峰の変数だったとしても
個の正規分布に対する重みがゼロになるから構わないとしている．この手続きの結果，連続値の変数
を
と
の
次元で表現する．
これら二種類の処理により， 次元のデータは
次元に変換される．
また，これから説明する GAN は上記の を生成するわけですが，本来の値に戻すには次のように変換すればいい．
Generator には LSTM を使う．LSTM を使う理由は we use LSTM with attention in order to generate data column by column. としか書かれていないが，気持ちを汲み取ると各変数間の相関などを陽に考慮したいからだと思う．
LSTM の出力を として hidden vector
を求め，更に
として各変数を出力する．その後，
ステップの LSTM に
を渡す．連続値の場合は
を得，次に
を得る．また，離散値の場合は
ステップにはそのまま渡さずに
] として渡す(
は
次元の embedding)．
Discriminator には mini-batch discrimination vector 入りの MLP を用いる(Generator が LSTM なのだから Discriminator も LSTM で良かったのではないか)．
通常の GAN の損失関数に加え， Generator 側の損失関数について連続値変数 に関する KL divergence
と離散値の変数そのものの KL divergence
を追加することで学習が安定するらしい．
評価は三種類．
[1806.03384] Data Synthesis based on Generative Adversarial Networks
匿名化については micro aggregation (各行を集約することで架空の行を生成すること) や post-randomization (ノイズを載せる) などがあるわけですが， GAN でデータを生成すれば完全な匿名化 (Generator があまりに賢くなりすぎて元データと全く同じものを生成しない限り) が実現できる，というアイデアにもとづく論文．
匿名化および GAN による生成の対象は Kaggler では「テーブルデータ」と呼ばれる 1 行 1 データ．つまりネットワークは表形式のデータの各行を生成する．同様の GAN には後発の TGAN ([1811.11264] Synthesizing Tabular Data using Generative Adversarial Networks) が存在し，実装も公開されている．後者では LSTM を用いたより複雑なネットワークを提案しているが，特に匿名化については言及していない．
実験結果について理解できない記述が多い．査読者はちゃんと読んだのか疑問に思う．もしくは匿名化に関して知見や興味のある査読者がいなかったのではないかと思う．
label として (たとえば年収が平均値以上か否かの二値変数)，真のデータで学習して偽のデータを判定させる．これによって変数間の整合性が保たれる (と著者らは主張しているが， classifier は x と y の整合性を考慮するのであって x_i と x_j の整合性が保たれるわけではないのでは?)x を通して D(x), in というデータを得るx を通して D(x), out というデータを得る
In our case, we use the test set prepared for the model compatibility test.) ，実際の検証としては不適切である (攻撃者が元の GAN の学習データを知っているという状況がおかしい)．in/out を学習することで membership attack を実現する
r とのユークリッド距離が最も近いレコードを検索し，その時のユークリッド距離 を DCR (distance to the closest record) と呼ぶ．DCR = 0.0 の場合元レコードと完全に一致しているので leak である，としている (この leak の定義がまず受け入れがたい．Quasi Identifier がわからなければそれ以外の値がどうなろうとどうでもいい話ではないか)．各種匿名化手法について複数のレコードについて DCR を計算し，その平均と標準偏差を確認する
It is preferred that the average distance is large and the standard devision is small と書かれており，標準偏差が小さい方が嬉しいことはわかる (むらなく一定の品質で匿名化できていることを意味する) が平均距離が大きいほうが良い理由がわからない．DCR はデータの確からしさとプライバシー保護とのトレードオフなので一概に preferred とは言えないのではないか?Quasi Identifier と，給料や疾病の状態 (十分 Quasi Identifier ではないか?) といったそれ以外の情報の列である sensitive attribute のふたつから構成されている)．音声合成研究のために，コーパスをリリースしました．100名のプロ話者（声優・俳優）× 100発話(パラレル)を含んでいます．今すぐダウンロードできます！！https://t.co/FJXrl3owrX https://t.co/qGuUCSqIyA
— Shinnosuke Takamichi (高道 慎之介) (@forthshinji) August 17, 2019
Shinnosuke Takamichi (高道 慎之介) - jvs_corpus
このブログを読んでいる人間は全員知っているとは思いますが，東京大学の高道助教によって JVS (Japanese versatile speech) corpus が公開されました．
JVS corpus は 100名のプロ話者から得られた様々な音声が含まれていますが，特に "parallel100" ... 話者間で共通する読み上げ音声 100 発話 は 声優統計コーパスバランス文を読み上げたものです．ありがとうございます．多種多様な「遺灰のほとんどは、スウェーデン西海岸の、ブーヒュースレーン地方の小島にある漁村、フヤルバッカ周辺の海に、散骨された。」を聞くことができて幸せです．
こんなことになるなら声優統計コーパスの原稿を無理やりにでも英語にして arXiv にアップロードすべきだった．今からでも間に合うかもしれない．これまで仕事で書いてきたスクリプトや作った予測モデルよりこの音素バランス文の方が数倍社会に貢献しているのではないかと思います．