「評価指標入門〜データサイエンスとビジネスをつなぐ架け橋〜」読んだ

評価指標入門〜データサイエンスとビジネスをつなぐ架け橋

関連記事 : 書籍「評価指標入門」の出版に寄せて 〜監修の想い（O・MO・I） - 株式会社ホクソエムのブログ

著者からいただきました．

この本は大きく

• 予測モデルを構築する取り組みにおいて「真に必要な，計算すべき値は何か」「(その値が計算できない場合，むしろ計算できないことがほとんどですが) 我々は何を代わりに計算しているのか」を自覚し，もっと丁寧に考えるべきである，という啓蒙的な部分
• さまざまな評価指標を紹介する辞典な部分

の二つに分かれています．

• 啓蒙
  • このパートは非常に共感しました
  • 一方で「このパートが何を説明しようとしているのか」や「なぜこのように一見分かりきったことを説明しなければならないのか」は著者の心情が察せられるというか，このパートが伝わるにはある程度の経験が必要に思いました
    • これは決して「このパートが冗長である」ということが言いたいわけではありません
    • おそらく，データ分析にたずさわって3年目ぐらいまでの自分では「この本は何を言っているのだろう」と辞典パートまで読み飛ばしていたように思います
  • このあたりの話をどう語り継いでいけばいいのか，というのを考えさせられました
    • この「考え方」は (悪い教育の例としてしばしば現況される) 「体で覚える」になりがちに思います
  • この本を読んだ人が数年後「そういえば今苦しんでいる話は昔読んだあの本が言っていたことなのか」と気付く，そのような形で遅れて響くのでしょう
• 辞典
  • 案外と機械学習の教科書に載っていないことがあるので，このようにまとまっていると結構便利
    • たとえば機械学習の教科書では定番の Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition. では ROC-AUC が定義されることなく使われています．なぜ?
  • マシューズ相関係数や G-Mean は知らなかったので勉強になりました
  • 2.9.2 決定係数 R² にて「非線形モデルの評価に用いるべきではない」と書いてあるのが良い
    • scikit-learn のサンプルコードでも非線形モデルで r2_score が使われている例があったように思います
    • せっかくなので「なぜ用いるべきではないのか?」まで一言欲しかったです

一通り python で予測モデルが書けるようになった人に読んでもらい，「前半についてどのように考えたか」を議論するところから始めるのが良さそうです．