本記事では機械学習の評価指標「F値」を初心者・概要だけ理解したい人向けに数式を使わずに解説します。
最近流行りに乗って会社が機械学習（AI）を使っていけと上からお達しが出たけど、AIってなんか難しそうでよくわからない。
作ったAIってどうやって評価したらいいの？
AI導入を業者に発注して、業者がF値とか言う言葉発してたけど、ちょっと何言ってるか分からない。
上記のような悩みをお持ちではありませんか？
僕も機械学習を始めた当初は小難しい本しかなくて理解するのに苦労しましたので、もっと簡単に解説された読み物はないのかと悩みました。
機械学習（AI）関連のプロジェクトを3年ほどやってきてF値ってこんな感じだよというのをざっくり理解できるように考えてきました。
ストーリー式にしていますので、数式ばかりの読み物よりは頭に入ってきやすいかなと思います。
F値とは？
F値とは何かを解説していきます。
まず、学術的定義をみていきます。
適合率と再現率の調和平均である
初心者
適合率？再現率？調和平均？
挫折しそう。もう見たくない。
F値をちゃんと理解するには適合率、再現率、調和平均を知らないといけません。
もし、適合率、再現率、調和平均を知らない場合でも分かるように解説するとこんな感じです。
大量の猫と犬の画像があってそれを猫と犬ごとにフォルダを簡単に分けたいんだけどどうしたらいいかな？
初心者
調べてみましたが、そのような問題は機械学習（AI）という技術を使えば解決できます！
早速、機械学習を使ってモデル（AI）を作ってみます！
初心者
上司さん、お客さんから依頼された猫と犬の画像ファイルをフォルダごとに分けるためのモデル（AI）を機械学習を使って作ったので、お客さんのところに持っていって使ってもらおうと思います。
そのAIどれくらい信用できんの？
信用できるかわからんものをお客さんに納品するのか？
初心者
確かにどれくらいこのAI使えるんだろう！？
そこで、分類問題における機械学習モデルの良し悪しを判断するために適合率と再現率という評価指標がよく使われます。（また、適合率と再現率という言葉が出てきますが、単純に良いか悪いかを判断するためのものだと思ってください。）
分類問題は猫と犬の画像をAIに与えると猫か犬かどちらかに分類するような問題です。
初心者
上司さん、機械学習ではよく適合率と再現率という指標を用いて作成したモデルが使えるかどうかを判断するみたいなので、評価してみました！
適合率70％、再現率90％でした。
適合率と再現率って二つ指標あるとどっちを見たらいいの！？
二つあるとどっちを見たらいいの！？とか本当によく聞かれます。
正しくはお客さんが再現率の良さ（網羅性）を重視するか、適合率（嘘の少なさ）を重視するかを聞いて判断すべきですが、今回は両方のバランスの取れたモデルがいいモデルだと仮定しておきます。
そこで、F値が登場します。
F値はものすごくざっくり言うと適合率と再現率のバランスを見る総合的な評価指標だと思ってもらえばいいです。
初心者
上司さん、適合率と再現率のバランスを見るための指標としてF値という指標があります。F値で評価してみました。
F値は約80%でした。
まだ課題はあるけど、割とバランスの良さそうなモデルだね！
それなら納品してみても良さそうだね！
とざっくりですが、こんな感じでF値を使うことで作った機械学習モデル（AI）の総合的な性能の良し悪しがわかります。
機械学習の評価指標F値の解説まとめ
最後に機械学習の評価指標であるF値について復習して、明日から使えるようになって上司、業者、お客さんを驚かせましょう。
- 機械学習で作ったモデル（AI）を実際に使うにはモデルの良し悪しを判断できる基準が必要
- 機械学習モデルの良し悪しを判断するための評価指標として適合率と再現率がある
- どちらを見たらいいか分からなくなるので、両方のバランスを見れる総合的な評価指標F値を使うことがよくある。
参考になったらうれしいです！
ここがわかりにくい！ということがあればコメントで教えてもらえれば助かります。
機械学習を学ぶにあたってのおすすめ本について紹介しておきます。
実際に手を動かしながら学べるので、頭に定着しやすいのがおすすめポイントです。
また、数式は出てくるのですが、その数式を理解するための基本的な数学も分かりやすく解説されていますので、斜に構える必要はありません。
しかもストーリー形式なので、頭に入ってきやすいのもまた、おすすめポイントです。
コメント