生成AIパスポート 第2章「モデルの評価指標」|正解率・適合率・再現率・F1値の見分け方

記事
学び
AIが作ったモデルが「どれくらい当たっているか」を測る数字には、いくつもの種類があります。生成AIパスポートの第2章では、正解率・適合率・再現率・F1値の4つがよく出ます。名前が似ているため、試験では「この場面で見るべき数字はどれか」を問うひっかけが出ます。4つの数字の意味と、使い分けの線引きを整理します。

なお、この記事は生成AIパスポートの出題範囲に沿って作成した解説で、公式問題ではありません。試験の最新情報は公式サイトでご確認ください。

1. 正解率は「全体のうち当たった割合」

正解率は、モデルの予測のうち、正しかったものの割合です。100件の予測のうち90件が正しければ、正解率は90パーセントです。最も直感的で分かりやすい数字ですが、注意点があります。データに偏りがあると、正解率だけではモデルの良し悪しが分からなくなるのです。

たとえば、100件のメールのうち95件が迷惑メールではない普通のメールで、5件だけが迷惑メールだとします。モデルがすべてを「迷惑メールではない」と予測すれば、正解率は95パーセントになります。しかし、迷惑メールを1件も見つけられていません。

データに偏りがある場面では、正解率以外の数字も見る必要があります。

2. 適合率は「陽性と予測したうち本当に陽性だった割合」

適合率は、モデルが「これは陽性だ」と予測したもののうち、実際に陽性だったものの割合です。迷惑メールの例でいえば、モデルが迷惑メールだと判定した10件のうち、8件が本当に迷惑メールなら、適合率は80パーセントです。

適合率が低いと、「迷惑メールだ」と判定したものの多くが、実は普通のメールだったことになります。誤って陽性と判定することの害が大きい場面では、適合率を高く保つことが大切です。

試験でよく出るのは、「適合率を上げるには、陽性と判定する基準を厳しくする」という関係です。基準を厳しくすれば、確信があるものだけを陽性と判定するので、適合率は上がります。ただし、その代わりに本当の陽性を見逃すことが増えます。これが次の再現率とのトレードオフです。

3. 再現率は「本当の陽性のうち見つけられた割合」

再現率は、実際に陽性だったもののうち、モデルが陽性だと見つけられたものの割合です。迷惑メールが本当に10件あるうち、モデルが8件を見つけたなら、再現率は80パーセントです。見逃しが少ないほど、再現率は高くなります。

再現率が低いと、本当は迷惑メールなのに普通のメールとして届いてしまいます。見逃しの害が大きい場面では、再現率を高く保つことが大切です。試験では「再現率を重視すべき場面」として、見逃しが許されない例が出ます。

適合率と再現率は、どちらか一方を上げるともう一方が下がりやすい関係にあります。陽性と判定する基準を厳しくすれば適合率は上がりますが、見逃しが増えて再現率は下がります。逆に基準をゆるくすれば再現率は上がりますが、誤った判定が増えて適合率は下がります。このトレードオフを理解しているかどうかが、試験の分かれ目です。

4. F1値は「適合率と再現率のバランス」

F1値は、適合率と再現率の調和平均で、両方のバランスが取れているときに高くなります。適合率80パーセント・再現率80パーセントなら、F1値は80パーセントです。適合率100パーセント・再現率20パーセントだと、F1値は約33パーセントまで下がります。

試験では「適合率と再現率の両方を考慮したいときに使う指標はどれか」と問われたら、F1値を選びます。「正解率」や「適合率」だけでは片手落ちになる場面で、F1値が答えになる、というのが出題のパターンです。

まとめの確認問題

次のうち、正しいものを選んでください。

問1 迷惑メールが全体の5パーセントしかないデータで、すべてを「迷惑メールではない」と予測するモデルがある。このモデルの正解率と、問題点の組み合わせとして正しいのはどれか。
ア 正解率は約95パーセントで、迷惑メールを1件も見つけられていないのが問題である
イ 正解率は約5パーセントで、モデルとして使えない
ウ 再現率は100パーセントで、問題はない
エ 適合率は0パーセントで、正解率も0パーセントである

問2 適合率と再現率の関係として正しいのはどれか。
ア 陽性と判定する基準を厳しくすると、適合率は上がり、再現率は下がりやすい
イ 陽性と判定する基準を厳しくすると、適合率も再現率も上がる
ウ 適合率と再現率は常に同じ値になる
エ 再現率を上げたいときは、陽性と判定する基準を厳しくする

答えは、問1がア、問2がアです。問1では、すべてを陰性と予測すれば正解率は高くなりますが、迷惑メールを1件も見つけられていないため、再現率は0パーセントです。問2では、基準を厳しくすると確信があるものだけを陽性と判定するので適合率は上がりますが、見逃しが増えて再現率は下がります。

まとめ

正解率は全体のうち当たった割合で、データに偏りがあると高くても当てにならないことがあります。適合率は陽性と予測したうち本当に陽性だった割合で、誤って陽性と判定することの害が大きい場面で重視します。再現率は本当の陽性のうち見つけられた割合で、見逃しの害が大きい場面で重視します。F1値は適合率と再現率のバランスを1つの数字にしたもので、両方を考慮したいときに使います。4つの数字の定義と、基準の厳しさによるトレードオフを、迷惑メールの例で言えるようにしておきましょう。

生成AIパスポートの第2章は、こうした用語の見分け方がそのまま出題されます。演習で定着させたい人は、ココナラの『生成AIパスポート 直前7日ドリル』で、第2章の論点を問題形式で確認できます。

※この記事は生成AIパスポートの出題範囲に沿って作成した解説で、公式問題ではありません。試験の最新情報は公式サイトでご確認ください。
※申込締切は2027年1月31日の見込みです。試験は2027年2月実施予定です。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す