「動いたから大丈夫」は危ない？品質評価エンジニアが教えるAIの確かめ方

はじめに

AIシステムの品質評価を本業にしているエンジニアです。

前回の記事では、生成AIは「もっともらしく間違える」ことがある、というお話をしました。

では、AIを使ったシステムを作るとき、その答えが大丈夫かどうかはどうやって確かめれば良いのでしょうか。

今回は、私の本業である「AIの品質を確かめる」ということについてお話しします。

専門的には「QA4AI（AIのための品質保証）」と呼ばれる分野です。

難しい手法の話はしませんので、AIを作る側・作ってもらう側の方に気軽に読んでいただければと思います。

1. AIの確かめ方は、他のソフトウェアと何が違うのか

まずは、会計ソフトとAIを比べてみます。

会計ソフトの答えは○×で確かめられますが、AIの答えは毎回変わり、良い答えも1つではありません。

そこでAIは、いくつかの物差しで「どのくらい良いか」を測ります。

どの物差しを重く見るかは、使い道で変わります。

社内の問い合わせ窓口なら正確さと根拠、お客様向けなら安全性と言葉遣い、という具合です。

「何を測るか」を決めるところから、確かめる仕事は始まっています。

2. 確かめられること・確かめきれないこと

物差しで測ることで、次のようなことがわかります。

すべてを同じ重さで試すのではなく、間違えたときの影響が大きいところに重点を置きます。

3. 確かめずに渡すと起きる5つのリスク

リスク1：もっともらしい嘘をつく

資料に書いていないことを、それらしく答えてしまうことがあります。

社内規程や料金など、間違えると困る内容ほど注意が必要です。

対策方法は、答えの元になった資料を示せるようにしておくことと、重要な質問ほど念入りに試しておくことです。

リスク2：聞き方で答えが変わる

「有給は何日？」と「休みって何日取れる？」で、違う答えが返ってくることがあります。

利用する人は、作った人が想定した聞き方をしてくれるとは限りません。

対策方法は、同じ内容をいろいろな言い方で聞いてみることです。

リスク3：言ってはいけないことを言う

社内の情報や個人情報、不適切な表現などを、聞かれるままに答えてしまうことがあります。

ちょっと意地悪な聞き方をされると、決めておいたルールを守れなくなる場合もあります。

対策方法は、「答えてはいけない質問」をあらかじめ用意して、きちんと断れるか試しておくことです。

リスク4：一か所直したら、別のところが悪くなる

ある質問への答えを良くしようと設定を変えたら、今まで問題なかった別の質問の答えが悪くなった、ということがよくあります。

使っているAIのモデルが新しくなったときにも起こります。

対策方法は、確かめた質問をとっておき、何かを変えるたびに同じ質問で試し直すことです。

リスク5：数問試して「大丈夫そう」で公開してしまう

5つのうち、いちばん出会いやすいのがこのリスクです。

作った人は仕組みをよく知っている分、試す質問がどうしても偏りやすいからです。

これは人が作った場合に限りません。

最近はAIにシステムを作らせ、そのままAIに試させることも増えていますが、AIも自分が作った前提に沿った質問を選びがちです。

作ったのが人でもAIでも、作った側の目線だけで確かめると、見落としが生まれやすくなります。

対策方法は、作成者とは別の目線で質問を用意することです。

実際に使う人がどんな聞き方をするか、どんな場面で困るかを考えて試すことが大切です。

4. 今日からできる3つのチェック

本格的に確かめるのは手間がかかりますが、まずは3つ、今日からでも始めましょう。

5. まとめ

AIの答えは毎回変わり、正解も1つではありません。

だからこそ、いくつかの物差しで「どのくらい正確か」を測る必要があります。

すべてを確かることは出来ないので、リスクに応じて優先順位を決めて確かめましょう。

そして、作った人とは別の目線で試すことが、見落としを減らす近道です。

ご案内

次回は、本格的にAIの品質を確かめるときに何をしているのかを、もう少し踏み込んでお話しします。

ココナラでは、AIの回答品質を確かめるサービスを出品しています。

作成済みAIツールの答えが心配な方、公開前に第三者の目で確かめておきたい方はご相談ください。

また、AIを使ったツールやチャットボットの開発もお受けしています。

当方のAI開発では、この記事でご紹介したような確認を基本料金に含めてお渡ししています。