AIに質問すると、整った文章で言い切った答えがすぐに返ってきます。その答えを資料やメールにそのまま使い、あとから日付や出典の間違いがわかって困った人もいるかもしれません。間違いが起きやすい質問の種類と、使う前に確かめる手順を知っておくと、もっともらしい間違いに気づきやすくなります。
もっともらしい間違いが起きるわけ
ChatGPT、Gemini、Claudeのヘルプには、どれもAIが間違った内容を答えることがあると書かれています。正しくない答えを自信のある調子で返すこの現象は、ハルシネーションと呼ばれます。
チャットのAIは学習した大量の文章のパターンをもとに答えを組み立てます。OpenAIの説明では、つづりのように決まった形のあるものは間違えにくい一方で、人の誕生日のように頻度が低く規則のない事実はパターンだけでは予測できず、ハルシネーションにつながります。いまの学習と評価のしかたが、「わかりません」と認めるより推測で答えるほうに点が出る作りになっていることも、ハルシネーションがなくならない理由の1つだといいます。
誤った答えでも、AIは強い確信のある調子で述べることがあります。言い切った文かどうかは正しさの目印になりません。
間違いが起きやすい質問
1つ目は日付や数字、人の名前、言葉の定義のような細かい事実です。人物についての答えには不正確な情報が入ることがあるので確かめるように、とGeminiのヘルプにも書かれています。
2つ目は出典や引用です。根拠になる本や論文を挙げてもらうと、実在しない研究や出典が返ってくることがあります。
3つ目は最近の出来事です。AIは決まった時点までのデータで学習しているので、ウェブ検索を使わずに答えるときは、その後の出来事が答えに入りません。料金や制度のように変わるものも、古い内容のまま答えることがあります。
4つ目はあいまいな質問や込み入った質問です。こうした質問にも、AIは必要以上に自信のある調子で答えることがあります。何について、いつの時点の、どの範囲のことを知りたいのかを質問に書いておくと、答えを確かめるときの基準にもなります。
出典つきで答えてもらう
事実を確かめたい質問は、ウェブ検索を使って答えてもらうと、あとで元の情報と見比べられます。ChatGPTは検索を使うと、ウェブで調べた内容を出典つきで答えます。検索が使われたかどうかは、入力欄の検索のアイコンがオンになっているか、答えにウェブの出典が付いているかで見分けられます。
Geminiでは、出典のある答えの下か答えの中に「ソース」ボタンが出て、押すと右側に関連リンクの一覧が開きます。出典のない答えにはこのボタンは出ません。Claudeもウェブ検索の結果をもとに答えるときは出典を示し、提供元はその出典を見るよう勧めています。
頼み方でも間違いは減らせます。Claudeの開発者向けのページは、わからないときは「わからない」と答えてよいとはっきり伝えることと、主張ごとに引用や出典を付けてもらうことを、ハルシネーションを減らす方法に挙げています。手元の資料について聞くなら、「この資料に書いてあることだけで答えて」と範囲を決めておく方法も載っています。同じページには、こうした方法でもハルシネーションはなくならないので、大事な情報は確かめるように、とも書かれています。
出典が付いていても、それだけで確かめたことにはなりません。リンク先を開き、答えと同じことが本当に書いてあるかを自分で読みます。元のページを読めば、前後の文脈がないと誤解しかねない所にも気づけます。
答えを使う前に確かめること
確かめる場所は間違いが起きやすい所と重なります。数字や日付は公式の発表や説明書、元の資料と1つずつ見比べます。人や会社、本の名前は検索して実在するかを確かめます。出典はリンクを開き、ページがあるか、答えと同じことが書いてあるかを見ます。
いつの情報かも見ておきます。料金や制度のように変わるものは、元のページの更新日まで確かめておくと安心です。
同じ質問を聞き直すのも手がかりになります。OpenAIの記事には、広く使われているチャットのAIに、ある研究者の論文の題名を聞いたところ、自信のある調子で3通りの答えが返り、どれも正しくなかったという例が載っています。聞くたびに答えが変わる所は、推測で埋めた答えかもしれません。答えが変わらなくても正しいとは限らないので、元の資料での確認は省けません。
医療や法律、お金の判断にかかわる話は、AIの答えを手がかりにしても、最後は専門家に確かめます。Geminiのヘルプも、医学や法律、金融などの専門的な助言としてGeminiの答えに頼らないよう求めています。
そのまま使った場合との違い
確かめずに資料やメールに貼った答えは、存在しない出典や古い情報が混じっていても、そのまま人に届きます。間違いが見つかるのは読んだ人の目に触れてからで、そこから訂正を出すことになります。確かめてから使えば、数字や日付は元の資料と合ったものになり、根拠を聞かれても出典を示して説明できます。
OpenAIのヘルプはChatGPTを最終的な情報源ではなく初稿として使うよう勧めています。AIの答えは下書きや調べはじめの手がかりとして受け取り、数字と出典を元の資料で確かめてから使います。間違いが起きやすい4種類の質問を覚えておけば、どこから確かめるかで迷わずに済みます。