「AIは何故、『見て来たような噓をつく』のか？」

私は以前から、Geminiに課金しているのだが、そのGeminiが時折、まるで見て来たような噓をつくので、とても不思議に思っていた。何故、AIは平気で堂々と噓をつくのだろうか。

その答えは意外なところにあった。私たちの中にはAIを「優れた検索エンジン」のように誤解している人が一定数いる。しかし、その実、それは間違った認識である。

AIは言うなれば、「大規模な予測変換装置」みたいなものである。スマホに文字を打ち込むとき、「おは」と入力すると「おはようございます」とか「おはよう」とか出て来ると思うが、AIはそれを極限まで大きくしたような仕組みで、回答を導き出している。それが、「LLM（大規模言語モデル）」の基本的な構造である。

要するに、何か入力された言葉の「次に来そうな言葉」を順番に並べて行く作業をしている、ということに過ぎない。それは「推測」であって、AIに「確証」のようなものは全くなく、その上で回答を出して来る。

ここが本当に質の悪いところで、「日本一高い山は」のような質問にも、その次に来そうな言葉を並べて答えて来る。AIが記憶している膨大な量の文章の中から、「それらしい」言葉を次々に並べて文章を作って行くのだ。

AIが作っているのはあくまで「もっともらしい」ものであって、AIはそういうものを作るのは最も得意ではあるが、言ってしまえば、AI自身もその回答が正解かどうかということさえ考えていない。

AIはどんな場合でも、様々な「回答らしきもの」を調整して出力しているに過ぎない。そこが本当に恐ろしいところで、AIが「分かりません」と滅多に言わない理由もここにある。

AIは絶対に何かしらの回答を抽出するように設計されている。余白は必ず埋めるようにできているのだ。そして、前述のように自らが膨大に記憶した文章の中から、それらしい回答を引っ張り出して来る。

ここで問題になるのが、「よくされる質問」とか「しばしば出て来る話題」に関してはスムーズに回答を出せるAIも、「滅多にされない質問」や「ほとんど話題にならないこと」に関しては、「記憶があやふや」という訳ではないが、しっかりとした土台ができていない、というか、それに関する文章をあまり記憶していないだけに、不正確な回答になる可能性の高い状態に陥ることがある、ということだ。

こういった場合にも、AIは堂々と、全く問題ありません、といった感じで回答して来る。これが所謂「ハルシネーション」というもので、英語で「幻覚」という意味になる。

「幻覚」とはよく言ったもので、まさに「見て来たような噓を言っている」訳だ。加えて、AIの性能を測定するベンチマークテストにおいては、私たちが学生時代にテストなどでよくやったマークシート方式のように、「回答しなかった場合は0点」という方式で採点がされている。

私たちも、テストのときに分からない問題を鉛筆を転がして答えを出したりしたと思うが、ベンチマークテストでも、「何も回答しない」より、「何でもいいから回答した」方が高得点を取れるようになっているため、AIもどうにかして回答を捻り出し、その結果として高評価を得ているAIもある。

こうして考えてみると、私たちも決してAIを妄信してはいけないと思うし、AIを使うに当たっては、よくAIのことを理解して使わないといけないと思う。しかし、こんな風にAIについて調べれば調べるほど、興味深い事実が分かってきて、本当にAIって面白いな、とつくづく実感する次第である。