教師は機械の中にいるが、師は機械の中にいない

AIを「真実を語る機械」のように扱いたがる輩がいるが、AIは設計段階で与えられた目的はそこに置かれていない。

大規模言語モデルは、人間が書いた膨大な文章から次に現れそうな言葉を予測する装置であり、学習時に評価されるのは「正解の文章とどれだけ似ているか」であって「世界の現実と一致しているか」ではない。この仕組みが、誤りを含んだ表現の再生産を避けにくい性質を生むんだよ。

まずその設計体制と思想を知るべきだ。

もちろんAIは「知らない」という感情や判断を持たない。内部には確率の揺らぎがあるが、それを正直に外へ出す機構は弱いというか・・無い。

人間ならば断定を避ける場面でも、AIは生成過程で「もっともらしく見える文」が高く評価されるから、ためらいなく断定する文章を吐き出すんだ。とくにAIの訓練データは新聞記事や解説文のように断定的なスタイルの文章が多く含まれており、その模倣を繰り返した結果、自信を示す書き方が“良い振る舞い”として学習されている。なので不確実であるはずの内容すらも、構造上は強い口調で書いちまうわけだ。だから嘘つき扱いされてしまうのだ。

さらに、AIは世界に対して独自の観測手段を持たない。自分で現実を確かめることができず、訓練時点で読み込んだ文章だけを手掛かりに世界像をつくっている。

一度学習が終われば、その内部知識は基本的に更新されない。制度、科学、政治、地理、すべての分野で現実の変化についていけない部分が生まれる。誤報や偏った資料が訓練データにあれば、その影響も取り込むしかなく、モデル自身で修正する機構は存在しない。そこまで自省する能力はない。

そのうえ、人間による「良い回答」の評価にもバイアスがかかる。慎重で控えめな説明より、流暢で断定的で、聞こえの良い文章が高く評価されがちで、こうした評価がさらに「もっともらしさ」を優先する学習を後押しする。これが積み重なると、内部的には確信の乏しい内容であっても、外側の表現だけは堂々とした文章が出来上がるわけだ。

つまりAIを絶賛して色々なレクチャーで販売している連中とのあいだに「設計思想と期待される役割のズレ」がある。

AIは世界の真実を判断するようには作られていない。人間の書いた文章を確率的に模倣する器として設計されているだけだ。現実世界の検証を行う層も弱く、誤りの自覚を持つこともできない。そんなものを“万能の教師”のように扱えば、必ずどこかで破綻が生じると思いませんか?

つまり、AIの誤りは偶然の産物ではなく、いまの仕組みそのものに織り込まれた宿命に近い。忘れないように。

「師は機械の中にいない」