AIの成熟性と信頼性、数字で測ろうとしたその後の話

以前、「AIの成熟性と信頼性を測かれるか？」という記事を書きました。

AIと長く付き合っていると、以前より話が通じるようになったり、同じ間違いをしなくなったりすることがあります。

だったら、その変化を数字で見られないものだろうか。

そんな疑問から、ちょっとした検証を始めたわけです。

今回は、その後どうなったのかというお話です。

## 最初に考えた三つの指標

前回の記事では、まず次の三つを記録してみようと考えました。

- 会話回数

- 累計文字数

- ハルシネーション指摘回数

ここでいう「ハルシネーション指摘回数」は、事実と異なる回答だけを数えたものではありません。

会話の取り違え、指示と違う動作、こちらの意図を勝手に補完した回答なども含めています。

例えば、500回会話して、その間に25回の指摘があったとします。

さらに会話を重ねたとき、指摘の頻度は増えるのか、減るのか。

同じような間違いを繰り返すのか、それとも修正が次の会話に反映されるのか。

そんなことが見えれば、AIとの付き合い方にも一つの目安ができるのではないかと考えました。

## 実際に記録を始めてみた

最初はGeminiで、会話回数や文字数を記録してみました。

AIに集計を依頼すると、それなりに数字は出てきます。

ただ、ここで問題が一つ。

**その数字、本当に合っているの？**

当時は報告された数値を使っていましたが、会話全体を別の方法で数え直して照合したわけではありません。

つまり、数字は出ていても、その正確性までは確認できていなかったんです。

そこでChatGPTでも同じように試そうとしました。

ところが、こちらでは会話全体の文字数やターン数を正確に集計することが難しい、という問題が出てきました。

Geminiでは数字が出る。ChatGPTでは同じ方法で数字を取れない。

しかも、Geminiの数字が本当に正確なのかも分からない。

これでは、同じ条件で比較することができません。

**AIの信頼性を調べようとしたら、まず測定に使う数字の信頼性が問題になってしまったわけです。**

## もう一つ、気になったこと

検証を進めながら、別の疑問も出てきました。

そもそも、間違いの回数だけでAIの信頼性を判断していいのでしょうか。

例えば、AIがこちらの意図を取り違えたとします。

「いや、そういう意味じゃないよ」

そう伝えたら、AIが内容を修正して、そこから問題なく作業が進んだ。

この場合、間違いが一回あったことは事実です。

でも、その一回だけを見て「信頼性が低い」と判断するのも、何か違う気がします。

実際、私もAIに資料を作ってもらうことがあります。

最初に作ってもらったものを読みながら、「ここは表にして」「この部分は箇条書きにして」と指示を出す。

すると、短時間でずいぶん使いやすい資料に仕上がることがあります。

最初の回答が完璧だったわけではありません。

でも、対話を重ねることで、目的は達成できています。

こうなると、**最初の回答の正確さと、対話を通じて仕事を完成させる能力は、少し違うものなのではないか**と思えてきました。

## AIの開発企業は、どう評価しているのか

気になって、AIの開発企業が何を評価しているのかも考えてみました。

一般に、AIの評価には、問題への正答率、指示への対応、安全性、推論能力など、さまざまな項目があります。

もちろん、長い会話や複雑な作業を評価する取り組みもあります。

ただ、そうした試験結果が、そのまま自分のAIとの長期的な付き合いやすさを示してくれるわけではありません。

私が知りたかったのは、何問正解するかということだけではなく、

**長く会話を続けても、以前の話を踏まえ、間違いを修正しながら、一緒に仕事を続けられるのか。**

ということだったんですね。

それを文字数と会話回数だけで測ろうとしたのは、少し単純すぎたのかもしれません。

## では、検証は失敗だったのか

今回の試みでは、会話回数や文字数から、AIの品質が変化する明確な基準を見つけることはできませんでした。

記録の正確性も十分に検証できていません。

ですから、「何万文字を超えると間違いが増える」とか、「こちらのAIのほうが信頼性が高い」といった結論は出せません。

ただ、前回の記事で書いたことを、全部取り消すつもりもありません。

会話量を記録することにも、間違いを指摘した回数を残すことにも、意味はあると思っています。

特に、前回書いた**「同じ間違いを繰り返すかどうか」**という視点は、今でも大切だと感じています。

ただ、それだけでは足りない。

指摘した後に修正できたのか。その修正が次の仕事に生かされたのか。最終的に目的を達成できたのか。

そういうことも含めて考えないと、実際の使い勝手は見えてこないのかもしれません。

## AIの信頼性って、結局何だろう

最初は、もっと単純に考えていました。

会話回数と文字数を数えて、間違いの発生回数を記録する。

そうすれば、何か傾向が見えるんじゃないかと。

ところが、やってみると、数字を正確に取ることから難しい。

さらに考えていくと、そもそも何をもって信頼性とするのか、という問題に戻ってきてしまいました。

間違えないことなのか。

間違いを指摘したら修正できることなのか。

それとも、対話を重ねながら、最終的に目的を達成できることなのか。

おそらく、どれか一つだけではないのでしょう。

最近は、AIとの対話そのものにも、もっと目を向ける必要があるのではないかと考えています。

AIに指示を出して、回答を受け取って終わり。

それだけではなく、お互いに確認し、意見を交わしながら、問題を整理していく。

その過程も含めて、AIの信頼性を考えてみたいんです。

もっとも、それをどう数字にすればいいのかは、まだ分かりません。

そもそも、数字にすることが本当に必要なのかも含めて、考え直しているところです。ということで、今回は明確な結果をお知らせできませんでした。

**AIの信頼性を数字で測ろうとして、測り方そのものを考え直すことになった。**

今のところ、これが検証の経過報告です。

まあ、やってみなければ分からないこともありますからね。

引き続き、AIたちと付き合いながら考えてみようと思います。

**野良グマ本舗**