「分かりません」が頼もしく見えた日と、実は壊れていた日の話

記事
IT・テクノロジー
社内文書のチャットボットを触っていて、一番ゾッとした瞬間がある。

資料に存在しない内容を聞いたら、AIがすごく自信満々に答えてきたのだ。それっぽい言い回しで、数字まで添えて。でも元の資料にはそんな記述、どこにもない。

最初は「賢いな」と思った。でもよく考えたら全然褒められたことじゃない。これ、現場で誰かが鵜呑みにしたら普通に事故る。資料にないことを、あたかもあるかのように喋るAIって、便利の顔をした爆弾だなと思った。

で、対策として「資料にないことを聞かれたら、1文だけ答えて、根拠は書かない」という指示を入れることにした。長々と理由を並べられると、それっぽさに騙されてしまうから、短く「分かりません」と言わせたほうが安全だと判断した。

ここまでは割とすんなり決まった。問題はここからだった。

ちゃんと動いているか確認しようと、資料にある質問とない質問を混ぜて10問くらいぶつけてみた。そしたら、見つけたくなかった落とし穴が2つも出てきた。

ひとつは、設定を保存したつもりで「公開」ボタンを押し忘れていたこと。画面をリロードしたらさっき入れた指示がきれいさっぱり消えていた。「あれ、さっきまで賢く振る舞ってたのに急に適当なこと言い出したぞ」と焦って、原因を探ったら単純な保存漏れだった。自分の凡ミスなんだけど、こういうのに限って気づくまで時間がかかる。

もうひとつがもっと厄介だった。検索の補助機能、つまりAIが資料を探しに行く部分が裏で止まっていても、エラーなんて一切出ない。ただ延々と「記載なし」と答え続けるだけ。一見すると「お、ちゃんと正直に分からないって言ってるな」と安心しそうになるんだけど、実はこれ、資料にちゃんと答えが書いてあるのに見つけられていないだけ、というパターンだった。

つまり「分かりません」には2種類ある。本当に資料にないから分からないのと、検索の仕組みが死んでいるから分からないふりをしているのと。見た目はまったく同じ「分かりません」なのに、中身は全然違う。

これ、チャットボットに限った話じゃないなと思う。人間の仕事でも「分かりません」と言われたとき、それが本当に知らないのか、それとも調べる力や仕組みが壊れているだけなのか、見分けないといけない場面は結構ある。部下の「できません」も、本当に無理なのか、やり方を教わってないだけなのか、全然意味が違う。

結局、正直に見える答えほど、裏側まで疑ってみる癖をつけるしかないんだなと、地味に学んだ出来事だった。

こういう「資料にない質問にはきちんと分からないと言わせる」設計、実際の業務マニュアルを使った検索ボット制作でも同じ考え方を取り入れています。

マニュアルPDFをAI検索できるボットを作ります
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す