AIの要約は「決まったこと」を間違える ― 同じ会議で10回試した結果

会議の録音をAIに文字起こしさせ、そのまま要約まで作らせる。

最近はよく見かける使い方ですし、私も議事録づくりにAIを使っています。

ただ、AIに任せると一番危ないのが「決定事項」でした。

自分の環境で何度も試して分かったことを書きます。

■ 1. 正解が本文にそのまま書いてあっても、間違える

試したのは、検証用に作った9分ほどの会議です。

最後に司会が「本日の決定事項を確認します」と言って、決まったことを4件読み上げます。

つまり、文字起こしの中に正解がそのままの言葉で残っている状態です。

この文字起こし（人が確認して直した、誤字のないもの）をAIに要約させ、

同じ条件で10回くり返しました。

4件すべてを正しく書けた回は、10回中0回でした。

・8回は「明確な決定事項は記録されていません」と答えた

・残る2回は決定事項を書いたものの、どちらも誤りを含んでいた

■ 2. 間違い方が、たちが悪い

誤りの中身を見ると、ただの書き漏らしではありませんでした。

・「経営会議に諮る」と決まった件を、「引き上げる」と言い切った

・会議で一度も出ていない決定を、もっともらしく書き足した

・「何の試算を出すか」が抜けて、期限だけが残った

・個人に割り振られた担当を、勝手に部署名に置き換えた

抜けているだけなら、読む人が「あれ、あの件は？」と気づけます。

怖いのは、決まっていないことを決まったように書くほうです。

文章として自然なので、会議に出ていない人には見分けがつきません。

■ 3. 文字起こしの精度とは別の問題

ここが一番伝えたいところです。

今回、文字起こしは完璧でした。それでも要約で間違えました。

「最新のAIで、文字起こしの精度が高いから安心」とは言えない、ということです。

文字起こしと要約は別の作業で、要約には要約の誤り方があります。

■ 4. 仕組みで減らせたこと、減らせなかったこと

原因を調べると、AIが会議を議題ごとにまとめる途中で、

最後の読み上げがどの議題にも入らず捨てられていました。

そこで、決定事項だけは要約から作らず、本文から直接抜き出させるようにしました。

1件ごとに「根拠になった本文の一文」をそのまま写させ、

その一文が本当に本文にあるかを、機械で照合します。

本文に見つからないものは外します。

同じ会議でまた10回試した結果です。

・「決定事項なし」と答えた回　　　　8回 → 0回

・作り話や、言い切りを含んだ回　　　2回 → 0回

・4件すべて正しく書けた回　　　　　0回 → 4回

作り話は止まりました。一方で、1件抜ける・何の試算かが抜ける、といった「欠け」は残っています。

また、試したのは会議1本だけです。どの会議でもこうなるとまでは言えません。

■ さいごに

なので、私は決定事項をAIの出力のまま納品しません。

AIには候補と根拠の文を出させ、それを人が本文と一件ずつ突き合わせて書いています。

AIで速くできるところは速くして、間違えると困るところに人の時間を使う、という分担です。

ご自分でAIに議事録を作らせている方も、決定事項の欄だけは、

本文と見比べてから配ることをおすすめします。

録音から議事録まで、外部のクラウドに一切送らず、自前のパソコンの中だけで作るサービスを出品しています。

料金は音声1分あたり100円で、どなたにも同じです。

録音の状態が心配な方は、録音方法・距離・人数・長さ・形式の5点を教えていただければ、

お受けできるかを無料でお答えします。

サービスは、このページの出品者プロフィールからご覧いただけます。