同じアンケート3,100件をAIに2回仕分けさせたら、648件で答えが違った

アンケートの自由記述を分類する仕事を、AIにやらせている人は多いと思います。私もやっています。

ただ、AIに一度投げて返ってきた分類をそのまま集計に使うのは、たぶん危ないです。3,100件のサンプルで実際に測ってみたら、その理由がはっきり数字で出たので書きます。

やったこと

自分で用意したアンケート回答3,100件を、性格の違うAI2体にまったく同じ指示文で渡して、それぞれに「不満」「要望」「称賛」「その他」の4つに仕分けさせました。そのうえで2体の答えを1行ずつ突き合わせました。

一致した行は、たぶん合っています。問題は、割れた行です。

結果：648行で答えが違った

3,100行のうち648行、およそ5行に1行で、2体の答えが食い違いました。別に片方が壊れていたわけではありません。どちらも真面目に答えて、別々の分類名を出してきます。

割れ方には偏りがありました。

割れた組み合わせ　／　件数

不満 ↔ 要望　／　458件（割れの71%）

称賛 ↔ 要望　／　61件

不満 ↔ 称賛　／　52件

その他 ↔ 称賛　／　37件

その他 ↔ 要望　／　27件

その他 ↔ 不満　／　13件

7割が「不満か、要望か」の1か所に集中しています。ここに原因がありました。

原因は、文末の決まり文句だった

割れた458件の本文を並べて読むと、回答の形がだいたい同じでした。

〇〇について、△△で困っています。ご検討をお願いします。

前置きがあって、本題があって、最後に決まり文句が付く。この「ご検討をお願いします」「強く希望します」「改善に期待しています」は、どんな内容の回答にも付きます。困っている話にも、褒めている話にも付く。

そして2体のAIは、この結びの扱いが違っていました。片方は結びを「要望」の根拠として拾い、もう片方は本題だけを見ていた。同じ文を読んで、別の場所を根拠にしていたわけです。

これは指示文の落ち度です。人間なら「そこは定型の挨拶でしょう」と分かる部分を、指示文が一言も書いていなかった。

直し方：抽象的に書いても効かない

最初は「定型的な表現は無視してください」と書きました。効きませんでした。

効いたのは、消すべき言葉を1つずつ名指しで並べるやり方です。実際のデータに10件以上出てきた結びの言い回し6種類と、前置きの言い回し9種類を、そのまま指示文に書き出しました。

あわせて2つ足しました。

・当てはめる順番を固定した。「要望 → 不満 → 称賛 → その他」の順に見て、最初に当たったものにする。「〜ませんか」「〜があると助かります」のような遠回しな求めも要望に入る、と明記した

・混ざったときの決め方を書いた。望んでいる形が書いてあるなら、困りごとが混ざっていても要望にする

順番はここで一度失敗しています。最初は「不満 → 要望」の順にしたのですが、残った割れが全部「〜がほしい」「〜ませんか」型でした。順番を入れ替えただけで、100件中14件だった割れが1件になりました。

効き目を測った

指示文を直したあと、100件で測り直しました。ここで大事なのは、直すときに読んでいた100件だけで測らないことです。それだと「その100件専用の指示文」になっただけかもしれない。

なので、一度も読んでいない別の100件でも測りました。

測った対象　／　直す前　／　直したあと

直すときに読んでいた100件　／　19件　／　1件

一度も読んでいない別の100件　／　18件　／　0件

読んでいないほうも下がったので、たまたまではないと判断しました。そのうえで3,100件を最初から流し直したところ、2体が割れた行は24行まで減りました。

引き換えに、3倍遅くなった

いいことばかりではありません。指示文が長くなったぶん、AIが1件ごとに読む量が増えて、処理そのものが遅くなりました。同じ3,100件で1時間32分だったものが、4時間41分かかっています。

数を減らしたければ指示文を厚くする、速さがほしければ薄くする。そういう交換です。どちらが正しいという話ではないので、締切から逆算して決めることになります。

ここから持ち帰れそうなこと

・AIに分類させたら、1体の答えだけを信じない。2体に同じ指示文を渡して突き合わせると、どこが危ういかがその場で見えます。一致した行はそのまま使い、割れた行だけ人が見ればいい

・割れた行は宝物。捨てずに組み合わせで数えると、指示文のどこが足りないかが1か所に集中して見えます

・「定型表現は無視」のような抽象的な指示は効かない。実データに出てきた言い回しを名指しで並べる

・分類の順番を固定する。順番を書かないと、AIは毎回違う順で見ます

・効き目は、読んでいないデータで測る。読んだデータで測った数字は、自分に都合よく出ます

なお、この記事の数字は自前のサンプルで測ったものです。この割合が他のデータでもそのまま出るとは思わないでください。分類の切り方が変われば数字は動きます。実際、同じ3,100件でも指示文の書き方だけで割れが648行から24行まで動きました。測るなら自分のデータで測るのが確実です。

最後に

同じやり方（2体に流して突き合わせ、割れた行に印を付けて納品する）を、代行として引き受けています。件数が多くて手が回らないときや、指示文の作り込みから相談したいときは、下のサービスをご覧ください。