アンケートの自由回答をAIで分類するときの3つの落とし穴｜数字を信じる前に確かめること

「自由回答が300件集まったけれど、読む時間がない」
「AIに分類させたら、それらしい結果が出たけれど本当に合っているのか不安」アンケートの自由回答は、生成AIを使うと数分で分類・集計できます。ただ、出てきた表をそのまま報告資料に貼ると、あとで「この数字はどう数えたの？」と聞かれて困ることがあります。
AIで自由回答を分類するときに起きやすい3つの落とし穴と、その防ぎ方をまとめました。

落とし穴1：分類の名前をAIに任せきりにする

「この回答を分類して」とだけ頼むと、AIは毎回ちがう名前のグループを作ります。同じデータでも、1回目は「価格への不満」、2回目は「料金が高い」と名前が変わり、前回の結果と比べられなくなります。
防ぎ方は、最初に分類の名前を決めてから渡すことです。まず50件ほどをAIに読ませて分類の案を出してもらい、人がそれを見て5〜8個に整えます。決めた分類の一覧を、毎回同じ指示文に入れて使います。

落とし穴2：1つの回答に2つの意見が入っているのを見落とす

「値段は高いけど、スタッフの対応はよかった」のように、1つの回答に不満と満足が両方入っていることはよくあります。1つの分類にしか入れない決まりにすると、どちらかの声が消えてしまいます。
AIには「1つの回答に複数の意見があるときは、意見ごとに分けてから分類して」と頼みます。集計のときは「回答の数」と「意見の数」がずれるので、表にどちらで数えたかを書いておきます。

落とし穴3：件数だけ見て、元の回答を読まない

「価格への不満 42件」という数字だけでは、何をどう直せばよいかが分かりません。また、AIが分類をまちがえていても、数字だけ見ていると気づけません。
防ぎ方は、分類ごとに代表的な回答を2〜3件、元の文のまま並べることです。人がそれを読んで「この分類で合っているか」を確かめます。ここで違和感があれば、分類の名前か指示文を直して、もう一度流します。

AIに渡すときのひな形

次のように頼むと、確かめやすい結果が出てきます。1. アンケートの目的と、聞いた質問の文
2. 使う分類の一覧（名前と短い説明）
3. 「1つの回答に複数の意見があれば分けてから分類」
4. 「分類ごとの件数と、代表的な回答を原文のまま2〜3件」
5. 「どの分類にも入らない回答は『その他』にして一覧で出す」「その他」に入った回答は、新しい分類を作るきっかけになるので、必ず人が目を通します。

まとめ

1. 分類の名前は先に決めてから渡す
2. 1つの回答に入った複数の意見を分ける
3. 件数だけでなく、元の回答を読んで確かめるAIは読む作業を速くしてくれますが、分類が正しいかを決めるのは人です。この3つを押さえておくと、報告のときに数字の根拠をはっきり説明できます。「自由回答が多すぎて手が回らない」という方向けに、アンケートの自由回答の分類・要約も代行しています。プロフィールの出品一覧からご覧ください。