アンケートの自由記述をAIで分類するときの進め方

アンケートの自由記述をAIで分類するときの進め方

記事
IT・テクノロジー
アンケートの自由記述は、回答が集まるほど読み通すのが大変です。分ける観点をAIに渡せば、回答を仕分ける作業を任せられます。任せるぶん、分けた結果を人が確かめる手順も最初から組み込んでおきます。
fig_01.png

回答を表にそろえる

ChatGPT、Claude、Geminiは、どれも表のファイルを添付して読ませられます。アンケートの集計画面から回答を書き出し、自由記述が1列に並んだ表にしておきます。ChatGPTのヘルプはデータを渡すときの形として、1行目にわかりやすい列の見出しを置き、1行に1件ずつ並べることを勧めています。避けるものとして挙がっているのは、1枚のシートに関係のない表をいくつも置くことと、空の行や列で区切ることです。
回答に1件ずつ番号を振った列を作っておくと、分類の結果と元の回答をあとで番号で突き合わせられます。名前や連絡先のように人がわかることが書かれた回答は、渡す前にその部分を消しておきます。仕事のアンケートなら、社内の決まりと、使うAIの学習の設定も先に確かめます。

分ける観点を先に決める

「分類して」とだけ頼めば、どう分けるかもAIまかせです。最初の1回では意図と違う分析の方法を選ぶことがあるので、使ってほしいグループ分けや列を指定するよう、ChatGPTのヘルプにも書かれています。何を知るために取ったアンケートかに立ち返り、分ける観点は自分で決めておきます。
研修のあとのアンケートなら、観点はたとえば「内容」「進め方」「会場や配信」「要望」の4つです。観点ごとに名前と、どんな回答を入れるかの短い説明を書き、当てはまる回答の例も添えます。Claudeの開発者向けの資料のうち、問い合わせの振り分けを扱ったページには、分類の定義がはっきりしているほど振り分けがうまくいくと書かれています。添える例は実際の回答に近いものから選び、迷いやすいものも含めて3〜5個にするよう、Claudeの頼み方のガイドが勧めています。
どれにも当たらない回答の行き先として「その他」も用意します。1つの回答に2つの話題が書かれていたら、両方の分類に入れるのか、主な1つだけにするのかも決めておきます。
たとえば、次のように頼みます。
「添付の表のC列は、研修のあとに取ったアンケートの自由記述です。各回答を次の5つのどれか1つに分けてください。内容(研修で扱った話への感想)、進め方(時間配分や説明の速さ)、会場や配信(部屋、音、画面のこと)、要望(次に取り上げてほしいこと)、その他(どれにも当たらないもの)。結果は回答番号、分類、決め手になった語句の3列の表にし、語句は回答の書き方のまま抜き出してください。」

一部で試してから全件を分ける

最初は回答の一部だけを渡し、同じ回答を自分でも分けて、AIの分け方と見比べます。食い違った回答があれば、その分類の説明を書き足すか、迷った回答を例に加えます。「その他」に似た話がいくつも入っていたら、その話は新しい分類の候補です。
分け方が固まったら全件を渡します。大きな表は添付できても全体を分析しきれないことがある、というのがChatGPTのヘルプの説明です。同じヘルプは、結果に抜けがありそうなときは、特定の行や列を確かめるよう頼むか、ファイルを小さく分けるよう案内しています。Geminiのヘルプにも、大きすぎるファイルでは細かい情報が抜けた答えになることがあると書かれています。回答が多いときは、番号の範囲で区切って何回かに分けて渡します。

観点ごとの件数を数える

返ってきた表は、番号を手がかりに元の表へ戻し、表計算ソフトで観点ごとの件数を数えます。AIに件数まで答えてもらった場合も、自分で数えた数と見比べておきます。ChatGPTのヘルプも、ChatGPTがコードを書いて計算した結果は、頼る前にコードと出力、前提を確かめるよう求めています。
読むだけの集計では、印象に残った声がそのまま結論になりがちです。観点ごとに件数が出ていれば、どの話が多かったかを数で比べられます。気になる分類があれば、番号から元の回答をすぐに読み返せます。
fig_02.png

分類の結果を人が確かめる

件数を報告に使う前に、分け方が回答の中身に合っているかを人が確かめます。Geminiのヘルプにも、Geminiは間違えることがあるので答えを確かめ直すよう書かれています。
まず、返ってきた表の行数が元の回答の数と同じかを見ます。番号が飛んでいたり、同じ番号が2回出ていたりしないかも確かめます。
次に、分類ごとにいくつかの回答を抜き出して、元の文と読み比べます。決め手として挙がった語句が元の回答に本当にあるか、ほめているようで要望を書いた回答がどこに入ったかを見ます。
「その他」に入った回答と、件数の少ない分類は全部読みます。数は少なくても、すぐに直したい不便や、次の企画につながる声が混ざっていることがあります。
fig_03.png
確かめ終えた観点と頼み方は、ファイルに残しておきます。次のアンケートも同じ観点で分ければ、前回と今回でどの話が増えたかを比べられます。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す