すべてのカテゴリ

アンケートの自由記述を分類する仕事を、AIにやらせている人は多いと思います。私もやっています。ただ、AIに一度投げて返ってきた分類をそのまま集計に使うのは、たぶん危ないです。3,100件のサンプルで実際に測ってみたら、その理由がはっきり数字で出たので書きます。やったこと自分で用意したアンケート回答3,100件を、性格の違うAI2体にまったく同じ指示文で渡して、それぞれに「不満」「要望」「称賛」「その他」の4つに仕分けさせました。そのうえで2体の答えを1行ずつ突き合わせました。一致した行は、たぶん合っています。問題は、割れた行です。結果：648行で答えが違った3,100行のうち648行、およそ5行に1行で、2体の答えが食い違いました。別に片方が壊れていたわけではありません。どちらも真面目に答えて、別々の分類名を出してきます。割れ方には偏りがありました。割れた組み合わせ　／　件数不満 ↔ 要望　／　458件（割れの71%）称賛 ↔ 要望　／　61件不満 ↔ 称賛　／　52件その他 ↔ 称賛　／　37件その他 ↔ 要望　／　27件その他 ↔ 不満　／　13件7割が「不満か、要望か」の1か所に集中しています。ここに原因がありました。原因は、文末の決まり文句だった割れた458件の本文を並べて読むと、回答の形がだいたい同じでした。〇〇について、△△で困っています。ご検討をお願いします。前置きがあって、本題があって、最後に決まり文句が付く。この「ご検討をお願いします」「強く希望します」「改善に期待しています」は、どんな内容の回答にも付きます。困っている話にも、褒めている話にも付く。そして2体