問い合わせをAIで分類する前に決めるカテゴリ設計

問い合わせをAIで自動分類したい、というご相談で最初に詰まるのがカテゴリの設計です。ここが決まっていないと、精度の話に進めません。実際に100件の問い合わせを分類したときの決め方をまとめます。

■カテゴリは「次の行動」で切る

内容で切ると、似た問い合わせが別々のカテゴリに散ります。分けるべきは、受け取った側が次に何をするかです。すぐ返信するのか、担当部署に回すのか、記録だけでよいのか。行動が同じものは1つにまとめます。

■数は7〜12が扱いやすい

少なすぎると「その他」に集まり、多すぎると判定がぶれます。実例では11カテゴリに落ち着きました。配送遅延17件、返品・交換12件、不良品11件、使い方の質問11件、感謝9件、その他9件、予約変更8件、請求・領収書7件、営業6件、クレーム5件、採用5件という分布です。

■「その他」は必ず作り、中身を毎回見る

判定に迷うものを無理に押し込むと、あとで原因が追えなくなります。その他が全体の1割を超えたら、カテゴリの切り方がずれているサインです。

■1件に1カテゴリと決める

複数付けられるようにすると、集計が合わなくなります。主たる用件1つに絞り、どうしても必要なら「副次カテゴリ」を別列にします。

■判定基準を文章で残す

「返品・交換」と「不良品」の違いのような、迷いやすい境目は、プロンプトに例文つきで書きます。担当者が変わっても同じ結果になるようにするためです。

■カテゴリ以外に付けると効く列

緊急度(高・中・低)、返信要否、要約40字、返信案の4つです。特に緊急度があると、100件を上から順に見なくて済みます。

■決め方の手順

まず直近100件をざっと眺めて、次の行動で10前後にグループ分けします。次に各グループの実例を3件ずつ選んでプロンプトに入れます。最後に50件で試して、その他の中身を見て境目を直します。ここまでで半日ほどです。

カテゴリ設計から実装までは「ChatGPTで問い合わせ分類をExcel化します」(22,000円)で承っています。まず自分のデータで精度を見たい場合は「問い合わせ50件をAI分類しExcel化します」(3,000円・2日)もあります。