問い合わせのAI分類、本発注前に50件で精度を確かめる手順

■ なぜ50件なのか

AI分類を本格導入する前に、自分のデータで精度を見ておくと失敗が減ります。件数は50件で十分です。10件だと偶然に左右され、200件だと確認するだけで半日かかります。50件なら、分類の癖と「その他」に落ちる割合が見えてきます。

■ 用意するもの

・問い合わせ本文が1列に入ったCSVまたはExcel(50行)

・分類したいカテゴリの案(5〜10個)。なければこちらで設計します

・「これは高、これは低」と判断できる緊急度の基準(1〜2行でよい)

■ 手順

1. 50件をAIに分類させ、カテゴリ・要約・緊急度・返信要否・返信案を付けたExcelを作ります。

2. 50件を上から順に目視で確認し、違うと思った行に印を付けます。ここが一番大事な工程です。

3. 印が付いた行を見て、原因を3つに分けます。カテゴリの境目が曖昧、例文が足りない、そもそも人間でも迷う。

4. 境目と例文を直して、もう一度50件を流します。

■ 精度の目安

1回目で8割合っていれば実用圏です。2回目で9割を超えることが多く、残りの1割は「人間でも迷う」問い合わせです。そこは「要確認」として人に回す設計にします。10割を目指すと、ルールが複雑になって保守できなくなります。

■ よくある失敗

・カテゴリを20個作ってしまう。多いほど境目が増え、精度は下がります。まず10個以内。

・要約を長くする。40字を超えると読まなくなります。

・返信案をそのまま送る。AIの案は下書きです。人が最終確認する前提で使います。

■ サービスについて

50件までのお試しは「問い合わせ50件をAI分類しExcel化します」(3,000円・2日)でご用意しています。本発注に進む場合はお試し料金分を差し引きます。本サービスは「ChatGPTで問い合わせ分類をExcel化します」(22,000円)です。まずはCSVと分類したいカテゴリの案をお送りください。