AIチャットボットの回答がずれる原因はFAQにある

AIチャットボットを使い始めたものの、「回答が少しずれる」「古い情報を答えてしまう」と感じたことはありませんか。

その原因の多くは、AIに読み込ませている情報にあります。この記事では、チャットボットの回答を整えるためのFAQの考え方を紹介します。

1. AIは渡された情報をもとに答える

AIチャットボットは、読み込ませたFAQやマニュアルなどの情報をもとに回答を作ります。情報が古かったり、資料ごとに内容が食い違っていたりすると、回答もぶれやすくなります。まずは、AIに渡している資料に古い情報や矛盾がないかを確認することから始めましょう。

2. 質問はお客様の言葉で書く

FAQの質問は、社内の言い方ではなく、お客様が実際に使う言葉で書くことが大切です。たとえば「解約手続き」ではなく「やめたいときはどうすればいいですか」のような書き方です。言い回しのちがう質問をいくつか用意しておくと、AIが質問の意図をつかみやすくなります。

3. 1つの質問に1つの答え

1つの回答に複数の話題を詰め込むと、AIが必要な部分だけを取り出しにくくなります。1つの質問には1つの答えを、短くはっきり書くようにしましょう。回答の最後に、さらに知りたい場合の案内を添えておくと、お客様が迷いにくくなります。

手順：ずれた回答の原因を探す

STEP1　ずれた回答を集める：チャットの履歴から、内容がずれた回答を10件ほど書き出します。

STEP2　元の資料を探す：回答の元になったFAQや資料を、ツールの参照元の表示などで特定します。

STEP3　原因を分類する：「古い情報」「矛盾」「質問の言い回しの違い」に分けます。

STEP4　資料を直す：古い版を削除し、言い回しのちがう質問を追加します。

STEP5　同じ質問で再確認：直したあと、同じ質問を入れて回答を確かめます。

画面のイメージ：回答チェック表

ずれた回答は、質問・実際の回答・原因・対応・再確認の5項目で記録する

と、同じまちがいを繰り返しにくくなります。下は記録表のイメージです。

・質問：送料はいくら？

・回答：全国一律500円（旧料金）

・原因：古い料金表が残っていた

・対応：旧料金表を削除、FAQを更新

・再確認：正しい送料を回答 ◯

比べてみる：ずれの原因

・原因：古い情報／よくある例：旧料金表が残る／直し方：古い版を削除

・原因：資料の矛盾／よくある例：ページごとに条件が違う／直し方：正しい方に統一

・原因：言い回しの違い／よくある例：「やめたい」が拾えない／直し方：質問の別表現を追加

もう一歩踏み込むなら：質問の傾向から資料を先回りで直す

ずれた回答を直すだけでなく、よく聞かれる質問の傾向を見て、資料を先回りで整えることもできます。たとえば季節の変わり目に配送の質問が増えるなら、その時期の前に配送の資料を見直しておきます。チャットの履歴から、月ごとに多い質問の上位を数えておくと、傾向がつかみやすくなります。料金改定やキャンペーンの終了など、情報が変わる予定がわかっている場合は、変更日にあわせて資料を差し替える段取りも決めておきましょう。

よくある失敗

×　回答の文だけを直して、元の資料を直さない

×　古い資料を残したまま新しい資料を足す

×　直したあとに同じ質問で確かめない

防ぐためのひと工夫：

→ 答えがずれたら、元になった資料の該当箇所を先に直します。

→ 新しい資料を足すときは、古い版を同じ日に外します。

→ 直したら、ずれていた質問を3通りの言い方で入れて確かめます。

例：こんな場面で（架空の例です）

小さなネットショップ。送料の回答が古いままでした。履歴を見ると、昨年の料金表が資料に残っていたのが原因でした。古い版を削除して確かめ直しました。

Before：「まちがった回答の原因がわからない」

After：「元の資料を特定して直し、再確認まで済んでいる」

チェックリスト

□ ずれた回答を集めた

□ 元の資料を特定した

□ 原因を3つに分類した

□ 資料そのものを直した

□ 同じ質問で再確認した

よくある質問

Q. 参照元が表示されないツールでは？

A. ずれた回答に出てくる言葉で資料を検索すると、元の箇所を見つけやすくなります。

Q. どのくらいの頻度で見直す？

A. 料金や営業時間が変わったときと、月1回の履歴確認を組み合わせるのがおすすめです。

Q. 全部の回答を確認するのは大変です。

A. よく聞かれる質問から優先して確認しましょう。

まとめ

チャットボットの回答のずれは、元の資料を直すことで解消しやすくなります。ずれた回答を集め、原因を分類し、直したら同じ質問で確かめる流れを習慣にしましょう。

自社で進めるのが難しいときは

準備や設定に手が回らないときは、Freeborn株式会社の「AIチャットボットの初期設定とFAQ作成をします」もご覧ください。

お使いのAIチャットボットに、FAQとナレッジを作成して登録・設定する1回きりのサービスです。

気になったことや自社の場合の疑問は、ココナラのメッセージから気軽にご質問ください。