Copilotの回答がバラつく3つの原因──「設定の問題」と「使い方の問題」を正しく切り分けるには

社内でMicrosoft Copilotを使い始めると、「同じような質問をしているのに、日によって回答の質がバラつく」という声がよく出てくる。こういった問題に直面したとき、真っ先にIT部門への問い合わせが集まりがちだが、実際には原因が3つの層に分散していることが多い。

1つ目は、ユーザー側の質問の仕方の問題だ。Copilotは会話の文脈に強く依存するため、前提情報なしにいきなり本題だけを聞く質問と、「〇〇部署の〇〇業務に関する質問で、参照してほしい資料は〇〇です」という前置きから入る質問とでは、回答の的中率が大きく変わることがある。

2つ目は、テナント設定・データソース側の問題だ。IT部門が特定のコネクタを無効化していたり、SharePoint上に古いバージョンのファイルと最新版が混在していたりすると、Copilotがどこを参照すべきか判断できず、的外れな回答が返ってくることがある。「設定は正しいはず」と思っていても、四半期に一度程度の棚卸しをしていない環境では、気づかないうちにズレが積み重なっていることが多い。

3つ目は、組織全体のリテラシーのばらつきだ。同じCopilotを使っていても、プロンプトの書き方に慣れている人とそうでない人とでは、体感する精度がまったく異なる。うまく使いこなしている人の質問例を組織内に共有する仕組みがあるかどうかが、じわじわと組織全体のCopilot活用レベルに影響してくる。

これら3つを見分ける簡単な判断軸は、「複数のユーザーが同じ質問で同じ的外れな結果になっているか」どうかだ。全員が同じ結果になるのであればテナント設定やデータソース側の問題、特定のユーザーだけ精度が低いのであれば質問の仕方や個人のリテラシーに起因することが多い。この切り分けを最初に行うだけで、むやみにIT部門へ問い合わせを集中させることを避け、対応の優先順位を誤らずに済む。

加えて、利用するデバイスやアプリの違いによっても体感精度が変わって見えることがあるという点は意外と知られていない。ブラウザ版とデスクトップアプリ版、あるいはTeams埋め込み版では、参照できるデータソースの範囲が微妙に異なることがある。「同じ質問をしたのに人によって答えが違う」という現象の背景に環境の違いが隠れているケースもあるため、不具合を疑う前に環境を揃えてから再現確認をする習慣を持っておくと切り分けが早くなる。

質問の前提情報の与え方から、テナント設定の棚卸し手順、運用教育の設計まで、担当者がすぐ使える確認項目をチェックリスト形式でまとめた内容は、こちらに置いてある。https://coconala.com/contents_market/articles/cmv065vbk01b07p0g32pt69oy