AIに「探させる」と、それらしい間違いが混ざる。照合だけにしたら、一致分の精度が100%になった話

営業リスト用の事業所データを照合する仕組みを、無償のモニターとして作ったことがあります。そのときに起きたことと、そこから決めた作り方の話です。
■ 最初は、AIに検索させていたやりたかったのは、手元の事業所リストの一件ずつに、正しい情報をひもづけることでした。最初は、AIに事業所名を渡して「この事業所の情報を調べて」と検索させる形にしました。結果は、それらしい答えが返ってくるのに、中に実在しない情報が混ざっていました。AIは、わからないことにも何かしら答えを返します。探しに行かせる形にすると、この「それらしい間違い」が混ざるのを止められません。しかも見た目では正解と区別がつかないので、あとから人が全部確かめ直すことになります。
■ 依頼主の方の一言で、作り方を変えた依頼主の方に言われたのは、こうでした。「取れない分は取れなくていい。正確な情報だけ欲しい」そこで、答えの元になる正解の一覧を先に用意して、AIには「この一覧の中から一致するものを探すだけ」をさせる形に変えました。一覧にないものは、推測で埋めずに「不明」と返させます。
■ 結果実際に数えた結果です。・一致した分の精度：100%・全体の取得率：60〜70%埋まる率は下がりました。それでも、間違いが混じらないので、そのまま使えるものになりました。外注していた作業（月1〜3万円）は、その分が60〜70%減っています。仕組みは Google Apps Script で動いていて、運用費は0円です。
■ 手を動かす前に決めることAIに業務を任せるとき、最初に決めるのは「どこまで探させるか」です。・答えの元（一覧・表・本文）を先に渡しているか・一覧にないものを「不明」と返させているか・何件・どの形で返すかを、数で決めているかこの3つが決まっていないプロンプトは、たいてい結果がぶれます。
■ もう少し詳しく知りたい方へ置き換えていい作業かどうかの見分け方と、5つの型（定型文の生成／照合・突き合わせ／抜き出し・転記／見積もりの組み立て／仕分け・振り分け）を資料にまとめています。・教材 第1章「その作業、AIで置き換えられるか」・自分の作業で試す前に、自動化できるかを診断する出品もしています（診断レポート）※掲載している数字は、実際に作った4件（有償2件・無償2件）のうちの1件のものです。