AI契約書のハルシネーション率は何％？

AI契約書のハルシネーション率は何％？

生成AIに「業務委託契約書を作ってください」と入力すると、数秒でかなり立派な契約書が完成します。

しかし、AIには「ハルシネーション」という問題があります。

ハルシネーションとは、AIが誤った情報や存在しない内容を、もっともらしく生成してしまう現象です。

では、AIに契約書を作らせた場合、どのくらいの割合で間違いが起きるのでしょうか。

結論からいうと、現在のところ、

「AIが作成した契約書のハルシネーション率は○％」

と一律に示せる信頼性の高い数字はありません。

AIの種類、プロンプト、契約内容、与える資料、そして何をハルシネーションと定義するかによって結果が変わるからです。

2026年に公表された契約データを用いた研究では、集約されたハルシネーション率として約52％という数字が示されています。

ただし、これは「AIが作った契約書の半分が間違っている」という意味ではありません。

契約書から情報を抽出したり、内容を判定したりするタスクを分析した研究です。

また、法律分野全体では、2024年の研究においてGPT-4でも判例に関する質問で58％以上のハルシネーションが確認された例があります。

つまり、法律分野ではAIの回答をそのまま信用することには、まだ一定のリスクがあります。

契約書ではさらに厄介な問題があります。

それは、

「文章としては正しいが、その取引には合っていない」

という契約書です。

例えば、

・発注者と受注者の責任分担がおかしい

・損害賠償条項が実際の取引に合っていない

・著作権条項と利用方法が矛盾している

・AIが依頼者から聞いていない条件を勝手に補っている

といったケースです。

これは典型的なハルシネーションとは少し違いますが、契約実務では非常に重要な問題です。

だからといって、契約書作成にAIを使うべきではない、という話ではありません。

AIは、

・契約書の構成案を作る

・必要条項を洗い出す

・文章を整理する

・抜けている論点を確認する

といった作業では非常に便利です。

問題なのは、

「AIが作ったから完成」

としてしまうことです。

AI時代の契約書作成で重要になるのは、文章を作る能力以上に、

「その契約書を本当に使ってよいのか」

を確認する能力です。

現時点では、

「AI契約書のハルシネーション率は○％」

と断定することはできません。

しかし、法律・契約分野でAIが一定割合の誤りを生じさせることは、研究でも確認されています。

これからの契約実務では、

「AIに作らせる力」だけではなく、

「AIが作ったものを検証する力」

がますます重要になっていくでしょう。

南本町行政書士事務所　特定行政書士 西本