生成AI・APIの精度を検証しレポート化します

生成AIや外部APIを業務で使いたいが、実際どこまで使えるのか分からない。その判断材料を、実測した数字と失敗例でお出しします。 ■ こんな方に ・自社APIを業務システムに組み込んだ場合の実力を示す資料が必要な方 ・導入前に精度と、人の確認がどこまで必要かを知りたい方 ・PoCをやりたいが、検証の設計ができる人が社内にいない方 ■ 納品するもの ・検証レポート（項目別の誤り率、失敗パターンの分類、業務ルール側の検算でどこまで救えるか） ・測定に使った生データ一式（後から再検証できる形でお渡しします） ・所見（何を自動で通し、何を人が確認すべきかの線引き） ■ 進め方 1. 検証したいAPI・モデルと、業務のどの工程で使うのかをお聞きします 2. 検証用のデータを設計します（実データをお預かりできない場合は架空の帳票等を用意します） 3. 条件を変えて実測し、結果を数値化します 4. レポートにまとめてお渡しします ■ 直近の実績 OCRのAPIを提供されている事業者様から、業務システムに組み込んだ場合の活用デモと検証レポートの制作をご依頼いただきました。架空の帳票20枚を2つの経路で読み取り、API応答410件を保存したうえで、項目別の誤り率と、業務側の検算でどこまで救えるかを45ページにまとめています。成果物は依頼者様の公式サンプルとして公開いただき、制作者としてクレジットを掲載いただきました。 ■ 考え方 生成AIは間違えます。間違えない前提の資料に意味はありません。どこで止めるか、何を人が見るかを決められる形にするのが検証だと考えています。「高精度です」ではなく、数字と失敗例をそのままお出しします。 ■ 経歴 システムエンジニア12年（インフラ10年・バックエンド4年）。AWS認定ソリューションアーキテクト プロフェッショナル。地方銀行の基幹システムを20名体制で4年、オンプレからAWSへの無停止移行を担当。現在は建設会社の業務システムを自作し、実際の会社で運用が続いています。