mikomori

AIの出力が間違っていても気づけない箇所を見つけ、検出できる形にします

AIや自動化を業務に入れたあと、「その出力が合っているか」を確認する仕組みが抜けていることがあります。間違っていても誰も気づかない箇所がどこにあるのかを特定し、1件だけ、実際に検出できる形にするところまでをお手伝いしています。 ■ 何をする人か ・業務1手順を追い、AIの出力がそのまま信用されている地点を洗い出します ・各地点に「間違ったとき誰が気づくか」を書きます。気づく人がいない地点を分けて示します ・そのうち一番上の1件について、間違いを実際に検出する検査を作ります ・検査は、通るところではなく落ちるところをお見せします ・直すコストが損失を上回る箇所は「直さない」と書きます ■ 普段使っているもの TypeScript / Node.js / PostgreSQL / SQL / Docker / Git 自分の開発では、制約をコードとデータベースの両方に二重で書き、片方だけ変わったらテストが落ちる形にしています。守っているルールは文章としても列挙し、移行の適用はクリーンな環境で2回流して2回目が何もしないことを確認しています。 ■ 実績について 正直に書きます。ココナラでの販売実績はまだ0件です。他社事例もROIの数字も持っていません。持っていないものは書きません。 お見せできるのは、自分のシステムで実際に見つけた欠陥の記録です。いずれも「テストが通っている状態」で起きていました。 ・使っていない費用が支出として集計されていた（テスト実行が実績に混ざる形） ・自動送信された通知が、顧客からの返信として数えられていた ・検査が対象に当たらず、何も報告せずに通過していた ・空欄の条件が入力チェックを素通りしていた 4件とも同じ形をしています。測定や検査が、対象そのものではなく、隣にある特徴で書かれていた。同じ形は、たいていどの業務にも1つはあります。 ■ お約束しないこと 業績が良くなることはお約束しません。検出できるようになることと、売上が増えることは別のことです。 ■ お預かりしないもの 本番環境のパスワードやAPIキーはお預かりしません。検査はお客様ご自身の環境で動かしていただく形にしています。