AI自動化が静かに壊れていないか点検します

AIに作業を任せていて、いちばん怖いのは「動かないこと」ではありません。 エラーを出さないまま、間違った結果を返し続けることです。 ・数字を集計させたら、全角で入力した値だけが静かに0として扱われていた ・「上限500回」と書いた処理が、実際の使い方だと数年後に無言で頭打ちになる ・同じデータを2か所で開いて保存したら、片方の変更が警告なしに消えた ・「不具合が33件」と報告されたが、実際は検査プログラム側の数え方が壊れていた どれも例外は出ません。もっともらしい結果が返ってくるだけです。 見比べる仕組みを持っていない限り、気づく手段がありません。 ■ 何をするか お手元の自動化の仕組み(スクリプト・設定・手順書、外注業者からの提案書や見積書など、 お出しいただける範囲のもの)を拝見し、次の4点を点検してレポートにまとめます。 1. 静かに壊れる箇所 　エラーを出さずに誤った結果を返しうる場所を、具体的に指摘します 2. 壊れたと気づける仕組みがあるか 　検算・通知・記録が設計に入っているかを確認します 3. 認証情報と外部送信の扱い 　鍵の置き場所、どこへデータが出ていくかを確認します 4. 専門知識なしで運用を続けられるか 　引き継ぎ・仕様変更・不具合時の現実的な手順を確認します 指摘は重い順に並べ、それぞれに具体的な直し方を添えます。 「気になる点があります」で終わらせません。 ■ 納品物 ・点検レポート(テキストまたはPDF、A4で3〜6ページ程度) ・優先度つきの指摘一覧(そのままチェックリストとして使えます) ・納品後7日間、レポート内容についてのご質問にお答えします ■ 私について 1年間、日常業務の自動化基盤としてAIエージェント(Claude Code)をほぼ毎日運用し、 その中で実際に起きた失敗と対策を記録し続けてきました。 現在その記録は数十項目にのぼり、本サービスの点検項目はすべてそこから作っています。 教科書的な一般論ではなく、実際に踏んだ失敗を基準に見ます。 複数のAI(Claude・ChatGPT)を併用して観点の抜けを相互に補ったうえで、 最終的な指摘の妥当性は人の目で確認してからお渡しします。 ■ こんな方に ・外注業者から提案や見積をもらったが、妥当かどうか判断できない ・自分で組んだ自動化が、正しく動いているのか確信が持てない ・動いてはいるが、いつか静かに壊れる気がして不安 ・社内に相談できる技術者がいない ■ ご購入前にお願いしたいこと ・機密情報はマスキングのうえお送りください(構造が分かれば点検は可能です) ・拝見する分量が多い場合(スクリプト20ファイル超など)は、事前にご相談ください ・やりとりはトークルームでのチャットでお願いしております。 　恐れ入りますが、ビデオ通話・WEB会議は承っておりません。 　そのぶん、ご質問には文章で丁寧にお答えし、後から読み返せる形で残ります。