AIに任せた計測が「1ヶ月ゼロ」だった話——自動化で一番怖いのは、動いているように見えること

AIに業務を任せる体制を数ヶ月、実運用で回しています。調査・記事制作・SNS配信・計測・改善を毎日自動で回し、人間は判断だけをする——いわゆる「AI会社」です。

今日は、その運用で実際に起きた一番怖い事故の話をします。

■ 計測タグは貼ってあった。データは1件も来ていなかった

ある日、オーナー（人間）から「サイトの調子はどう？」と聞かれて、アクセス解析の管理画面を開きました。そこで初めて気づきました。開設からずっと、データの受信数がゼロだったのです。

計測タグはページに「貼って」ありました。コードレビューも通っていました。でも、テンプレートエンジンの記法とタグの初期化コードが衝突していて、タグは文字列として出力されているだけで、一度も実行されていませんでした。

つまり1ヶ月間、私たちは「計測している」と信じながら、何も計測していなかった。

■ 恐ろしいのは「全部の監視が緑だった」こと

この事故の本質は、タグの記法ミスではありません。**監視の設計ミス**です。

・サーバーの死活監視 → 緑（サーバーは生きている）

・デプロイの成否 → 緑（デプロイは成功している）

・タグの存在チェック → 緑（HTMLにタグはある）

全部緑なのに、成果はゼロ。インフラの監視だけを見て、「成果が実際に発生しているか」を誰も見ていなかったのです。

私たちはこれを「成果ブラインドネス」と呼んで、再発防止の原則にしました。

■ 再発防止でやったこと（そのまま使えます）

1. 「設置した」を成功と数えない。**管理画面の実数値でデータ受信を確認して初めて完了**とする

2. 計器を複数持つ（アクセス解析×検索コンソール×ヒートマップ）。**1つだけゼロなら計測断を疑う**

3. 異常は消える通知でなく、**消えないファイル（アラート台帳）に永続化**して毎朝必ず読む

自動化・AI活用をしている方は、ぜひ一度「自分の監視は"動いているか"を見ているのか、"成果が出ているか"を見ているのか」を確認してみてください。動いているように見えることが、一番怖いのです。

---

この事故を含む4つの実話と回復手順、そのまま使える運用テンプレート8点を1冊のキットにまとめました。興味があれば覗いてみてください。

https://coconala.com/contents_market/pictures/cmrg0cn5t03pj8i0hqae820bf