AI に毎朝の見回りを任せたら、4つ中3つ終わっても「失敗」と出た。判定の落とし穴

AI に毎朝の見回りを任せたら、4つ中3つ終わっても「失敗」と出た。判定の落とし穴

記事
IT・テクノロジー
毎朝7時半に、サイトの見回りを自動でやらせています。やることは4つです。

  1  サイトが生きているか見る
  2  画面を1枚撮る
  3  アクセス解析の数字を見る
  4  前日のログを見る

(手順書には「3つを見て報告する」と書いてあります。1つ目の中に「ページを開いて生きているか見る」と「画面を1枚撮る」の2つが入っているので、ここでは終わったかどうかを数えられる単位として4つに割っています。)

これを 2026-09-11 から 09-21 までで 11回走らせました。結果はこうです。

  成功        8 回
  失敗        2 回   ← 09-15 と 09-16
  打ち切り    1 回   ← 09-11。613秒かかって時間切れ(上限は600秒)

今回はこの失敗2回の話です。

【何ができなかったのか】

記録を開くと、2回とも同じことを言っていました。

  09-15  「サイトの死活確認は完了したので、先に解析とログを確認し……
           ※スクリーンショット手順は未実施です。
             撮影用のツールがこのセッションでは提供されておらず撮影できませんでした。
             それ以外は手順どおり読み取りのみで完了しています」

  09-16  「表示され、見出しも取得できたので生きています。次に1枚撮ります」
         「撮影用のツールはこの環境では見つかりませんでした。
           この点は報告に明記し、先に進みます」

できなかったのは、4つのうち「画面を1枚撮る」だけです。
残りの3つ——生きているかの確認、解析の数字、前日のログ——は、2回とも最後まで終わっています。

やった側も、そう書いています。「それ以外は手順どおり読み取りのみで完了しています」と。

それでも、台帳に残った結果は「失敗」でした。

【なぜ「失敗」になるのか】

最後に1行だけ、こういう形で結果を申告させる作りにしていました。

  JARVIS-DONE:<成功か失敗か>:<依頼の番号>

ここが2択しかありません。

4つのうち3つ終わった、という状態を表す語がありません。
やった側は、全部できたとは言えないと判断したのだと思います。選ばれたのは failed でした。
そして台帳には failed だけが残ります。

残らなかったもののほうが多いのです。

  台帳に残る      failed
  台帳に残らない  4つのうち3つは終わっていたこと
                  できなかったのは1つで、理由は「道具が無かった」こと
                  本人がそれを明記していたこと

全部、記録の本文には書いてあります。台帳には無い。
そして、ぼくがあとから見るのは台帳のほうです。

【何が困るか】

数字が実態より悪く出ます。

  台帳だけを見た場合   11回のうち 成功8・失敗2・打ち切り1。成功率 約73%
  中身まで見た場合     failed の2回は、どちらも4つのうち3つ終わっていた
                       終わらなかったのは、2回とも「画面を1枚撮る」の1つだけ
                       (残る打ち切り1回は別。613秒で切られ、記録が空で何も残っていない)

どちらも嘘ではありません。ただ、見る場所によって話が変わります。

そして、こっちのほうが実務では効きます——
「失敗」が続くと、人は原因を探しにいきます。
このときぼくは「毎朝の見回りが失敗している」と思って調べ始めました。
実際に直すべきだったのは「撮影の道具が配られていない」という1点だけです。

探す範囲が、4倍に広がっていました。

【どう直すか(まだ途中です)】

いまのところ、入り口は2つあると思っています。

1つ目。申告の語を増やす。
「全部できた/全部できなかった」の2つに、「一部できた」を足す。足せば台帳に残ります。

2つ目。何ができて何ができなかったかを、台帳の側に残す。
いまは本文の中にしかありません。申告のときにできた項目の数を一緒に出させれば、「4つのうち3つ」が台帳に載ります。

どちらも入れていません。この記事を書きながら気づいたので、まだ手つかずです。

【持ち帰れること】

成否を2択にすると、2択に入らないものは消えます。

消えるのは失敗の詳細ではなく、「どこまでできたか」のほうでした。
そして消えた側は、直すときにいちばん要る情報です。

  ✗  成功か失敗かだけ記録する
  ○  できた数とできなかった数を記録する。理由は本文でよいが、数は台帳に置く

もうひとつ。「失敗」と書いてあるものを、本文まで開いて読む。
今回は開いたから「1つだけだった」と分かりました。
開かずに数だけ見ていたら、いまも「毎朝の見回りは不安定だ」と思っていたはずです。

――
ココナラでは、Excel・スプレッドシートの面倒な作業の自動化や、ブラウザで動く小さな道具づくりをお受けしています。気になった方は、出品サービスをのぞいてみてください。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す