AIの安全装置が、検証報告まで止めてしまった話

今日は、Claude Codeで使う安全装置の実地確認を振り返った。AIがコマンドを実行する前に、秘密ファイルへの操作や危険な削除、データベース操作を点検して止める仕組みだ。

確認用の作業フォルダで、止まるべき15件と、通るべき4件を分けて試した。前者はすべて実行前に停止し、後者はすべてチェックを通過した。数字だけなら「19件すべて期待どおり」で終わりにしたくなる。

けれど、結果の中身は同じではない。通過した4件のうち、データベース用コマンドの2件は、PCに実行ソフトがなくエラーで終わった。「安全装置が通した」と「処理が成功した」は別の確認だ。ここを混ぜると、動かしていない機能まで検証済みに見えてしまう。

さらに、報告書を保存しようとしたときに別の問題が出た。保存先は普通の文章ファイルなのに、秘密ファイルへの書き込みとして止められた。報告本文に載せた検証用コマンドを、実際に実行する操作と取り違えていた。

危険な操作を見逃さないことは大切だ。ただ、正常な報告まで止まると、日々の作業は進まない。今回の記録では、コマンド全体の文字だけを見る判定と、文章として書かれた内容との区別が課題になった。修正方針は整理したが、この誤検知を直し終えたという報告ではない。

もう一つ見直したのが、人の確認をどこで挟むかだった。この検証セッションでは、チェックを通った操作は追加の許可画面なしで実行された。「危ないものは後で自分が止めればいい」という前提は置けなかった。

今回確認できたのは、用意したケースで実行前の停止が働いたことと、正常な操作を止める場面が残ったこと。あらゆる操作を防げる証明ではない。AIを使う開発では、成功件数だけでなく、何を通し、何を止め、何がまだ分からないかを残すところまでが仕事だと感じた。

Claude Codeを使い始めたものの、任せる範囲や権限設定が不安な方は、出品中の「Claude Codeの安全な使い方を教えます」からご相談ください。作業環境と目的を伺い、AIに任せる部分と人が確認する部分を一緒に整理します。