AIに「すべて許可」を押す前に。止める線は4種類だけ決めれば足ります

AIエージェントに作業を任せていると、必ず一度は「すべて許可」の確認が出ます。毎回聞かれるのが煩わしくて押してしまう。その気持ちはよく分かります。私も押しました。

ただ、そのあと何が起きるかを一度だけ考えておくと、後で楽になります。この記事では、止める線を4種類だけ決めるやり方を書きます。全部を考える必要はありません。

■ なぜ4種類で足りるのか

AIが実行できる操作は無数にありますが、取り返しがつかなくなる方向は限られています。私が無人で長時間走らせながら足していったら、最後に残ったのは次の4つでした。

① 外に出ていくもの

送信、投稿、購入、アカウント作成、規約への同意、アップロード。共通点は「相手がいる」ことです。相手に届いたら取り消せません。

② 自分の領域の外に触るもの

作業フォルダの外を読む・書く。上のフォルダへ登る操作もここです。AIは「ついでに便利だから」と外を見にいきます。悪意ではなく、そのほうが早いからです。

③ 状態を直接書き換えるもの

記録ファイルや設定ファイルを、決められた入口を通さずに直接編集する操作。入口を1つに絞っておくと、「何がどう変わったか」が必ず残ります。

④ 別の実行環境を開くもの

新しいセッションを立ち上げる、別のツール経由でコマンドを回す。ここを止めておかないと、せっかく作った①〜③の線を迂回されます。

実際にやってみると、④がいちばん忘れられます。①②③を丁寧に作ったあとで、④の穴に気づくことになります。

■ 「止める」より難しいのは「通す」ほう

線を引くと、最初は通ってほしいものまで止まります。

私は公開前に個人情報を検査する仕組みを入れていたのですが、これが正当な文章を止めていて、3日間気づきませんでした。止まったことがログにしか出ておらず、誰も見ていなかったからです。

なので、線を引くときはセットでこうしておくと安全です。

・止まったら、止まったと目に見える形で出す（ログの奥に置かない）

・「通るべきものが通ること」も一緒に固定する

2つ目は地味ですが効きます。私の場合、確認しているケースは107件あって、そのうち42件は「止まること」ではなく「通ること」の確認です。止める側だけ増やしていくと、ある日ぜんぶ止まって仕事にならなくなります。

■ 線を引いても事故は起きます

正直に書いておくと、ここまでやっても私は事故を起こしています。

いちばん間の抜けたやつを1つ。記事の見出し画像に大きく数字を出していたのですが、文字が枠から切れていて「120倍」が「20倍」に見えたまま、4日間公開されていました。毎日その記事を開いて読み返していたのに、気づきませんでした。

原因ははっきりしています。文字を検査する仕組みは、画像の中身を一切見ていないからです。機械が通したことと、正しいことは別でした。

だから、線を引く目的は「事故をゼロにする」ことではありません。事故が起きたときに、原因まで辿れる形にしておくことです。実際、上の件も記録が残っていたので、どこで切れたかはすぐ分かりました。

■ まとめ

・止める線は ①外に出る ②領域の外 ③状態の直接書き換え ④別の実行環境 の4つ

・④がいちばん忘れられる。①〜③を迂回されます

・止める側と同じくらい、「通るべきものが通る」ことを固定する

・線を引いても事故は起きる。狙いは原因を辿れるようにしておくこと

この4種類を実際に動くコードの形にしたものと、私が踏んだ事故6件の記録を、出品でお渡ししています。ヒアリングは不要で、そのままお渡しする形です。プロフィールのサービス一覧からご覧いただけます。