「AIが勝手に承認したら、どうするんですか」
AIに業務を任せる話をすると、現場で必ず返ってくる質問です。私も、自分の職場で仕組みを作り始めたとき、頭にあったのは期待より先にこの不安でした。便利になるのは分かる。でも、暴走したら誰が止めるのか。
そこで私が最初に決めたのは、「何を自動化するか」ではありませんでした。「どうなったら止めるか」です。前回の記事で書いた、APIのない業務システムをAIに画面操作させる仕組み。その設計の核は、この「止める条件」でした。
失敗に、先に名前を付ける
止める条件は、「起きてほしくない失敗」を先に書き出すところから作ります。誤って承認してしまう。桁の違う数字が、そのまま取引先に流れる。ログインに失敗し続けて、アカウントがロックされる。失敗の形に名前が付けば、止める条件は自然に決まります。
・承認ボタンと送信ボタンは、AIには絶対に押させない。AIの仕事は確認と報告まで
・前日と大きく違う数字が出たら、進めずに人の確認に戻す
・桁がおかしい数字(いつもは5桁なのに7桁、など)は、エラーとして止める
・ログインできなかったら、繰り返し試さず、止まって報告する
どれも地味なルールです。でも、この「止める側」の設計があったからこそ、任せる範囲を広げられました。止める条件の決まっていない自動化は、怖くて本番では使えません。
読者の方から、同じ線引きのコメントをもらった
先日の記事に、読者の方からコメントをいただきました。「止める条件を先に決めるのが腑に落ちた。自分も数字と日付は送る前に自分で見るようにしていて、承認や送信はAIに任せない線引きが大事だと思った」という内容でした。
嬉しかったのは、テクニックへの反応ではなく「線引き」への共感だったことです。AIを実務で使っている人ほど、この感覚を持っているのだと思います。派手な自動化の話より先に、どこで止めるか。その順番が、現場で信用される自動化かどうかを分けます。
「止まってくれて助かった」が、実際に起きた
一度、朝のチェックでAIがログインに失敗し、止める条件どおりに「ログインできないため、本日の確認はできていません」とだけ報告してきたことがあります。もし止める条件がなければ、何度もログインを繰り返してアカウントがロックされ、出社した同僚が誰もシステムに入れない、という笑えない事態になっていたかもしれません。
また、集計の数字が前日と大きく食い違って人の確認に戻ってきたときは、調べてみると基幹システム側の出力が遅れていただけでした。AIの間違いではなくても、「いつもと違う」と検知して止まること自体が、現場の異常検知として働いています。止まる設計は、AIの安全装置であると同時に、現場の見張り役でもあるのです。
ブレーキがあるから、アクセルを踏める
面白いもので、止める条件を厳しく決めるほど、結果として任せられる範囲は広がります。ブレーキが効くと分かっている車のほうが、安心してアクセルを踏めるのと同じです。
そして今は、任せる範囲を広げるかどうかを、有名な事例や他人の成功談ではなく、自分の現場の「失敗の形」から自分で判断できるようになりました。任せ方を自分で決められる。それが、止める条件を先に決めた一番の収穫かもしれません。
AI活用というと「どれだけ任せたか」が話題になりがちですが、私は「どれだけ安心して止められるか」のほうが先だと思っています。これから自動化を始める方の、最初の設計の参考になれば幸いです。
もし同じような現場の方がいたら
私は本業の傍ら、こうした「AIに任せられる部分の切り分けと、止める条件の設計」を、ココナラで相談として受けています。自動化そのものより先に、現場の失敗の形から一緒に考える進め方です。
▼ 相談はこちら(ココナラ・中小企業の困りごとをAIで解決します)