AIに仕事を渡す前に、「作業範囲が空なら止める」仕組みを入れた話

今日は、自分用に開発しているAI開発統括ツール「SUMI」のタスク管理を見直した。

SUMIは、複数のAIに作業を振り分け、対象プロジェクト、担当範囲、完了条件、検証結果をまとめるためのCLIだ。開発を速くするために作ったものだが、運用していると「速く動くこと」より先に整えるべきものが見えてきた。

今回気づいたのは、作業範囲が登録されていない案件でも、実行待ちのキューへ載せられる余地があったこと。人なら前後の会話から意図を補えるが、AIが複数になると「どのファイルを触るのか」「何をもって完了とするのか」が曖昧なまま走り出す。結果として、同じ調査を繰り返したり、担当外まで変更したりする危険がある。

そこで、キューへ追加する直前に作業範囲の有無を検査し、空なら実行させず止めるようにした。ただし、未設定の古いプロジェクトまで読めなくすると移行が難しくなる。同期や状態確認はそのまま許可し、「AIへ渡す瞬間」だけを止める設計にした。エラーにも、何が足りないかと次に登録すべき項目を表示する。

実装で一番悩んだのは、便利さを落とさず安全側へ倒す境界だった。何でも禁止するとツールは使われなくなる。逆に推測で進めると、AIの速さがそのまま事故の速さになる。今回は、閲覧は許可し、実行だけを止める線がちょうどよかった。

次は、作業開始時と完了時にも同じ条件を確認し、検証結果がないまま完了扱いにできない流れへ広げる予定だ。

AIエージェントを使った業務ツールや、既存フローの安全な自動化も、出品中の「Web・業務システム開発」からご相談いただけます。