AI開発が勝手に進むのが不安な方へ｜kajiを試して分かった安全停止の仕組み

「AIにプログラム開発を任せたいけれど、間違ったまま進まないか不安」と感じていませんか。

先に結論をお伝えすると、AI開発では、賢いAIを選ぶことと同じくらい、問題があれば止める仕組みが重要です。

2026年8月19日に、AI開発の工程を管理するkaji v0.18.0を小さな機能開発で検証しました。途中で2回停止しましたが、原因を確認して修正した後は、12件のテスト、独立レビュー、mainへのマージまで完了しました。

この記事は、AI開発を安全に試したい方や、外部の開発支援を依頼するときに確認すべきポイントを知りたい方に向いています。

AI開発で本当に怖いのは「止まらないこと」

AIがコードを書けるようになっても、次の心配は残ります。

・変更前から壊れていた部分を見落とさないか

・必要なテストが動いていないのに成功扱いしないか

・関係のないファイルまで混ぜて変更しないか

・作ったAIが自分で合格を出して終わらないか

・何度もやり直して費用が増え続けないか

大切なのは、「AIなら失敗しない」と期待することではありません。設計、テスト、レビューの関門を用意し、条件を満たさなければ次へ進ませないことです。

結論は「速く進める前に、止まれるようにする」

kajiでは、開発を複数の工程に分けられます。

今回の検証では、次の順番にしました。

1. 作る機能を設計する

2. 別の工程で設計を確認する

3. 変更前のテストが正常か確認する

4. 新しいテストと機能を実装する

5. コードを独立した視点で確認する

6. 全体の品質確認をもう一度行う

7. mainへまとめて作業場所を片付ける

AI開発はPASSなら次へ進み、条件を満たさない場合は停止して原因を確認する。AI生成の図解。

各工程でPASSになれば次へ進みます。問題があればABORTとして停止し、理由と証拠を残します。

これは、遊園地の乗り物にある安全確認と同じです。早く出発するための仕組みではなく、安全バーが閉まっていない状態で出発させないための仕組みです。

検証では小さな挨拶機能を作った

検証課題は、名前を渡すと「こんにちは、海さん」のような日本語の挨拶を返す機能です。

設定した条件は次のとおりです。

・名前の前後にある空白を取り除く

・空白を取り除いた後に名前が空ならエラーにする

・既存の機能を壊さない

・正常、空白除去、エラーの3パターンをテストする

・プロジェクト全体の品質確認を通す

小さな課題を選んだのは、kajiの流れに問題があるのか、作る機能に問題があるのかを分けて確認するためです。

1回目はテストに必要な道具がなく停止した

最初は設計と設計レビューに合格しました。しかし、変更前の状態を調べる工程で停止しました。

原因は、複数のテストを並行して動かすためのpytest-xdistが環境に入っていなかったことです。テストを開始する命令自体を正しく受け付けられず、終了コード4になりました。

kajiはこれを「テスト成功」とは扱わず、安全に停止しました。

もし、そのまま実装へ進んでいたら、後から起きた失敗が変更前から存在したのか、新しいコードによるものなのか分かりにくくなります。

必要な道具を追加した後、変更前の9件のテストがすべて成功することを確認しました。

2回目は未整理の一時ファイルを見つけて停止した

再開すると、今度は作業場所にGitが管理していない一時ファイルがあるという理由で停止しました。

AIはmainを直接変更せず、worktreeという分けられた作業場所を使っていました。その中にkajiが作った一時成果物が残り、Gitから未整理の変更と判断されました。

一時成果物の保存場所をGitの無視対象に追加し、作業場所がきれいになったことを確認して再開しました。

これも遠回りではありますが、知らない変更をmainへ混ぜないための安全確認として働いています。

修正後は12件のテストに合格した

2つの問題を直した後は、停止した工程から最後まで進みました。

確認できた結果は次のとおりです。

・既存テスト9件に合格

・新しい挨拶機能のテスト3件に合格

・合計12件すべてに合格

・コード検査、整形確認、型の確認に合格

・独立コードレビューの修正必須0件

・変更前と比べたテストの後退0件

・mainへのマージ完了

・作業用worktreeとbranchの削除完了

2回のABORTで原因を修正し、3回目に12件のテストへ合格した。全体は約15分55秒。AI生成の図解。

最初の実行開始から最終完了までは約15分55秒でした。ログに記録された推定コストは合計約5.40米ドルでしたが、実際の請求額を確認した数字ではありません。今回の小さな課題と特定の環境だけの参考値です。

自分でAI開発を試すときの5つの確認手順

AI開発を安全に試すなら、最初から大きなシステムを任せず、次の順番で確認するのがおすすめです。

1. 外部通信や個人情報を含まない小さな機能を選ぶ

2. 変更前のテスト結果を保存する

3. 設計、実装、レビューを別の工程にする

4. 繰り返し回数と費用に上限を設ける

5. 最後は人間または別のCIで再確認する

特に、テストが失敗したときだけでなく、テストを正しく始められなかったときにも止まるようにすることが重要です。

今回の結果だけでは分からないこと

今回確認したのは、外部通信をしない小さなPython関数1件です。

次の内容はまだ確認できていません。

・大きなシステムでも同じ品質を保てるか

・複数のAIが同時に変更した場合の競合

・通信断や利用制限からの回復

・顧客情報やAPIキーを扱う場合の安全性

・長期間動かした場合の費用

・GitHub上のPull Requestや必須CIとの連携

そのため、今回の結論は「小さな検証では仕組みが成立した」までです。会社の本番システムへすぐ導入できると保証する結果ではありません。

まとめ

AI開発で大切なのは、AIを止まらず働かせることだけではありません。

今回のkaji検証では、必要なテスト用ツールがないときと、作業場所に未整理のファイルがあるときに安全停止しました。修正後は停止地点から再開し、12件のテストと独立レビューを通して完成できました。

自分で試す場合は、まず機密情報を含まない小さな課題を1つ選び、変更前のテストと停止条件を決めるところから始めてみてください。

大規模な開発、機密情報を扱う開発、既存テストが少ない開発では、AIを動かす前の環境設計と人間による最終確認が必要です。