AIのコーディングエージェントを2つ、同じ条件で走らせてみました。
片方は最後まで止まらずに走り切り、片方は何度も止まりました。
普通に考えたら「止まらなかった方が勝ち」です。
でも、出てきたモノを並べて見たとき、私は自分の予想が外れたことを認めるしかありませんでした。
ルールを先に決めた
比べるときにいちばん大事なのは、条件をそろえることです。
だから始める前に、自分に対してルールを縛りました。
作るものは1つだけ。途中で仕様を足さない
制限時間はだいたい1時間
両方に渡す指示書は、同じ作り方で書いた別ファイル
走らせた組み合わせは、Claude Code(Fable 5)と Codex(GPT-5.6)
お題は、フェリー予約データの分析ツール。
しかも、きれいに整ったデータではなく、現場からそのまま出てきた汚いエクスポートファイルを読ませる前提にしました。
なぜ汚いデータにしたか。
きれいなデータを渡すテストは、AIの実力を測れないからです。実務で出てくるファイルは、列がずれていたり、空欄があったり、同じ意味の言葉が3種類の書き方で入っていたりします。そこを何も言わずに処理できるかどうかが、実際に使えるかどうかの分かれ目になります。
走らせてみた結果
Claude Code(Fable 5)— 止まらない
こちらはほとんど手がかからなかったです。
指示書を読ませて、あとは見ているだけ。途中で確認を求めてくることも少なく、時間内に完成まで持っていきました。
作業を任せる側からすると、これは気持ちがいい。
私は「時間を無駄にすること」が何よりも嫌いなので、この挙動はかなり好みです。
Codex(GPT-5.6)— よく止まる
こちらは対照的でした。
「これをやっていいですか」「この方針で進めますか」と、何度も手を止めて聞いてくる。
結果、かかった時間はおよそ1.5倍。
正直、途中までは「遅い方」という評価で終わるだろうと思っていました。
ところが、出てきたモノが違った
作業が終わって、2つの成果物を並べました。
Codex側が出してきたものは、私がこれまでコーディングエージェントから受け取った中で、いちばん完成度が高いものでした。
動くログイン画面まで作ってあったのです。頼んでもいないのに。
つまり、こういう構図です。
Claude Code(Fable 5)Codex(GPT-5.6)所要時間時間内に完了約1.5倍途中の確認ほぼなし何度もあり完成度十分実用的それ以上(ログイン画面まで実装)向いている使い方任せて放置一緒に詰める
引き分けとは言えませんでした。
速さで勝った方と、モノで勝った方が、別だったからです。
ここから学んだこと
1. 「止まる」は欠点とは限らない
私は最初、確認してくるAIを「手間がかかる」と減点していました。
でも実際は、止まって聞いてくる分だけ、判断の精度が上がっていた可能性があります。
人間の仕事でも同じです。何も聞かずに一気に仕上げてくる人と、こまめに確認してくる人。後者が遅く見えるだけで、手戻りは少ない、というのはよくある話です。
2. 評価の軸を1つにすると間違える
「速い方が偉い」で判定していたら、私は間違った結論を出していました。
速度・完成度・手離れの良さは、別々の軸です。混ぜて1つの点数にした瞬間、大事な情報が消えます。
3. 使い分けが現実的な答え
時間が最優先で、仕様がはっきりしている → 止まらない方
完成度が最優先で、多少付き合える → 止まる方
どちらが優れているか、ではなく、今日の自分がどちらを必要としているかです。
正直に書いておく、この検証の弱点
この記事を信用しすぎないでください。私自身が信用しきっていません。
1回しかやっていない。同じ条件でもう一度やれば、逆の結果が出る可能性があります
お題が1種類だけ。データ分析ツールという課題が、たまたま片方に有利だった可能性を排除できていません
指示書の書き方が結果を左右する。同じ作り方で書いたつもりでも、私の書き癖がどちらかに味方した可能性があります
私の主観が入っている。「完成度が高い」は数値ではなく、私が見た印象です
きちんと結論を出すなら、お題を3〜5種類に増やして、各3回ずつ走らせる必要があります。
今回の記事は、あくまで1回目の観察記録です。
まとめ
同じ指示、同じ時間、違うエージェント。
結果は、速さと質がきれいに分かれました。
そして一番の収穫は、AIの性能差そのものより、
私が「速い=良い」という物差ししか持っていなかったことに気づけたことです。
道具の評価は、道具を評価する人の物差しの精度を超えられません。
次は、その物差しの方を作り直して検証してみます。
この記事は、私個人が実際に手を動かした検証の記録です。特定の製品を推奨するものではありません。