「エージェント=モデル+ハーネス」から考えるAI開発の評価と選定
63問の同じ課題を解かせる。ある開発環境ではGPTが31問、Claudeが36問を解いた。環境を替えるとGPTは38問、Claudeは19問になった。モデルはそれぞれ同じものを使っている。では「どちらが開発に強いか」と聞かれたら、何と答えればよいだろうか。これは仮の数字ではない。2026年10月にLiらが公表した比較実験の結果である(1)。
本稿の出発点はエージェント=モデル+ハーネスである。ここでの「+」は構成要素を表す。性能まで単純に足し算できると仮定すると、冒頭の順位逆転を説明できない。本稿では2026年10〜11月の研究4本を読み、モデルの判断、ハーネスが返す情報、仕事の合格条件がどう影響し合うかを業務アプリの設計例に沿って検討する。
1 Claudeが判断し、Claude Codeが結果を返す
Claude Codeを使っているとき、利用者には「Claudeがコードを直した」という一つの出来事に見える。その中には設計上区別したい二つの仕事がある。
モデルは受け取った仕様やコードから原因の仮説を立てる。複数のファイルのどれを読むか、テストが落ちた理由をどう解釈するか、修正を続けるか利用者に質問するかを判断する。
ハーネスはどの情報とツールをモデルに渡すかを定め、要求された操作を許可された範囲で実行し、その結果を次の判断に返す。利用者が書くプロンプトは最初の入力の一部であり、ハーネスに組み込んだ指示は作業中も繰り返し判断に影響する(1)。
たとえばテストが一件失敗したとする。モデルが受け取るのが「失敗」の一語だけの場合と「一般職員で照会した。期待値は0件、実測は1件」と返る場合では、次に立てられる仮説が違う。一方、同じ詳細な結果を返しても、モデルが「画面の表示条件を変える」と考えるか「データを読み出す権限を確認する」と考えるかで、出来上がる修正は変わる。何が見えるかと、見えたものから何を推論できるかは、別々に調べられる。
2 順位の逆転から、どこまで言えるか
冒頭の研究が使ったのはClaude Opus 5とGPT-6 Astra、課題はTerminal-Bench 4である。OpenHandsではClaudeが5問上回り、PIではGPTが19問上回った。見落としやすいのは、環境を替えたときに片方の成績が下がり、もう片方は上がったことだ。仮にハーネスがどのモデルにも同じだけ加点するなら、この逆転は生じない。少なくともこの標本では、モデルの評価に使った環境が順位を左右した(1)。
ただし、OpenHandsからPIへの変更ではツールの仕様、指示、履歴の渡し方などがまとめて変わる。比較から読めるのは組み合わせごとの成績であり、どの部品が差を生んだかを一意に決めることはできない。さらに同じ論文でもClaude CodeとClaudeの組み合わせは、評価した他の二つの課題群では、同じClaudeを使った選択肢の中で最高点だった。63問の結果をもってClaude Code全体の優劣を論じると同じ研究の残りの結果を取り落とす(1)。
Zhaoらは別の条件からこの問題を調べた。軽量なコーディングモデル3種とハーネス6種をすべて組み合わせ、同じ100課題に対して1,800回の実行を採点した。同一モデルでも解決率の差は最大44ポイントに達し、モデルを替えるとハーネスの順位も変わった(2)。最大44ポイントは最も差が開いた条件の値である。軽量モデルと選定された100課題を対象にした結果なので、手元のClaude Codeを設定し直した場合の改善幅としては使えない。
二つの研究がともに支持するのは、モデルもハーネスも変えた製品比較では勝因を片方に帰属できないという判断である。製品をそのまま購入するなら組み合わせ全体の比較でよい。「次の予算をモデル更新と開発環境の整備のどちらに使うか」を決めるには、片方を固定する比較が要る。
3 プロンプトを改善しても、検証できない失敗がある
架空の受発注アプリで考えよう。顧客が注文を確定する。サーバーには保存されたが、途中で通信が切れて顧客には完了画面が届かなかった。顧客は同じ注文を再送する。ここで「二重登録を防いでください」とだけ指示すると、何を同じ注文と呼ぶかが決まらない。商品も金額も同じ二回の注文を顧客が意図して行うこともある。
このケースでモデルに問いたいのは、「同じ内容」と「同じ操作の再送」を区別し、仕様を決める人に確認を返せるかだ。一方、ハーネスに用意したいのは、その区別を実行して確かめる手段である。仮に依頼者が「同じ操作の再送は一件、同じ商品を改めて注文した場合は二件」と合意したら、少なくとも次の二場面を対にできる。
場面A 応答を受け取れず、同じ操作を再送する。
同じ操作識別子で二回送る。二回が同時に届く条件も含め、保存された注文が一件になるかを調べる。
場面B 同じ商品を利用者が改めて注文する。
商品・数量・金額を同じにして新しい操作識別子で送る。今度は注文が二件になるかを調べる。
Aだけを試せば同じ商品をすべて一件にまとめる実装も合格する。Bだけなら再送のたびに新規登録する実装も合格する。二つを合わせると同じ入力のどこが同じで、どこが違えば別の注文になるかが明らかになる。さらに、請求や在庫引当まで検収の対象なら注文テーブルの件数だけでは証拠が足りない。どの業務上の結果を約束するかで、観測すべき場所が決まる。
この例で失敗原因を追うなら、まずモデルに何を渡したかを見る。再送の情報が記録から落ちていれば、ハーネスが残す実行履歴を改善する。情報がそろっていても同じ誤解を反復するなら、同じ入力を別モデルに与えて解釈を比較する。依頼者自身が意図的な再注文の扱いを決めていなければ、先に必要なのは業務上の合意である。同じ「テスト失敗」が三つの異なる投資判断につながる。
4 検証の仕組みも、測ったものに向かって最適化される
HongらのHarnessFlowはモデルと課題環境を固定し、ハーネスの候補を反復評価した。6つのベンチマークで、最適化後の平均テストスコアは初期構成から10.89ポイント向上した。著者自身が条件として挙げるのは、自動採点が可能であること、候補の探索には追加の計算が必要になることだ(3)。モデルの入れ替えなしに成績を変えられるという証拠はある。一方、採点器が「再注文を誤って消した」ことを測れなければ、点数が上がってもその欠陥を発見したことにはならない。
GottesmanらのMultiLoopも平均値の読み方に示唆を与える。複数エージェントで情報を探索する課題では、最適化で正答率が上がった一方、仕事の分担や情報共有に起因する失敗は多く残った(4)。対象は情報探索であり、業務アプリ開発への転用は仮説にとどまる。それでも、開発者が持ち帰れる問いは具体的だ。レビュー担当を増やした結果、注文の二重計上を発見できるようになったのか。それとも従来から見つけられた指摘が増えたのか。総指摘数ではこの違いは分からない。
5 受託開発なら何を測るか
私なら実案件でいきなり環境を総入れ替えする前に、完了済みの変更から仕様調整、既存コードの修正、障害調査といった性質の異なる課題を選ぶ。モデルを二種類、ハーネスを二種類に絞り、同じ開始時点のコード、同じ依頼文、同じ予算上限で四通りを試す。繰り返し実行して結果のばらつきも残す。仕組みの調整に使った課題とは別に、最終判定用の課題を取り置く。
測る値は三つで足りる。第一に事前に合意した業務条件を満たした件数。第二に差分の確認・差し戻し・再検証に人が使った時間。第三に失敗した試行も含む総費用を検収できた件数で割った金額だ。合格がゼロなら単価は算出できないと記録する。ここで重要なのは、平均点で相殺できない条件を先に決めることだ。たとえば請求の二重計上に失敗した構成は、画面文言の修正に何件成功しても請求機能の自動変更には採用しない。
「エージェント=モデル+ハーネス」という式を実務に持ち込む意味は、両方に予算を配ることではない。失敗したときに、モデルが必要な事実を知らなかったのか、知っていて判断を誤ったのか、それとも人が合格条件を決めていなかったのかを見分けることにある。次に変えるものを、その答えから選べる開発環境をつくりたい。
参考文献
(1) Li, Y., Zhou, Y., Teng, Y. L., et al. (2026). “Finding the Right Fit: Model-Harness Interactions across Agent Tasks.” arXiv:2610.00917v1, 10月1日公開.(最終確認日:2026年11月19日)
(2) Zhao, L., Poskitt, C. M., and Lo, D. (2026). “Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents.” arXiv:2610.32131v1, 10月23日公開.(最終確認日:2026年11月19日)
(3) Hong, Z., Wang, Q., Wei, H., et al. (2026). “HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents.” arXiv:2611.06254v1, 11月4日公開.(最終確認日:2026年11月19日)
(4) Gottesman, D., Yona, G., Ram, O., et al. (2026). “MULTILOOP: Evolving Multi-Agent Harnesses for Complex Information-Seeking Tasks.” arXiv:2611.15754v1, 11月11日公開.(最終確認日:2026年11月19日)