In Silico

AI・信頼性・評価

AIエージェントのハーネスとは？同じモデルで成績が変わる仕組み

2026/6/21 （更新: 2026/10/11） シリーズ「AIエージェント入門」 第2回 / 全4回

🤖 AIを使用して執筆

  • ハーネス
  • AIエージェント
  • SWE-agent
  • Aider
  • SWE-bench Lite
  • HumanEval
  • HotPotQA
  • DSPy
  • LATS
  • Agent-Computer Interface
  • ベンチマーク
  • LLM
  • コンテキスト
  • オーケストレーション
  • メモリ
  • 編集フォーマット
  • ベースライン
  • 構文検査
  • ホールドアウト
  • 過適合
  • unified diff
  • GPT-4 Turbo
  • Llama-3-70B
  • 変動費
  • プリンストン大学
目次
背景・問い・要点
背景

AIエージェントとは「LLMをループとツールで包んだもの」である。その話題になると、つい「どのモデルが賢いか」の比較になる。だが包んでいる側、つまりツールの渡し方や記憶の持たせ方、失敗したときのやり直し方は、地味なわりに、エージェントの出来を想像以上に左右する。

ツールを何本渡すか、一度にどれだけの情報を見せるか、いつ止めるか。こうした決めごとは、同じモデルを使うエージェントどうしでも大きく違いうる。そして成績だけを外から見る読み手には、その差がモデルから来たのか、外側から来たのかが見分けにくい。

本稿は、モデルを固定して外側だけを変えた二つの研究と、コード編集ツールの作者による実測を例に取る。

問い

モデルを変えずに外側の作りだけを変えると、エージェントの成績と費用はどれだけ動くのか。

要点

LLMを包む外側の作り、つまりハーネスは、それだけで成績と費用を測れるほど動かす。 同じモデルでインターフェースを作り直すと解決率が11.0%から18.0%へ上がり、単純な作りが作り込んだ作りを精度で上回り、費用を50分の1未満に抑えた実測もある。ただし作り込んだハーネスは一点物になりやすく、強さの源であると同時に、もろさの源にもなる。

モデル・例示

同じモデルに、ハーネスだけを替えて同じ修正をさせる

※ この節の数値は説明のための仮定で、測定値ではありません。

同じモデルに、長いファイルの中のバグを10件直させるとする。一度目は、ファイル全体を一度に渡し、モデルが返した編集をそのまま書き込む。二度目は、ファイルを数十行ずつ区切って見せ、編集のたびに構文を検査して、壊れた編集は書き込まずにやり直させる。

一度目は、長いファイルの途中で目当ての箇所を見失ったり、括弧を一つ落とした編集がそのまま残ってテストが全部落ちたりして、10件中3件しか直らない。二度目は、壊れた編集が書き込まれる前に弾かれるので、5件直る。

モデルは同じで、変わったのは見せ方と、書き込む前の関所だけだ。3件と5件の差は、モデルではなく外側の作りから来ている。

「どのモデルが賢いか」は、話の半分でしかない

エージェントの話題になると、ついモデル比べになる。「GPTとClaude、どっちが賢い？」と。 もちろんモデルの賢さは大事だ。でも実務をやると、同じモデルでも、“外側の作り”しだいで出来がはっきり変わることにすぐに気づく。

この「外側の作り」を、ハーネス（harness：留め具・装具）と呼ぶ。 LLMが高性能でも、ハーネスの作りが雑なら、その性能は成績に出きらない。

ハーネスとは、具体的に何か

ハーネスは、LLMの周りを固めるソフトウェア一式である1。主な部品は：

モデルは買ってくるものだ。ハーネスにも既製品はある。この記事があとで挙げる SWE-agent も Aider も、誰でも使える形で公開されている。それでも腕の差はハーネス側に出る。自分の道具立て、自分のリポジトリ、自分がよく踏む失敗に合わせて、どこをどう直すかを決めるのは使う側だからである。

「外側」が成績を動かすことを示す研究

「言いすぎでは？」と思うかもしれない。だが近年の研究は、エージェントの成績が周りの設計と測り方に左右されることを、具体的な数値で示している。

プリンストン大学の研究グループ（“AI Agents That Matter”）は、エージェント評価の落とし穴を指摘する中で、複雑に作り込んだエージェントと同等以上の精度を、ごく単純な手法（ベースライン）が出すことがあると報告している。しかも同論文によれば、比較した3つのうち LATS に対しては、50分の1未満のコストでそれを出す2。ほかの2つ（Reflexion と LDB）との費用差は「50%を超える」にとどまる。比較の条件は同論文が明記している。ベンチマークは HumanEval（LDB 版、164問すべてに例示テストが付く）、モデルは2024年4月時点の GPT-4、コストは各手法を5回走らせた総額の平均だ。実数では、作り込んだ LATS が精度 88.0・134.50ドルなのに対し、単純なベースラインは精度 93.2・2.45ドル（約55分の1）で、精度はむしろベースラインが上回る。ただしこの倍率をエージェント一般へ広げてよいかは別で、論文自身が「System 2 的な手法は、HumanEval より難しいプログラミング課題では有用かもしれない」と留保し、その難しい課題の例に SWE-bench を挙げている。掲載版はその留保の直前で、System 2 的な振る舞いを強化学習で仕込んだ o1 が、再試行と内省を付けた gpt-4o を推論計算量込みでも上回ると付記している。 つまり、報告されるエージェントの成績は、モデルの賢さだけでなく、その周りの設計と測り方にも左右される。ただし同論文が求めるのは「精度だけを見て費用を見ない評価をやめよ」であって、設計を諦めよではない。精度と費用を同時に最適化すればより良い設計が得られる、というのが同論文が自ら挙げる貢献の一つだ2。実際、別の課題（複数の文書をたどる質問応答の HotPotQA）での実測では、モデルを固定したままパイプライン側の設定を最適化するだけで、DSPy の既定実装に比べて GPT-3.5 で変動費が53%、Llama-3-70B で41%下がった。精度（正解の文書をすべて検索できたかの割合）は同等に保たれている。モデルを固定しても、設計の最適化で実行のたびにかかる費用は下げられる。最適化そのものにかかる固定費を含めた総額でも、HotPotQA では1,350件を超えて使えば既定実装より安くなる。

具体的に「ハーネスだけで効く」を見せたのが、同じくプリンストン大学の別グループが公開した実在のエージェント SWE-agent だ3。彼らはモデルを変えず、モデルと計算機のインターフェース（Agent-Computer Interface）だけを作り直した。人間向けのシェルやIDEではなく、LMの弱点に合わせて次のツールを用意した。一度に100行だけ見せるファイル閲覧、編集のたびに構文検査を走らせ、壊れた編集は破棄してやり直させる編集コマンド、検索結果を要約して返し、ヒットが50件を超えたら一覧を出さず条件を絞り直させる検索である。評価に使った SWE-bench Lite は、実在のPythonリポジトリのGitHub issue 300件を修正させ、付属のテストが全部通ったかで採点するベンチマークだ。インターフェースを入れ替えただけで、同じ GPT-4 Turbo のまま解決率が11.0%から18.0%へ（pass@1、相対+64%）上がった。これは2024年時点の gpt-4-1106-preview での測定で、SWE-bench Lite の水準はその後動いている。同じチームは1年後、モデルの能力が上がったので、こうした専用ツールの多くは有用なエージェントを作るのに要らなくなったと書き、bash 以外のツールを持たない最小のエージェントを公開している4。元の論文は、各判断の効果も測っている。100行窓を30行に狭めると−3.7点、構文検査を外すと−3.0点、人間風の「1件ずつ辿る検索」に替えると検索ツール無しより悪化した。インターフェースという“外側”は、設計を1つずつ変えて成績の差を測れる性能の変数なのだ。

これは SWE-agent 一つの癖ではない。ターミナルのペアプログラマ Aider の作者も、LLMにコード編集を返させる「編集フォーマット」を実測し、2023年末の gpt-4-turbo では選び方で成功率が20%から61%へ動いたと公開している5。この値は、手抜きのコードを書かせやすいよう作った89問のリファクタリング課題での成功率で、コード編集一般の成功率ではない。実在のハーネスを作るプロは、ハーネスを「測る対象」として扱っている。

つまり、「エージェントが進歩した」と言われるものには、モデル本体の進歩だけでなく、“ハーネス工学”の進歩によるものが混じっている。これは裏を返せば、手元のモデルでも、ハーネスを良くすれば性能を伸ばせるということでもある。

ハーネスは、強さの源であり、もろさの源でもある

良いハーネスはエージェントを賢く見せる。だが同時に、ハーネスは作り込まれた“一点物”になりがちで、そこがもろさにもなる。少し違うタスク、少し違う環境になると、そのハーネスが前提を外して崩れる。“AI Agents That Matter” は、ホールドアウトが不十分な評価ではエージェントがベンチマークに近道で過適合してもろくなる、と指摘している2。

出典5件

  1. Lilian Weng「LLM Powered Autonomous Agents」Lil’Log, 2023. https://lilianweng.github.io/posts/2023-06-23-agent/ — LLM＋計画・記憶・ツールでエージェントを捉える解説。本稿の6項目のうちツール・記憶・コンテキストの管理は同記事のツールと記憶の節に、残りは計画の下位テーマを実務の観点で切り出したもの。 ↩

  2. S. Kapoor ほか「AI Agents That Matter」Transactions on Machine Learning Research, 2025. https://arxiv.org/abs/2407.01502 — HumanEvalで単純なベースラインがLATSを精度で上回り費用は50分の1未満、HotPotQAではモデル固定の最適化で変動費が下がる。過適合も指摘。 ↩ ↩2 ↩3

  3. J. Yang ほか「SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering」NeurIPS, 2024. https://arxiv.org/abs/2405.15793 — モデルを固定しインターフェースだけを作り直すと、SWE-bench Liteの解決率が11.0%から18.0%へ上がる。 ↩

  4. SWE-agent チーム「mini-swe-agent」GitHub, 2025. https://github.com/SWE-agent/mini-swe-agent — SWE-agent・SWE-bench の著者らによる bash だけのエージェント。モデルの能力向上で専用ツールの多くは不要になったと書く。 ↩

  5. Paul Gauthier「Aider」aider.chat, 2023. https://aider.chat/2023/12/21/unified-diffs.html — 手抜きコードを誘発する89問のリファクタリング課題で、gpt-4-turboの成功率がSEARCH/REPLACE形式の20%からunified diff形式の61%へ。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。