In Silico

AIエージェント

SWE-bench Verifiedは飽和した？上位が並ぶ理由と長い改修の新ベンチ

2026/7/3 （更新: 2026/10/13）

🤖 AIを使用して執筆

  • SWE-bench Verified
  • コーディングAI
  • ベンチマーク
  • SWE-EVO
  • SWE-bench Pro
  • Terminal-Bench
  • HAL
  • OpenHands
  • SWE-agent
  • 長丁場
  • 飽和
  • 汚染
  • スキャフォールド
  • 推論努力
  • Fix Rate
  • リリースノート
  • 解決率
  • リーダーボード
  • GPT-5.4
  • GPT-5.2
  • glm-4p7
  • mini-SWE-agent
  • dvc
  • 信頼区間
  • 修正パッチ
  • 課題報告
  • high compute
  • Python
目次
背景・問い・要点
背景

ソフトウェアには不具合の報告が絶えず届く。「この操作でエラーになる」という報告が上がり、開発者が原因の箇所を探し、直し、テストが通ることを確かめる。この一連の作業をAIに任せられるかを測るために、実際の開発現場に残った報告と、人が書いた修正の記録を集めて試験問題にする、という測り方が定着した。報告文だけをAIに渡し、人と同じようにテストが通る修正を出せたら合格と数える。

この物差しは、どのAIが仕事に使えるかを見るときの共通の基準になった。ところが数年のうちに、最前線のモデルはそろって高い点を取るようになった。全員が上位に集まれば、点数を並べても優劣は見えない。

一方、現場でAIに任せたいのは、必ずしも不具合を一件直す形の仕事ではない。機能を一段進める、設計を作り替えるといった、複数のファイルにまたがって長く続く仕事も多い。本稿ではこの種の仕事を長丁場と呼ぶ。試験問題は短い一件を単位にしているが、任せたい仕事はそれより長い。

問い

短い一件で高い点を取るモデルは、複数のファイルを作り替え続ける長丁場の仕事もこなせるのか。

要点

こなせていない。短い一件なら約73%を解く世代でも、長丁場では最上位のモデルで約25%にとどまる1。 コーディングAIの実力を測る定番の物差し（SWE-bench Verified）では、最前線のモデルは75〜83%の帯に集まるようになった2。高いところに全員が張り付けば、その物差しだけでは上位を見分けにくい。そこで研究側は、1件のバグを直す短い問題ではなく、複数のファイルにまたがって作り替え続ける長丁場を測り始めた。評価の焦点が「1件直せるか」から「長く働き続けられるか」へ移りつつある。

モデル・例示

上位が4ポイント差に並ぶと、試し方の違いで順位が入れ替わる

※ この節の数値は説明のための仮定で、測定値ではありません。

500問の短い試験で、三つのモデルが78%、80%、82%を取ったとする。差は2ポイントずつ、問題数にして10問ずつである。

同じモデルでも、何回か解かせて良い答えを選ぶだけで点が6ポイント上がるとする。それなら78%のモデルが82%のモデルを追い越しうる。点数の並びは、モデルの差と試し方の差を区別しない。

同じ三つのモデルに、複数のファイルを作り替え続ける長い課題を48問解かせ、10問、12問、14問（約21%、25%、29%）が通ったとする。三つの差はどれも2問ぶんで、1問の出入りで約2ポイント動く。

短い試験の高い点は、長い課題での点を約束しない。

数字：同じ世代で73%と25%

SWE-EVO は、成熟した7つのPython製オープンソースのリリースの間の変更から課題を作った48問のベンチマークだ。エージェントにはリリースノートと、そこから参照されるプルリクエストや課題報告（issue）の本文を渡す。1問あたり平均21ファイルに手を入れ、平均874件のテストで正否を判定する。つまり各問は、「1箇所を直す」ではなく「機能を一段進める」規模の仕事である1。

短い問題（SWE-bench Verified）で約73%に届く同世代の最前線（GPT-5.2）に対し、長丁場の SWE-EVO では、モデルを動かすスキャフォールド2種（OpenHands / SWE-agent）の平均で最上位の GPT-5.4 でも25.0%しか通らなかった1。著者らは同一モデルでの対応比較も示しており、GPT-5.2 は SWE-bench Verified の 72.80% から SWE-EVO の 22.92%（SWE-agent 側の値。2種の平均では20.8%）へ約50ポイント落ちる。Verified 側の値は swebench.com の bash-only 公表値で、スキャフォールドは mini-SWE-agent であり、SWE-EVO 側の SWE-agent とはスキャフォールドが違う。swebench.com に並ぶ GPT-5.2 の公開値も、推論努力とハーネス版が揃っておらず 69.0〜72.8% に散る。GPT-5.4 自身も、Epoch AI の測定では Verified で 76.9% を取っている2。Epoch は推論努力を high、SWE-EVO は medium で測っており、条件は揃っていないが、同じモデルで並べても差は約52ポイントある。著者らは GPT-5.2 の落差を「持続的な複数ファイル推論で現行エージェントが苦戦する」ことの表れと位置づけ、○×だけでなく途中までの進捗を拾う「Fix Rate」という指標も導入している1。比較対象の SWE-bench では、正解パッチが触るファイルは平均 1.7、テストは平均 120.8 件だ1。原典はリリースノートだけを渡す設定も測っており、多くのモデルで解決率はさらに下がる（ただし gpt-5.4 はこの比較に入っていない）1。

SWE-EVO は48問と小さく、1問解けるだけで 2.08 ポイント動く。しかも48問のうち26問は dvc 1リポジトリ由来だ。原典はこの偏りを認めたうえで、付録に挙げた11モデル（gpt-5.4 や glm-4p7 は含まない）の平均ではどのリポジトリでも成績は低く、指標が特定のリポジトリに寄っているようには見えないと確かめている1。また 25.0% には 95% 信頼区間 [14.9, 38.8] を併記し、僅差の順位を読みすぎないよう自ら断っている1。

なぜ短い問題では差がつかなくなったのか

SWE-bench Verified は、実在の課題報告（GitHub の issue）1件に対する修正パッチを当てられるかを測る500問だ。設計として孤立した1件を切り出しており、SWE-EVO の著者らは、こうした孤立した課題では飽和の兆しが見えると書く1。加えて、この物差しはスキャフォールド（scaffold）に敏感で、モデルを変えず、スキャフォールドと推論時の計算の積み方を変えるだけでスコアが数ポイント動く。Anthropic が “high compute” と呼ぶ構成は、複数回の並列試行を可視リグレッションテストで絞り、スコアリングモデルで選ぶ。この構成では、同一の489問サブセット上でスコアが 63.7% から 70.3% へ動いた（Anthropic の自己申告値）2。構成次第で順位が入れ替わるのだから、単体の数字で上位の優劣は語りにくい。なおスキャフォールドへの敏感さは長丁場側も同じで、SWE-EVO では glm-4p7 が OpenHands の 4.17% から SWE-agent の 39.58% へ動き、首位のモデルが入れ替わる1。独立の測定も同じ向きを示す。HAL（Holistic Agent Leaderboard）は9モデル×9ベンチマークの評価で、スキャフォールドの選び方で正答率とコストが大きく変わると報告している3。推論努力を上げても、比べられた4モデルの36組のうち21組では正答率が上がらなかった（同じか下がった）3。

なお「飽和」は全員の合意事項ではない。元の SWE-bench の著者らは、8割前後では飽和と呼べず伸びしろはまだ残っているという立場を公にしている4。飽和を疑う理由は、点数の絶対値よりも次に見る汚染のほうにある。

さらに、その高得点自体が実力を過大評価している疑いもある。課題は公開GitHubの実課題に由来するため、モデルが訓練中に答えを見ている可能性がある。ある独立の監査では、SWE-bench Verified の評価が合格と判定した112件のパッチのうち37件（約33%）で、課題報告本文かそのコメント欄に修正そのものが露出しており、不正確・不完全な修正を併せて疑わしいものを除くと解決率は22.4%から10.0%へ落ちた5。ただしこの数字は2024年時点の SWE-agent + GPT-4 という単一構成で測ったものであり、いまの8割前後がそのまま同じ比率で落ちることを意味しない。OpenAI も2026年2月、試した最前線のどのモデルも一部の課題で正解パッチや問題文の細部を再現できた（課題IDしか渡さずに再現した例もある）という汚染を主因に、SWE-bench Verified を自社評価から外すと表明した4。あわせて、o3 が64回の独立走行で一貫しては解けなかった138問（全体の27.6%）を精査し、その約6割（59.4%）にテスト設計か問題文の重大な欠陥があるとも指摘している4。飽和に見える天井の一部は、“解けた”のではなく”覚えていた”のかもしれない。ベンチマークが嘘をつく構図は、コーディングの定番にも及ぶ。

飽和そのものは失敗ではない。問題は、上位どうしの差をその数字で読み分けにくくなったことにある。

評価の焦点が動いている

これは一本の論文の主張にとどまらない。SWE-EVO のほかにも、より長く・より難しい仕事を測ろうとする独立の試みが相次いでいる。複数ファイル・長時間の課題に寄せた SWE-bench Pro、コマンドライン上の長丁場作業を測る Terminal-Bench（本稿執筆時点の公式リーダーボードは 4.0）、などだ。測る対象そのものではなく評価の土台を組み直す動き（HAL）も並行している3。ただしこの SWE-bench Pro については、OpenAI が2026年7月に公開731問を監査して約3割が壊れていると結論し、自らの推奨を撤回している4。しかも Pro では、その公開731問で最前線モデルの通過率が8か月で 23.3% から 80.3% へ上がっていた4。同じ発表は、確かめる範囲の狭いテストが不完全な修正を通しうることも、壊れ方の一つに挙げている4。評価の向きは揃っていても、物差しの作り直しが一度で決まるわけではない。作り手も狙う軸もばらばらな複数のグループが、そろって「孤立した1件」から「持続する仕事」へ物差しを寄せている。

出典5件

  1. Tue Le ほか「SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios」arXiv:2512.18470v6, 2026. https://arxiv.org/abs/2512.18470v6 — 48問の長丁場で、最上位の gpt-5.4 も25%にとどまる。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10

  2. Epoch AI「SWE-bench Verified」. https://epoch.ai/benchmarks/swe-bench-verified ／ Anthropic「Claude 3.7 Sonnet and Claude Code」. https://www.anthropic.com/news/claude-3-7-sonnet — 上位10走行は76.7〜83.5%。Anthropic は489問で並列試行と選別により63.7%が70.3%になると自己申告した。 ↩ ↩2 ↩3

  3. Holistic Agent Leaderboard, arXiv:2510.11977. https://arxiv.org/abs/2510.11977 https://arxiv.org/abs/2509.16941 https://www.tbench.ai/ — HAL はスキャフォールドで正答率が大きく変わると報告した。長丁場の試みに SWE-bench Pro（Scale AI）と Terminal-Bench（2026-09-19 時点で 4.0）がある。 ↩ ↩2 ↩3

  4. OpenAI「Why SWE-bench Verified no longer measures frontier coding capabilities」2026. http://web.archive.org/web/20260224082405/https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/ http://web.archive.org/web/20260708213039/https://openai.com/index/separating-signal-from-noise-coding-evaluations/ https://x.com/OfirPress/status/2022375703430250706 https://x.com/jyangballin/status/2022367240293949772 — 汚染を主因に Verified を外し、7月には Pro の推奨も撤回した。元の著者らは X で伸びしろが残ると書いた。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  5. R. Aleithan ほか「SWE-Bench+: Enhanced Coding Benchmark for LLMs」arXiv:2410.06992v2, 2024. https://arxiv.org/abs/2410.06992 — Verified の合格112件のうち37件で解が課題報告かコメントに露出し、解決率は22.4%から10.0%に落ちた。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。