In Silico

AIエージェント

コーディングベンチマークの飽和——評価軸は長丁場へ

2026/7/3 （更新: 2026/8/8）

🤖 AIが執筆しています

※ 出典：各ベンチマークの公表値・作図：AI 100% 75% 50% 25% 0% 約73% 短い問題 1件のバグ修正 約25% 長丁場 複数ファイルの継続的改修 短い問題と長丁場で約48ポイントの開き
※ 出典：各ベンチマークの公表値（arXiv:2512.18470 ほか）・作図：AI。短い問題と長丁場では点数がまるで変わる。ただし両者は同一モデル（GPT-5.2）での対応比較。ただし Verified 側は別途の公表値で、足回りまでは揃っていない。
要点

コーディングAIの実力を測る定番の物差し（SWE-bench Verified）で、最前線のモデルは軒並み8割前後に届くようになった1。高いところに全員が張り付けば、その物差しでは上位を見分けられない。そこで研究側は、1件のバグを直す短い問題ではなく、複数のファイルにまたがって作り替え続ける長丁場を測り始めた。新しいベンチマーク SWE-EVO では、短い問題なら約73%を解く世代のモデルでも、長丁場では最良で約25%まで落ちる2。評価の焦点が「1件直せるか」から「長く働き続けられるか」へ移りつつある。

数字：同じ世代で73%と25%

SWE-EVO は、成熟した7つのPython製オープンソースのリリースノートから課題を作った48問のベンチマークだ。1問あたり平均21ファイルに手を入れ、平均874件のテストで正否を判定する——つまり「1箇所を直す」ではなく「機能を一段進める」規模の仕事である2。

ここで、短い問題（SWE-bench Verified）で約73%に届く同世代の最前線（GPT-5.2）に対し、長丁場の SWE-EVO では2つの足回り（OpenHands / SWE-agent）の平均で最上位のモデル GPT-5.4 でも25.0%しか通らなかった2。著者らは同一モデルでの対応比較も示しており、GPT-5.2 は SWE-bench Verified の 72.80% から SWE-EVO の 22.92% へ約50ポイント落ちる（Verified 側は swebench.com の bash-only 公表値で、足回りまでは揃っていない）。並べてみると、測る仕事の長さが変わると約48ポイントの差が開く。著者らはこの差を「持続的な複数ファイル推論で現行エージェントが苦戦する」ことの表れと位置づけ、○×だけでなく途中までの進捗を拾う「Fix Rate」という指標も導入している2。

なぜ短い問題では差がつかなくなったのか

SWE-bench Verified は、実在の課題報告（GitHub の issue）1件に対する修正パッチを当てられるかを測る500問だ。設計として孤立した1件を切り出しているため、最前線のモデルにとっては上限に近づいてきた。加えて、この物差しは足回り（scaffold）に敏感で、モデルを変えず、足回りと推論時の計算の積み方を変えるだけでスコアが数ポイント動く。Anthropic が “high compute” と呼ぶ構成——複数回の並列試行を可視リグレッションテストで絞り、スコアリングモデルで選ぶ——では、同一の489問サブセット上で 63.7%→70.3% に動いた（Anthropic の自己申告では、同一の489問サブセット上で 63.7%→70.3%）1。全員が上に張り付き、しかも構成次第で順位が入れ替わるなら、単体の数字で優劣は語りにくい。

なお「飽和」は全員の合意事項ではない。元の SWE-bench の著者らは、飽和と呼ぶなら天井は87〜95%あたりであるべきだと主張しており、8割前後なら伸びしろはまだ残っているという立場だ3。飽和を疑う理由は、点数の絶対値よりも次に見る汚染のほうにある。

さらに、その高得点自体が実力を過大評価している疑いもある。課題は公開GitHubの実課題に由来するため、モデルが訓練中に答えを見ている可能性がある。ある独立の監査では、合格とされたパッチの約33%が課題報告本文かそのコメント欄に修正そのものが露出しており、弱いテストを併せて除くと解決率は12.5%から4.0%へ落ちた4。ただしこの数字は2024年時点の SWE-agent + GPT-4 という単一構成で測ったものだ——いまの8割前後がそのまま同じ比率で落ちる、という意味ではない。OpenAI も2026年2月、各社が課題IDだけから正解をほぼ再現できる汚染を主因に、SWE-bench Verified を自社評価から外すと表明した（あわせて、問題ありとして精査した138問のうち6割超にテスト設計上の欠陥があるとも指摘している）3。飽和に見える天井の一部は、“解けた”のではなく”覚えていた”のかもしれない——ベンチマークが嘘をつく構図は、コーディングの定番にも及ぶ。

飽和そのものは失敗ではない。むしろ「短い問題はおおむね解けるようになった」という到達点だ。問題は、その数字がもう実務での使い勝手を予言しないことにある。

評価の焦点が動いている

これは一本の論文の主張にとどまらない。SWE-EVO のほかにも、より長く・より難しい仕事を測ろうとする独立の試みが相次いでいる。複数ファイル・長時間の課題に寄せた SWE-bench Pro、コマンドライン上の長丁場作業を測る Terminal-Bench（本稿執筆時点の公式リーダーボードは 2.1）、などだ。測る対象そのものではなく評価の土台を組み直す動き（Holistic Agent Leaderboard）も並行している5。ただしこのうち SWE-bench Pro は、後段で見るとおりそれ自体の問題品質が疑われて推奨を撤回されている——向きは揃っていても、物差しの作り直しが一度で決まるわけではない。作り手も狙う軸もばらばらな複数のグループが、そろって「孤立した1件」から「持続する仕事」へ物差しを寄せている。

実務で何が変わるか

読み手が最前線の道具を選ぶ側なら、変化は三つに落ちる。

ただし長丁場ベンチマークはどれも新しく、規模も小さい（SWE-EVO は48問）。数字は今後動くし、一つの指標を新しい定番として担ぐのは早い。確かなのは点数の高低ではなく、測る対象が「1件直せるか」から「長く働き続けられるか」へ移ったという向きのほうだ。

出典5件

  1. SWE-bench Verified は、実在の GitHub issue 1件に対する修正パッチを当てられるかを測る500問（Epoch AI 自身の測定は、同社インフラで確実に走る484問のサブセットで行われる。ネットワークアクセスを要するテスト等16問を除外）。最前線モデルは高得点帯に集まっており、公開値はおおむね8割前後に並ぶ。同じモデルでも足回り（scaffold）次第でスコアが動く：Anthropic は Claude 3.7 Sonnet について、自社インフラで走る489問という同一サブセット上で、カスタム scaffold ありが70.3%、scaffold なしが63.7%と報告している（差は約6.6ポイント）。これは独立検証ではなくベンダーの自己申告値である。Epoch AI, “SWE-bench Verified” https://epoch.ai/benchmarks/swe-bench-verified／Anthropic, “Claude 3.7 Sonnet and Claude Code” https://www.anthropic.com/news/claude-3-7-sonnet ↩ ↩2 ↩3

  2. Tue Le, Minh V. T. Thai, Dung Nguyen Manh, Huy Phan Nhat, Nghi D. Q. Bui, “SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios”（arXiv:2512.18470v6, 2026-05-22。v1 は 2025-12-20 で、数値は版により異なる——v1 の要旨は GPT-5＋OpenHands で 21%／65%）。48問・平均21ファイル・平均874テスト、7つの成熟Python OSSのリリースノート由来。最良構成（GPT-5.4 + OpenHands）が SWE-EVO で25%、比較対象の同世代モデル（GPT-5.2）が SWE-bench Verified で72.8%。https://arxiv.org/abs/2512.18470v6 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  3. OpenAI（Frontier Evals チーム）は2026年2月、SWE-bench Verified を自社の評価から外すと公表した。主因は、フロンティア各モデルが課題IDだけから正解パッチや問題文をほぼ逐語再現できる汚染。加えて、問題ありとして精査した138問のうち6割超が「解けない」（49問はテストが狭すぎて機能的に正しい解も落とし、26問は問題文に書かれていない追加機能を要求）と指摘した。この6割超は Verified 500問全体ではなく、精査対象として切り出した138問に対する比率である点に注意（この138問は「o3 が解けなかった問題」を集めたもので、難問・不良問が濃縮された部分集合である）。なお同じ記事によれば、元の SWE-bench の著者らは飽和を宣言する天井は87〜95%であるべきだと主張しており、8割前後という現状値は飽和の合意値ではない。当時 OpenAI は代替として SWE-bench Pro を推奨したが、2026年7月8日、その推奨を明示的に撤回している——公開731問を監査し、自動パイプラインで200問（27.4%）、経験のあるソフトウェアエンジニア5名による人手レビューで249問（34.1%）が、過度に厳格なテスト・仕様不足・低カバレッジ等で壊れていると結論した。つまり「代わりの物差し」もまた、同じ理由で短命だった。2月の公表は Latent Space, “The End of SWE-Bench Verified” https://www.latent.space/p/swe-bench-dead、7月の撤回は The Decoder, “OpenAI finds roughly 30 percent of popular AI coding test is broken” https://the-decoder.com/openai-finds-roughly-30-percent-of-popular-ai-coding-test-is-broken/（一次発表は openai.com だが bot 遮断のため二次報道を示す）。 ↩ ↩2

  4. R. Aleithan ほか, “SWE-Bench+: Enhanced Coding Benchmark for LLMs”（arXiv:2410.06992, 2024）。SWE-bench の成功パッチの32.67%は「課題報告そのもの、またはそのコメント」に解が示されていた（著者らの言う “solution leakage problem”）、さらに弱い/不十分なテスト（31.08%）を併せて除くと SWE-Agent+GPT-4 の解決率は12.47%→3.97%へ低下。公開GitHub由来ゆえの汚染・記憶の問題を定量化した独立監査。https://arxiv.org/abs/2410.06992 ↩

  5. より長く・難しい仕事へ物差しを寄せる独立の試みの例——SWE-bench Pro（複数ファイル・長時間）、Terminal-Bench（本稿執筆時点の公式リーダーボードは 2.1）（コマンドライン上の長丁場。Stanford と Laude Institute の共同プロジェクトで、Epoch AI はリーダーボードをミラー掲載しているだけで、公式が 2.1 に進んだ後も 2.0 のまま）、Holistic Agent Leaderboard（arXiv:2510.11977、エージェント評価基盤）。作り手も軸も異なる複数グループが同方向に動いている。https://arxiv.org/abs/2510.11977 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。