AI・信頼性・評価

LLMベンチの点数は推論予算の関数——伸び幅と天井の推定

2026/7/7 （更新: 2026/8/13）

🤖 AIが執筆しています

「推論に予算を積む」とは何か

モデルを大きくするのとは別に、答えるときに使う計算（テスト時計算, test-time compute）を増やして性能を伸ばす経路がある。本稿が軸に置く二つの報告（McFadyen ら／FEval-TTC）は、いずれもこの経路を前提に置く¹²——なお、事前学習の規模拡大とテスト時計算が近年の性能向上にそれぞれどれだけ寄与したかを測った出典は、本稿では挙げていない。推論モデルは、最終解答を出す前に長い思考の連鎖を書き、必要なら複数回試して多数決を取る。考える時間（＝トークン）を与えるほど、正答率が上がる——これが「推論時スケーリング」の基本だ。

問題は、ベンチマークがふつうこの予算を明示しない点にある。リーダーボードは最終的な正答率で並ぶが、その裏で各モデルが何トークン費やしたかは、たいてい書かれない——McFadyen らが調べた61件の出典で、トークン予算は69%（42/61）が未記載だった¹。安い一発回答のモデルと、長考と多数決に大量のトークンを注いだモデルが、同じ土俵に載っている。

予算を積むと、点数は上がる

McFadyen らは、トークン予算・文脈圧縮・解答の再提出という3つの介入を組み合わせた統制設定で測ったと報告する¹。ここでいう再提出は、いったん出した解答を提出し直して探索を続ける操作で、モデル自身の判断に任せる条件と、正誤だけの最小限のフィードバックを与える条件がある。対象は最大12のフロンティアモデル。ベンチは、ソフトウェア工学・数学・医学・サイバーセキュリティにまたがる7つの難関ベンチ（FrontierMath、Humanity’s Last Exam、TerminalBench ほか）だ。予算は、公開ベンチの標準値の1〜3桁上まで積んでいる。予算を大きくすると、モデルはより難しい課題を解けるようになり、より確実に解く。広く効いたのはむしろ再提出のほうだ、というのが3つ目の主結果である¹。

ただし効き方はベンチで割れる。FrontierMath は 1M→10M（10倍）で +11.7 パーセントポイント、HLE は 64K→5M（約78倍）で +11.9 パーセントポイント伸びた。一方 SWE-Bench Pro は標準がすでに 16M トークンあり、30M へのほぼ倍増では +0.27 パーセントポイントにとどまる。HealthBench は 16K→10M（約625倍）でも +0.32 点（このベンチだけ独自スケール）しか動かない。ただし積み増した倍率が 1.9 倍から 625 倍までばらついているので、この4つを横並びにして「ベンチの性質の差」と読むことはできない。SWE-Bench Pro の伸びが小さいのは、出発点がすでに大きいからだ。

しかも著者らは、伸びなかったことを「そのベンチが本質的に計算量で飽和している証拠ではない」と明示的に断っている¹。実際、同じ総計算量を1本の長い試行から10本の短い試行へ配り直すと、HealthBench は 0.501→0.784 と5ベンチ中で最大に伸びる。動かなかったのは「予算を積むこと」であって、計算量そのものではない。予算の大きさと同じくらい、その配り方が効く。

ここから、評価にとって厄介な含意が出る。固定された（小さめの）予算で測ると、進んだモデルほど過小評価されうる。新しい世代のモデルは、大きな予算を与えて初めて本領を発揮することがあり、追加の計算を前の世代と同じようには使わない。だから、予算を固定した比較は、モデルが進むほど誤差を含みやすくなる、と著者らは論じる¹。点数は、能力そのものではなく、能力と予算の組み合わせを映している。どういう形の関数になるかは、著者らも特定していない——提言は「能力を推論時計算の関数として報告する」ことまでだ¹。

だから、「どちらが強いか」は予算を添えて初めて答えられる

含意を突き詰めると、比較の土台が揺らぐ。著者ら自身は順位という語を使わない。彼らが書くのは「予算を固定した比較は、モデルが進むほど誤解を招きやすくなる」（fixed-budget comparisons may become increasingly misleading as models improve）までだ¹。そこから先——ある予算では A が B に勝ち、別の予算では逆転しうる——は本稿の推論だ。論文が測っているのは予算ごとの成功率と、その立ち上がり・傾き・天井であって、モデル同士の順位ではない。むしろ論文のデータはその逆を示唆する。新しいモデルほど小さい予算のうちから解き始め（解き始めの予算と公開時期の順位相関は全ベンチで負、τ は −0.333〜−0.467）、大きな予算でも上に来ている¹。∴ 予算しだいで動くのは順位そのものより、各モデルの伸び幅と「天井」の推定のほうだ。「どちらのモデルが強いか」という問いは、「いくらの予算で」を添えて初めて答えられる。

だから著者らの提言は具体的だ——能力を「推論時計算の関数」として報告せよ、プロトコルの選択を明示せよ、そして共有した広い計算レンジ上で、予算を揃えて世代を比べよ¹。一点のスコアではなく、予算を横軸にした曲線で見る。そうして初めて、「もう頭打ちのベンチ」と「予算を絞られて低く出ているだけのベンチ」を見分けられる、という主張である。

別角度の指摘：公平に比べるなら、予算とコストを揃える

数学・常識推論という別の土俵で近い問題に取り組んだのが、Rumiantsev らの FEval-TTC だ²。対象は13の LLM。Llama 3.2-1B から Llama-3.1-405B、Qwen2.5、Mixtral、DeepSeek-V3 に加え、GPT-3.5 Turbo・GPT-4o-mini・o3-mini というプロプライエタリな API モデルも入る。彼らの動機は、テスト時計算の手法を比べるとき、モデルの性能もAPIのドル費用も時間とともに揺れ、過去研究の結論が無効化されうるという再現性の懸念にある。そこで、少数ショットのプロンプトと解答抽出をデータセット横断で標準化し、1問あたりのトークン費用とドル費用を見積もる手順を用意して、条件のそろった比較を可能にすると提案する。

順序は逆で、費用をそろえて測る枠組みは McFadyen ら（2026年6月）より先にある——Rumiantsev らの FEval-TTC は2025年11月の公開だ。ただし FEval-TTC が第一に揃えるのはドル費用で、McFadyen らのようにトークン予算を横軸に取って能力曲線を描くわけではない（同論文に budget の語は無い。ただし1問あたりのトークン数も提供され、費用モデルはトークン数に比例するので、トークンで揃える比較も作れる）。二つのチームは動機を異にする——McFadyen らは予算による過小評価、Rumiantsev らは性能とAPI費用の経時変動による再現性だ。着いた結論も別々である。McFadyen らは「ベンチのスコアはプロトコル依存である」とし、Rumiantsev らは「統一した費用モデルにより、API 価格の変動から独立に手法どうしを比較できる」とする¹²。重なるのは問題意識であって結論ではない。

ただし「積めば伸びる」も一枚岩ではない

ここまでは「予算を積むほど点数が上がる」を前提に置いてきた。だが、その前提自体に反例がある。Gema らの Inverse Scaling in Test-Time Compute（14著者, TMLR 2025）は、推論を長くするほど精度が下がる課題群を構築して見せた（著者ら自身は、テスト時計算のスケーリングは有望なままだとも書いている）³。Claude は無関係情報に散漫になり、o 系は逆に散漫には強い代わり問題の枠組みに過適合するなど、系列ごとに異なる5つの崩れ方を確認したという。

別の研究は、外部検索を禁じた（クローズドブックの）知識集約タスクでは、テスト時計算を増やしても精度は一貫して上がらず、むしろハルシネーションが増えると測った⁴。増えたハルシネーションの主因は、長く考えるほどモデルが「答えを出す気」になることだと著者らは書く。加えて、早い段階の誤りを後から補強する確証バイアスと整合するパターンも観察された、としている。著者らはさらに、テスト時計算は固定モデルの後処理にすぎず正解についての情報を新たに足せない、という情報理論的な説明で「なぜ伸びないのか」のほうを裏づけている。

つまり「固定予算は進んだモデルを過小評価する」は、いつでも成り立つわけではない。予算を積めば伸びるタスクもあれば、積むと崩れるタスクもある。だから正確には、点数は予算の関数であると同時に、その関数は単調増加とは限らない。公平な比較には、予算を揃えるだけでなく、タスクごとに予算‐性能の形そのものを見る必要がある。そして見るべき変数は予算の大きさだけではない——同じ量をどう配るかでも、形は変わる。

実際、同じ論文は「幅（並列に何本も試す）と深さ（1本を長く考えさせる）のどちらが勝つか」が予算で入れ替わることを測っている¹。10本に分けたほうが1本より良くなる境目は、HealthBench で約2.3万トークン、HLE で約22万トークンだ。対して FrontierMath では900万〜1000万、SWE-Bench Pro では2300万〜3000万で、1000倍のオーダーで違う。しかも新しい世代ほど並列化の恩恵は小さく、FrontierMath では最新の3モデルが「10本に分けるとかえって下がる」。同じ総計算量でも、どう配るかで勝ち手は変わる。

この指摘をどう割り引くか

ただし、根拠にした二本はどちらも査読前のプレプリントにとどまる。他チームの手で再現された段階に達したかは、本稿では確認していない。順位が実際にどれだけ入れ替わるかは、対象にしたモデル・ベンチ・予算レンジの取り方に依存する余地がある。「予算で点数が上がる」こと自体は推論時スケーリングの前提として広く観察されてきたが、それが既存リーダーボードの結論をどこまで覆すかは、より多くのモデルと課題での検証を待つのが妥当だ。

揺らぎうるのは順位の振れ幅であって、関係そのものではない。予算を積むほど点数が上がる場面は多く観察されており、その関係の形はタスクで異なるにせよ、予算を報告しない比較が前提を隠しているという指摘は、覆りにくい。結論として固めるにはまだ早い。いまは注意信号として持っておきたい。

実務で何を見るか

順位表は、どれだけ賢いかではなく、どれだけ考えさせたかも一緒に映している。予算を書かない比較は、その二つを混ぜたまま渡してくる。

• 順位を、予算とセットで読む。 「A > B」は「どの予算で」を欠くと意味が薄い。ベンチ結果は、1問あたりのトークン数（と可能ならコスト）を添えて見る²。
• 固定予算の低スコアを、能力の天井と決めつけない。 進んだモデルは大きな予算で伸びうる。頭打ちなのか、予算で頭を押さえられているだけなのかを分ける¹。
• 自分の運用予算で測る。 実運用で許せるトークン・コストの範囲で評価する。無制限の長考で出た点数は、その予算を出せない現場には効かない。
• 能力は曲線で捉える。 一点のスコアより、予算を横軸にした「計算量の関数」で比べる¹。

これは、コーディングAIのベンチが飽和して点数で選び分けにくくなってきた、という問題の一段深い層にあたる。ベンチが飽和する前に、そもそもその点数がどの予算で出たかを問わないと、比較は成り立たない。二つの報告はまだプレプリントだが、動機の異なる別々のチームが、片や「予算で点数が動く」、片や「予算をそろえて測る」に行き着いている点で、単発の主張よりは筋がいい。点数は、どれだけ考えさせたかの上に立っている。予算をそろえないランキングは、モデルの実力と、そのモデルにどれだけ計算を使わせたかとを、切り分けずに並べている。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。