AI・信頼性・評価

RLVRは新しい推論能力を生むか：賛否の論文を測定結果で読み比べる

2026/7/29 （更新: 2026/10/13）

🤖 AIを使用して執筆

問われているのは点数ではなく、伸びの中身である

o1やR1に代表される推論モデルは、RLVR（Reinforcement Learning from Verifiable Rewards）で訓練される。RLVRは検証可能な報酬による強化学習で、正解に報酬を与えて方策を更新する手法だ。この訓練を受ける前の素のモデルを、以下ではベースモデルと呼ぶ。

RLVRは、ベースモデルにはなかった新しい推論のやり方を作り出しているのか。それとも、ベースモデルがサンプリングの中に既に持っていた正解ルートを、より高い確率で選ぶように並べ替えているだけなのか。

これを測る道具がpass@kである。同じ問題に対してモデルにk回独立にサンプルさせ、そのうち少なくとも1回が正解に達すれば「解けた」とみなす指標だ。k=1は、1回の試行でどれだけ確実に正解へたどり着けるかを表し、実運用に近い指標になる。kを大きくすると、pass@kは、試行回数を許した場合にモデルが原理的に到達できる範囲、つまりモデルの「持っている力」に近い指標になる。この二つが同じ結論を出すとは限らない。それがこの論争の核心だ。

試行を重ねると、ベースモデルが先に届いている

RLは推論力を生むのか、この問いに最も鋭い否定的な答えを出したのが、Yueらの研究である¹。2025年4月に公開され、NeurIPS 2025でOral発表に選ばれ、ICML 2025のAI4MATHワークショップでもベストペーパーとなった。

彼らが確認したのは、pass@kの交差だった。数学・コード・視覚推論のいずれでも、比べられたRLVRモデルはGRPO（Group Relative Policy Optimization）という強化学習アルゴリズムで訓練された公開モデル（SimpleRLZoo、Oat-Zero、DAPO、Code-R1、DeepCoder、EasyR1）である。典型的なk=1のようにkが小さい設定では、RLVR後のモデルがベースモデルに勝つ。だが著者らが「現実的な値」と呼ぶk=128や1024まで大きくしていくと、ベースモデルの方が高いpass@kを記録し、RLVR後のモデルを上回る。同じモデル、同じベンチマークで、kの取り方だけで勝者が入れ替わる。

Yueらは、RLVRの推論力は「ベースモデルに由来し、ベースモデルに制約される」と解釈する。RLVRは新しい推論経路を作るのではなく、ベースモデルのサンプリング分布に既に存在する経路の確率を再配分しているだけだ、という読みである。問題ごとの比較も同じ向きである。SimpleRLZooのRLVRモデルとそのベースモデルで解ける問題を比べると、RLVR版だけが解いた問題はAIME24で0%、MATH500で1%（約5問）だった。その5問も、ベースモデルに1024回解かせると全部解けた、と著者らは書いている¹。しかもRLVRの訓練が進むほど、この推論能力の境界は狭まることが多いという。別に組んだ比較では、PPO・GRPO・Reinforce++・RLOO・ReMax・DAPOの六種を同じ枠組みで訓練し、いずれも、in-domainのテストセットではRL後のpass@1とベースモデルのpass@256の差（サンプリング効率ギャップ）が40点超のままで、大きな違いは出なかった。out-of-domainのMATH500では、この差は20点台に縮む。「ベースモデルの潜在力を引き出す点で、最適にはほど遠い」と彼らは書いている。ただしこの六種の比較はk=256までで、そこではベースモデルが六種すべてを上回るわけではない。交差の証拠は前段のGRPO系モデルの実験の側にある。

この否定的な結果はRLVRに限定される。同じ論文は、教師モデルからの蒸留であれば、生徒モデルに本当に新しい推論パターンを持ち込めることも確認している。批判の刃は、現時点で標準的なRLVRの訓練設定に向く。著者ら自身も、評価できたのは公開されているRLVRモデルだけで、最も強いモデルと訓練パイプラインは非公開のままだと断っている¹。

Qwen系では、報酬の中身を消しても伸びが残る

報酬の中身そのものを疑ったのが、2025年6月公開のSpurious Rewardsである。この論文はICML 2026 に採録された⁴。Qwen2.5-Math-7Bを使い、MATH-500での改善幅を報酬の種類ごとに比較した。正解ラベルに基づく通常の報酬では29.1ポイント改善する。ここまでは予想通りだ。だが、正解の情報をほとんど、あるいはまったく含まない報酬でも、伸びの大半が残った。正解かどうかと無関係なランダムな報酬でも21.4ポイント、フォーマットが合っているかだけを見る報酬でも13.8ポイント、わざと誤ったラベルを与えた報酬でも24.1ポイント、多数決で決める報酬では27.1ポイントである。

著者らが挙げる仕組みは二層になっている。土台はGRPOのクリッピング項が生む勾配の偏りだ。報酬に情報がなくても、この偏りは事前学習で身につけた高確率の振る舞いを押し上げる。実際、GRPOからクリッピングを外すとランダム報酬の伸びは消える。この効果は、報酬の中身ではなく、クリッピング項という実装上の仕掛けに依存する。その偏りが何を押し上げるかを見る事例研究として著者らが挙げるのが、コードで考えて実行はしない「コード推論」という、Qwen2.5-Math系が元々持っていた振る舞いだ。弱い報酬やスプリアスな報酬で訓練すると、この出現頻度は65%から90%超へ跳ね上がる（ランダム報酬では最大95.6%）。一方、正解ラベルの報酬では初めこそ上がるがやがて下がり、著者らはこれを別の改善機構が働いている印だと読む。Qwen2.5-Math-7Bでは、訓練前にコードを書いた応答の正答率が60.9%、書かない応答では35.0%である。著者らは、偏りが点数を上げるのは、押し上げた振る舞いが正答と結びついているときだけだと説明する。ただし著者ら自身、コード推論だけでは完全な説明にならないと断っている。

ここで欠かせないのが、著者ら自身が明記する範囲の限定である。このランダム・誤りラベルでの伸びはQwen2.5系に特有で、Llama3やOLMo2など他のモデル系列では再現しない。それらのモデルでは、ランダムな報酬や誤ったラベルはほとんど効かないか、むしろ悪影響すら出る。著者らは、LlamaやOLMo2-7Bはコード推論をそもそも出さないので、偏りが押し上げても点数に効く振る舞いが無いと説明している。同じ系列のOLMo2-7B-SFTは逆に応答の98%でコードを書くが、コードを書いた応答の正答率は21%で、自然言語の40%を下回る。伸びる範囲は数学特化のQwen2.5-Math-7Bに限られず、汎用のQwen2.5-7Bでも誤りラベルで27.8ポイント、ランダム報酬で16.4ポイント伸びている。ただし著者らはQwen2.5-7BもOLMo2-7B-SFTと同じくコードで正答率が下がる側に分類しており、誤りラベルの訓練ではコード推論がむしろ減っている。著者らの結論は、RLVRの研究をQwen一系統だけでなく多様なモデルで検証すべきだという提言に留まる。今のところ確かなのは、最も使われてきた検証用モデルにおいて、報酬信号が説明する分がこれまで想定されていたより小さい、という一点だ。

反論する側の測定でも素のRLVRは平均でわずかに下回り、チェスの制御実験は一様な研ぎ澄ましを否定した

2026年に入り、Yueらの批判に直接答えるタイトルの論文が出た。Pengxiang Caiらの「Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model」で、査読前のプレプリントである²。

著者らが手法の出発点に置くのは、素のRLVRの学び方である。RLVRはサンプルした試行から学ぶので、正解の試行が一度も出ない問題には、強めるべき推論の跡がそもそも無い。二値の報酬で全部の試行が不正解だと、グループ内で比べた有利さ（アドバンテージ）がすべて0になり、その問題からは学習信号が出ない、と著者らは書く。境界を狙う設計は、こうした問題を報酬の届く例へ変えるためのものだ。

手法は3段階に分かれる。まずpass@kサンプリングでモデルの現在の推論能力の境界を特定する。次に、その境界上または境界を超える難易度の例に、教師モデルから的を絞った誘導を与える。最後に、その誘導で得られた新しい推論パターンをRLで定着させる。五つのモデル設定で試したところ、pass@256はベースモデルより9.8ポイント、素のRLVRより10.3ポイント向上した。pass@1とpass@256の両方が改善しており、pass@256は推論能力の境界を測る代理指標として使われている。問題単位でも、五設定を通じてベースモデルが256サンプルで解けなかった538問のうち226問が、この手法のあとに解けるようになった。ただし五設定のうち四つはQwen系である。DeepSeek-R1-0528-Qwen3-8BはQwen3-8B Baseを事後学習したモデルで、非Qwenの事前学習はMeta-Llama-3.1-8B-Instructの一つだけだ。

重要なのは、この論文が素のRLVRについてYueらの診断を前提として受け入れていることだ。著者らは「標準的なRLVRは、ベースモデルから既に到達可能な軌跡の間でサンプリング確率を再配分することが多い」と書き、これをYueらの観測として引いて、自分たちの設計動機に据えている。ただし引いて終わりではない。彼らは5つのモデル設定と3つのベンチマークで、ベースモデル・素のRLVR・自分たちの手法の三者を同じ条件でpass@256まで測っており、素のRLVRのpass@256はベースモデル比で平均−0.5ポイントだった。これはYueらの診断と同じ向きの、独立した測定である。彼らは境界を破る自前の手法を提案する側でもあり、素のRLVRの限界を強調することは自分たちの手法の価値を際立たせる²。

著者ら自身が「素のRLVRは不安定で、モデルとベンチマークの組み合わせによってpass@256を上げることも下げることもある」と書いているとおり、内訳は割れている。Qwen3-8Bでは素のRLVRが三つのベンチマークすべてでベースモデルのpass@256を上回り（23.3→36.7、12.2→36.7、91.7→96.4）、平均を最も大きく押し下げているのはLLaMA-3.1-8B-Instructでの大幅な縮小（53.3→36.7、20.0→10.0、73.6→55.4）だ。同じQwen系でも、Qwen2.5-7Bでは素のRLVRのpass@256が三つの平均で5.0ポイント縮んでいる（40.0→26.7、26.7→26.7、94.1→92.4）。したがってこの一本は、Yueらの診断を平均としては追認しつつ、素のRLVRの効果が同じ系列の中でもモデルによって逆向きに出ることを示している。関連研究の節で著者らは反対側の証拠も挙げており、長く慎重に回したRLなら境界を広げられるとする研究（ProRL, arXiv:2505.24864。curriculum RLの参考文献はこれをNeurIPS 2025として引いている）を引いている。

もう一つ、伸びの出どころを見ておく必要がある。第二段階で新しい推論パターンを持ち込んでいるのは、教師モデルの推論トレースを使い、RLの前に挟む小規模な教師あり微調整（SFT）であって、RLはそれを定着させる役に回る、と著者ら自身が書いている。Yueらは蒸留であれば新しいパターンが入ることを認めていた。したがってこの結果はYueらへの反例というより、彼らが残した抜け道を、境界の近くだけで最小限に使う設計だと読むほうが正確だ。なおYueら自身も、境界を押し広げうる将来方向の一つとして「カリキュラムによるデータ規模の拡大」を挙げていた。

同じ時期に、別の角度から迫ったのがJingyan Shenらのチェスを使った研究である³。査読前のプレプリントで、事前学習から事後学習までの全体を、盤面が明確で正誤も明確なチェスという題材で制御実験する。

まず、事前学習がRLの成果をよく言い当てる。あるRL計算量での事後RL性能は、事前学習の損失（pretraining loss）でよく予測できる。RLの報酬曲線が改善していく傾き自体も、事前学習トークン数の対数にほぼ比例して良くなる。トークンを10倍にするごとに、改善の速さが一定量ずつ上乗せされる、という形である（要旨と数学への移植の節は「トークン数に比例」と略しているが、当てはめた式は対数を取っている）。ただし著者らは、これは調べた計算量の範囲での局所的な傾向であって、どの訓練領域でも成り立つ大域的な法則ではないと自ら断っている。RLの改善そのものには上限も置いており、20Mモデルの10本では漸近値が0.12〜0.47と推定され、これも事前学習の損失から予測できるとしている。ただし同じ実験は、pass@1については総計算量が増えるほどRLに割く比率も上げるべきだとしている。一方でpass@kは事前学習の規模により敏感で、大きなモデルでは同じ計算量をRLより事前学習に回したほうがpass@16が高くなりうる、と著者らは書いている³。

平均としてはRLはSFT方策を研ぎ澄ましており、著者らはべき変換の傾きが訓練中に上がることでそれを確かめている。ただし当てはまりは中程度で、状態ごとの傾きは大きくばらつく。ばらつきの中身は、問題の難度で二つに割れる。易しいパズルでは、RLはSFT方策が元々好んでいた正解手の確率を強めるだけである。これは研ぎ澄まし（sharpening）にあたる。難しいパズルでは、SFT方策の下ではほぼ出てこなかった正解手をRLが浮かび上がらせる。ただし本文はこの文をそこで終えておらず、同時に誤った手も強化する、と続く（要旨は前半だけを載せている）。難しい問題でのRLは、正解も誤答も一緒に持ち上げるわけだ。著者らはこの入り混じった効果を確率質量の再配分として記述し、pass@1が伸びてもpass@kが揃って伸びない理由をそこに求めている。この点は、Yueらとの関係にも直接つながる。彼らが測った範囲で最も大きいkはpass@16で、大きなモデルではRLを足してもpass@16の曲線はほぼ平らなまま、場合によってはわずかに下がる。RLによるpass@16の改善がこのように限定的であることは先行研究（Yueら）と整合する、と著者ら自身が書いている³。この傾向は数学のタスクにも移り、事前学習を長く積んだモデルほど事後RLの到達点が高く、改善も速い。

これは盤面という制御された題材、しかも5M〜1Bパラメータという小さなモデルでの結果であり、フロンティアの推論モデルへの一般化は今後の検証課題として残る。

四本を並べると、Yueらは境界が訓練の進行とともに狭まることが多いと書き、curriculum RLの実験で平均としてそれを押し戻したのは、教師モデルの推論トレースを少量のSFTで持ち込んでからRLで定着させる設計だけだった¹²。ただしその伸びが「並べ替えを超えた」ものかどうかは、まだ切り分けられていない。チェスの研究は難しい問題での伸びを再配分として記述しているし、curriculum RLの伸びは教師モデルからの持ち込みを含む。

この向きに乗らない結果も、四本の中に在る。curriculum RLの内訳では、Qwen3-8Bで素のRLVRが三つのベンチマークすべてでベースモデルのpass@256を上回っており、著者らは素のRLVRが境界を広げる側に出ることもあると併記している²。同じ著者らは、推論の軌跡まで見る指標で測ればRLVRは正しい推論を促すとする研究と、長く慎重に回したRLなら境界を広げられるとする研究（ProRL）を、楽観的な見方として自ら引いている²。チェスの研究は、RLが既存の技能を組み合わせて新しい技能を作るとするYuanらと、問題によって両方の挙動が出るとするSunらを、Yueらと対立する見方として並べている³。本稿はそれらを直接検証していない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。