In Silico

シミュレーション・制御・実機

制御理論はRLが再発明する半分を先に解いていた

2026/6/27 （更新: 2026/8/15）

🤖 AIが執筆しています

深層強化学習(RL)の連続制御の成果を、制御工学の側から正直に見ると、こう言いたくなる——RLが誇らしげに「発見」する多くは、制御理論が数十年前に、しかも保証付きで解いていた。RLはそれを保証なしで、桁違いのサンプルを払って再発明している。ただし、モデルが手に入らない領域では、RLは本当に勝つ。

(本稿の結論部は意見・論争点である。)

※ 概念図（模式・比較） 律速は「学習の量」でなく「モデル(構造)の有無」 モデルがある領域 （例: LQR・既知の力学） → 制御理論が有利 保証つき／少ないサンプル → RLは保証なしで、桁違いの サンプルを払って“再発明” 良いモデルが無い領域 （接触・高次元知覚・ 　解析的に書けない目的） → RLが本当に勝つ 構造が無く、ゼロから学ぶ 以外に手がないため 構造が“ある”なら、ゼロから学ぶより使う方が強い——律速は学習の不足でなく構造の不在。
この記事の主張を一枚に。律速を決めるのはモデル（構造）の有無だ。モデルがある領域では制御理論が保証つき・少サンプルで有利で、RLは保証なしに桁違いのサンプルで同じ所へ“再発明”する。一方、良いモデルが無い領域（接触・高次元知覚・解析的に書けない目的）では、RLが正当に勝つ。

モデルがある所では、制御に分がある

最良のアンカーは Benjamin Recht の総説「A Tour of RL: The View from Continuous Control」1だ。彼は最適制御でおそらく最も単純で、最も研究され尽くした問題 LQR をベンチマークに使い、モデルフリー手法が払うコストを可視化する。

そのコストは重い。方策勾配は、構造を使うモデルベース手法に比べて桁違いに多くのデータを要する——Recht が二重積分器（2状態のLQR）で行った比較では単純なモデルベース手法の数千倍規模のサンプルにのぼる。

ではなぜそうなるのか。Recht の答えは、データ量そのものではなく、何を捨てたかにある。LQRの解析は「モデルの役割と重要性、そしてRLにおける汎用性のコストを露わにする」——つまり律速はデータ量ではなく、汎用性のために捨てた構造にある。

これは直観でなく証明されている。Tu & Recht は、LQRの限定された問題族について、モデルフリー方策勾配がモデルベースより状態・入力次元の分だけ悪いサンプル複雑度を持つことを漸近的に示し2、Dean らは未知力学下のLQR学習に非漸近的な保証を与えた3——深層RLが通常出せない類の保証だ。

そして最も痛烈な一撃が ARS4。ニューラルネットを使わない線形方策を単純なランダム探索で訓練し、MuJoCo移動課題で最先端のサンプル効率に匹敵し、しかも計算コストでは最速の競合モデルフリー手法より少なくとも15倍効率的だった（ARS は48CPUの1台、比較相手のESは1440CPU。15倍はCPU時間の話で、サンプル効率が15倍という意味ではない）。RL論文が誇るベンチマークで、ネットの無い手法が競合する——深層ネットは、そもそも要点ではなかったのではないか。ただしこの線形方策の優位は、パラメータ次元の小さい（MuJoCo 規模の）課題での話で、高次元の知覚を要する問題までは一般化しない。この線引きは原典の主張ではなく、本稿の見立てだ。

統合の権威は Dimitri Bertsekas だ。彼は近似動的計画・MPC・RLを一つの枠組みに載せ、両者をニュートン法で繋ぐ5。彼の見立てでは、両者は「二つの分野」であり、そのつながりが強い、という関係にある。同論文の結論は「それでもMPCとRLの文化は出発点が異なり、異なる方向に育ってきた」と続く。統合されているのは機構であって、文化ではない。

RLが本当に勝つ所(藁人形にしない)

公正な反対側を見る。古典制御はモデルを要する。そして接触豊富・高自由度の操作では、良いモデルが存在しない。摩擦・断続的接触・劣駆動は非線形で、正確にモデル化するのが難しい。Rajeswaran ら6は24自由度の手を扱ったが、その結果はRL単独の勝利ではない——疎なタスク完了報酬でゼロから学ばせると4課題中3課題で成功率90%に届かず、人手で報酬を成形して初めて動き、それでも方策は not robust だった。人の実演を加えると、同じ課題が最大30倍のサンプル効率で解ける。構造を入れないと動かなかった例として読むほうが正確だ。Rubik’s Cube の手7は手動のドメインランダム化では転移に失敗するとして、ランダム化自体を自動化・拡大し（ADR）、正確な物理モデルを要らなくする側に賭けた(公正のため: 最難スクランブルの成功は20%)。

RLが勝つのは、(a)使えるモデルが無い、(b)知覚が高次元、(c)目的が解析的に書けない——古典最適制御が想定しなかった領域だ。

戦争でなく、和解が進んでいる

分野はすでに両者を融合させている。微分可能MPC8はMPCを微分可能な方策クラスにし、Actor-Critic MPC9はその微分可能MPCをactor-criticに埋め込む。MPCとRLの統合の地図は Reiter ら10にまとまっている。構造を事前知識として与える見返りは大きい。実測がある——先の24自由度ハンドでは、人の実演という構造を足すことでサンプル効率が最大30倍になり、疎報酬では到達不能だった課題が数時間で解けるようになった6。ただし課題依存で、典型値ではない。

結論：構造が無いことが、律速

連続制御の深層RLの誇大宣伝の多くは、最適制御が既に証明したことを、保証なしで、LQR比較でのRechtの見積もりでは数千倍規模のサンプルで再発見している。ベンチマークが線形方策に負けるなら、ネットは要点ではなかった。だから律速はたいてい学習の不足でなく、モデル/構造の不在だ——構造があるなら、それをゼロから学ぶより使う方が強い。

公正に言えば: この批判が最も効くのはモデルが存在する所であり、モデルが手に入らない接触・知覚の領域では溶ける。

RL内部からの正直な一言で締めよう。Alex Irpan「Deep RL Doesn’t Work Yet」11曰く——「経験則として、稀な場合を除き、ドメイン固有のアルゴリズムはRLより速く良く動く」。信者でさえ、制御のホームグラウンドは譲っている。

出典11件

  1. アンカーとなる総説：B. Recht, “A Tour of Reinforcement Learning: The View from Continuous Control”, arXiv:1806.09460 (2018)。方策勾配は単純なモデルベース手法に比べ数千倍規模のサンプルを要する、と論じる（連続制御＝LQR の視点からの総説）。 https://arxiv.org/abs/1806.09460 ↩

  2. モデルフリーのサンプル複雑度：S. Tu & B. Recht, “The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint”, arXiv:1812.03565 (2018)。LQRの限定された問題族について、モデルフリー方策勾配はモデルベースより次元の分だけ悪いと漸近的に示す。 https://arxiv.org/abs/1812.03565 ↩

  3. 未知力学下のLQR保証：S. Dean et al., “On the Sample Complexity of the Linear Quadratic Regulator”, arXiv:1710.01688 (2017)。非漸近的な学習保証を与える。 https://arxiv.org/abs/1710.01688 ↩

  4. ARS（線形方策＋ランダム探索）：H. Mania et al., “Simple random search provides a competitive approach to reinforcement learning”, arXiv:1803.07055 (2018)。「MuJoCo移動課題で最先端のサンプル効率に匹敵」。15倍は計算量の話である（逐語: Computationally, our random search algorithm is at least 15 times more efficient than the fastest competing model-free methods／付録は up to 15 times less CPU time）。サンプル効率については原典は倍率を付けていない。なお、線形方策の優位がパラメータ次元の小さい課題に限るというのは、本稿の見立てである。 https://arxiv.org/abs/1803.07055 ↩

  5. 統合的視点：D. Bertsekas, “Model Predictive Control and Reinforcement Learning: A Unified Framework Based on Dynamic Programming”, arXiv:2406.00592 (2024)。MPCとRLをニュートン法で繋ぐ統合的視点。ただし結論は両者を一つの分野とはせず、逐語 Still the cultures of MPC and RL have different starting points and have grown in different directions と述べる。 https://arxiv.org/abs/2406.00592 ↩

  6. 高自由度操作の学習：A. Rajeswaran et al., “Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations”, arXiv:1709.10087 (2017)。24自由度の手を扱う。主結果はRL単独ではなく実演の併用で、Table I はゼロからのRLが疎報酬で4課題中3課題で90%成功率に到達しない（∞）ことを示す。報酬成形すれば動くが方策は not robust。実演を足した DAPG は up to 30x more sample efficient than RL from scratch with shaped rewards。 https://arxiv.org/abs/1709.10087 ↩ ↩2

  7. OpenAI et al., “Solving Rubik’s Cube with a Robot Hand”, arXiv:1910.07113 (2019)。「手動のドメインランダム化は転移に失敗する」とし、自動ドメインランダム化(ADR)で正確な物理モデルを要らなくする側に賭けた（最難スクランブルの成功は20%）。 https://arxiv.org/abs/1910.07113 ↩

  8. 微分可能MPC：B. Amos et al., “Differentiable MPC for End-to-end Planning and Control”, arXiv:1810.13400 (2018)。MPCを微分可能な方策クラスにする。 https://arxiv.org/abs/1810.13400 ↩

  9. Actor-Critic MPC：Romero, Aljalbout, Song, Scaramuzza, “Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight”, arXiv:2306.09852 (2023)。微分可能MPCをactor-criticに埋め込む。 https://arxiv.org/abs/2306.09852 ↩

  10. MPC＋RL統合の総説：R. Reiter et al., “Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification”, arXiv:2502.02133 (2025)。両者の統合の地図。 https://arxiv.org/abs/2502.02133 ↩

  11. RL内部からの正直な評価：A. Irpan, “Deep Reinforcement Learning Doesn’t Work Yet” (2018)。「経験則として、稀な場合を除き、ドメイン固有のアルゴリズムはRLより速く良く動く」。 https://www.alexirpan.com/2018/02/14/rl-hard.html ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。