In Silico

シミュレーション・制御・実機

強化学習と制御理論の違い：モデルと目的が書けるかで使い分ける

2026/6/27 （更新: 2026/10/13）

🤖 AIを使用して執筆

  • 制御理論
  • 強化学習
  • 連続制御
  • LQR
  • MPC
  • ARS
  • MuJoCo
  • 方策勾配
  • LSPI
  • ADR
  • モデルベース
  • モデルフリー
  • サンプル複雑度
  • 最適制御
  • 近似動的計画
  • 線形方策
  • 安定性
  • ニュートン法
  • 微分可能MPC
  • 二重積分器
  • データセンター冷却
  • ドメインランダム化
  • ドローンレース
  • Rubik's Cube
  • ランダム探索
目次
背景・問い・要点
背景

ロボットやドローンのように、状態が連続に変わる系を思いどおりに動かす問題を、連続制御と呼ぶ。制御工学は、系の運動を表すモデルから制御器を設計し、安定かどうかを数学で確かめる方法を数十年かけて整えてきた。深層強化学習（RL）は、モデルを前提にせず、試行の結果から方策を学ぶ。RL が連続制御で挙げた成果に対して、制御の側からは、すでに解かれた問題を保証なしに、多くのサンプルを払って解き直している、という批判が出ている。

本稿は、連続制御の側から RL を見た Benjamin Recht の総説を軸に、線形方策のランダム探索（ARS）、Bertsekas による MPC と RL の統合論、接触の多い操作とドローンレースでの RL の実例を例に取る。

問い

連続制御で RL が挙げた成果のうち、制御理論が先に解いていた部分はどこまでで、RL が制御理論に勝るのはどんな条件のときか。

要点

モデルが手に入る問題では、制御理論は方策を直接探す RL より少ないサンプルで、設計によっては保証付きの解を先に与えていた。RL に分があると本稿が見るのは、接触のように良いモデルが書けない場合や、目的を解析的に書けない場合である。 2状態の LQR の比較では、方策勾配は単純なモデルベース手法の数千倍規模のサンプルを要した。ただし RL が動いた実例も、実演や校正したモデルという構造を足していた。ボトルネックはたいてい学習の量ではなく構造の有無だ、というのが本稿の見立てである。

モデル・例示

モデルの係数を2つ測れば、制御器は試行なしで決まる

※ この節の数値は説明のための仮定で、測定値ではありません。

ずれ x を0へ戻したい1次元の系を考える。次の時刻のずれは、いまのずれ x と加えた入力 u から、x′ ＝ 1.2x ＋ 0.5u で決まる。入力を加えなければ、ずれは1歩ごとに1.2倍に増える。入力を u ＝ −kx と決めると、1歩あたりの倍率は 1.2 − 0.5k になり、k ＝ 2.4 でずれは1歩で0に戻る。

モデルを使う側は、係数1.2と0.5を知らなくても、観測に雑音が無ければ、ずれと入力の比が違う2組で2回観測するだけで、2本の式から両方の係数が決まる。たとえば (x, u) ＝ (1, 0) と (0, 1) で観測すれば、次の時刻のずれがそのまま1.2と0.5になる。そこから k ＝ 1.2 ÷ 0.5 ＝ 2.4 が計算で出て、倍率の絶対値が1未満かどうか、つまり系が安定かどうかも試す前に確かめられる。

モデルを使わない側は、k の候補を実際に走らせ、結果の良し悪しだけを見る。0から4までを0.1刻みにした41通りを、1通りにつき20歩ずつ試すと、観測は 41 × 20 ＝ 820 回になり、モデルを使う側の410倍である。しかも k が0.4以下の5通りでは倍率が1以上で、試している間ずれは減らない。

二つの側の観測の回数を比べると、三つの性質が読み取れる。

  1. モデルの形が分かっていれば、要る観測の数は未知の係数の数で決まる。モデルを使わない探索は、候補の数と試行の長さの積だけ観測を払う。
  2. モデルがあれば、制御器がそのモデルの上で系を安定にするかを、走らせる前に計算で確かめられる。モデルを使わない探索は、不安定な候補を走らせて初めてそれを知る。ただし観測に雑音があれば、推定したモデルは真の系とずれうるので、モデルの上での確認は真の系の安定までは保証しない。
  3. 物に触れるたびに式が切り替わるなど、モデルの形そのものが分からない系では、2回の観測で係数は決まらず、モデルを使う側の利点は小さくなる。

モデルがある所では、制御に分がある

最良のアンカーは Benjamin Recht の総説「A Tour of RL: The View from Continuous Control」1だ。彼は最適制御でおそらく最も単純で、最も研究され尽くした問題 LQR をベンチマークに使い、モデルフリー手法が払うコストを可視化する。

そのコストは重い。方策勾配は、構造を使うモデルベース手法に比べて桁違いに多くのデータを要する。Recht が二重積分器（2状態のLQR）で行った比較では単純なモデルベース手法の数千倍規模のサンプルにのぼる。

ではなぜそうなるのか。Recht の答えは、何を捨てたかにある。LQRの解析は「モデルの役割と重要性、そしてRLにおける汎用性のコストを露わにする」。二重積分器の実験でその代価を重く払ったのは方策を直接探す手法で、前段の数千倍も方策勾配の値である。同じ実験では、モデルを使わない近似動的計画の LSPI が、単純なモデルベース手法と同じ10観測で質の高い制御器に届いている。

これは直観でなく証明されている。Tu & Recht は、LQRの限定された問題族について、モデルフリー方策勾配がモデルベースより状態・入力次元の分だけ悪いサンプル複雑度を持つことを漸近的に示し2、Dean らは未知力学下のLQR学習に非漸近的な保証を与えた3。これは深層RLが通常出せない類の保証だ。Recht 自身は、こうした差が LQR に閉じないとし、「より複雑な応用に立ち返ったとき、LQRで観測された現象の多くはそのまま残る」と書いている1。

しかも Recht が測っているのは、サンプルの数だけではない。RLの応用として広く知られた「データセンター冷却」を理想化した不安定なLQRでも、モデルベースとの比較を同じ形で行い、モデルフリー手法はサンプルを10倍に増やしてもまともな解に届かなかったと書く。そこで併せて測っているのが、安定化する制御器を返す頻度だ。ただし保証を持つのは Dean らの robust な設計のほうで、単純なモデルベース（nominal）も真のシステムを安定化できない制御器を頻繁に返す、と原典は注記している1。同じ段落で原典は、産業の実務では nominal がよく働いているように見えるとも書き、それが安定化する妥当な条件を見つけることを大きな未解決問題に挙げている1。そのうえで Recht は「モデルフリー手法はサンプルを食うだけでなく、安全でない。そして安全は、サンプル複雑度よりずっと重要だ」と結んでいる1。

深層ネットの必要性に最も強い疑問を投げかけるのが ARS4だ。ニューラルネットを使わない線形方策を単純なランダム探索で訓練し、MuJoCo移動課題でサンプル効率は最先端に匹敵するか上回り、しかも計算コストでは最速の競合モデルフリー手法より少なくとも15倍効率的だった（ARS は48CPUの1台、比較相手のESは1440CPU。15倍はCPU時間の話で、サンプル効率が15倍という意味ではない）。ただし原典自身が、これらの課題では性能のばらつきが大きく、よく使われるサンプル効率の見積もりは RL の手法の性能を十分に評価しないことを示唆する、と書いている4。Humanoid では線形方策が平均報酬11500超に達し、原典はこれを文献で報告された最高値だと書く。RL論文が誇るベンチマークで、ネットの無い手法が競合する。深層ネットは、そもそも要点ではなかったのではないか。

同じ論文の結びは、さらに踏み込んでいる。「モデルベース手法の開発にもっと力を注ぐべきだ。多くの問題で、モデルベースはモデルフリーより少ないサンプルで済むと観測されている」。そしてシステムの物理がモデルのクラスを決めるべきだ、と続く4。LQRインスタンスについては、著者たち自身が自分の手法を「モデルベースほどサンプル効率は良くない」と評している。モデルフリー側から最も強い結果を出した当人たちが、その論文をモデルベースへの推奨で締めくくっている。

ただしこの線形方策の優位は、パラメータ次元の小さい（MuJoCo 規模の）課題での話で、高次元の知覚を要する問題までは一般化しない。一般化してはいけないこと自体は、同じ実験を振り返った Recht が「この MuJoCo のデモは易しい、少なくとも思われていたよりずっと易しい」と釘を刺している。彼はベンチマークが少ないことが過適合を促すとも書き、深層ネットが要らないという読みではなく、ベンチマークのほうが易しかったという読みを取る1。パラメータ次元という切り口のほうが、本稿の見立てだ。

統合の権威は Dimitri Bertsekas だ。彼は近似動的計画・MPC・RLを一つの枠組みに載せ、両者をニュートン法で繋ぐ5。彼の見立てでは、両者は「二つの分野」であり、そのつながりが強い、という関係にある。同論文の結論は「それでもMPCとRLの文化は出発点が異なり、異なる方向に育ってきた」と続く。原典が分岐の元に置くのは、MPCが連続の状態・制御空間を好むことである。この選好は古典制御理論の伝統に由来する。そこから帰結を1つ名指しする。「安定性と安全性/到達可能性の問題はMPCで最重要とされてきたが、RLではほとんど考慮されない」。原典はその主な理由を、RL が好んで扱うゲームやマルコフ決定問題、近年では大規模言語モデルのような離散の状態と制御では、安定性が数学的にも実際上も問題にならないことに置く。ただし原典は非対称を両側に書く。同じ段落の最後は、データから学ぶという発想のほうは制御理論の伝統に無く、体系的に扱われるようになったのは比較的最近だと締めている。分かれているのは機構ではなく、出発点に選んだ問題の種類と、そこから来る優先順位である。原典はその隔たりを架橋する手立てとして自分の枠組みを差し出しており、MPCへの機械学習の流入は今後も続き加速すると見ている。

ドメイン固有の手法に分があるという評価は、RL の内側からも出ている。Alex Irpan は、RL の汎用性の代価を「学習に効く問題固有の情報を使うのが難しく、ハードコードできたはずのことを学ぶために大量のサンプルを払わされる」と書く6。そのうえで「経験則として、稀な場合を除き、ドメイン固有のアルゴリズムはRLより速く良く動く」と述べている6。

RLに分がある所(藁人形にしない)

公正な反対側を見る。古典制御はモデルを要する。そして接触の多い操作では、特に実機で、良いモデルが得にくいことが多い。摩擦・断続的接触・劣駆動は非線形で、正確にモデル化するのが難しい。Rajeswaran ら7は24自由度の手を扱ったが、その結果はRL単独の勝利ではない。疎なタスク完了報酬でゼロから学ばせると4課題中3課題で成功率90%に届かず、人手で報酬を成形して初めて動き、それでも方策は not robust だった。人の実演を加えると、同じ課題が最大30倍のサンプル効率で解ける。構造を入れないと動かなかった例として読むほうが正確だ。Rubik’s Cube の手8は手動のドメインランダム化では転移に失敗するとして、ランダム化のレンジを人手で調整する手間のほうを自動化・拡大で消した（ADR）。だが物理モデルを捨てたわけではない。原典は実機に合わせて手の動力学を校正し、腱をモデル化し、「正確なRubik’sキューブのモデルを開発した」と書く。結合モデルと校正を入れた環境で訓練した方策は、簡易版の課題で実機の成功数が4.8から14.3へ増えた。ここでも効いているのは構造の量だ(公正のため: 最難スクランブルの成功は20%)。

RLが勝つのは、(a)使えるモデルが無い、(b)知覚が高次元、(c)目的が解析的に書けない領域だ。(a)の前提について、Rajeswaran らは序論で、多指の手の器用な操作はモデルベースの軌道最適化で先に得られていたと書いたうえで、その手法がふつう頼る正確な動力学モデルと状態推定は、接触の多い課題、特に実機では得にくいと述べる7。ただし前段の2例はどちらも古典制御と勝敗を比べた実験ではなく、実演や校正したモデルという構造を足して動いた例なので、(a)の領域で RL が勝つことの実測にはならない。(c)と、接触でモデルが切り替わる難しさについては、ここまで批判の材料を出してきた Recht 自身が触れている。脚のあるロボットの力学はラグランジュの方程式で書けるが、目的関数をどう設計するのが最善か分からず、しかもモデルが区分線形で、ロボットのどこかが物に触れるたびに切り替わるため、そこから歩行を計画するのは難しい1。だから「複雑な非凸・非線形モデルを扱わずにロボットを動かすことは、RLの枠組みにとって手応えのある課題だ」と彼は書く。ただし勝ちを譲ったのではない。続く節で 2018 年時点の彼は、同じ MuJoCo の課題がもともと非線形 MPC の力を試すために設計されたもので、モデルの指定が粗くても MPC はロボットを立たせ、その歩容は一般的な RL 手法で得られるものよりかなり良く見える、と書いている1。

(c)に近い形の実測の例がある。Song らはドローンレースで、RL で訓練した制御器が最適制御の手法を上回ったと報告し、原因を「目的をよりよく最適化するからではなく、よりよい目的を最適化するから」に置く9。原典によれば、最適制御はふつう目的に連続性、さらには凸性を求めるので、本当のタスク目標を直接は表さない凸の（多くは二次の）目的と、軌道のような中間表現に置き換えて解く。RL は非線形・非凸で、微分できない目的でも最適化できる。この計画と制御の分解が表現できる挙動を狭め、モデルに無い効果に直面したときに性能を落とす。対して RL は、タスクの目的をそのまま最適化できることに加え、ドメインランダム化でモデルの不確かさに備えられる、というのが彼らの説明だ。目的の違いの効果は、ランダム化を外した RL 同士で目的だけを変えて比べている。比較では最適制御の2手法と RL がどれも同じ公称のモデルを使っており、RL はそのモデルのシミュレーションで訓練され、その際に推力の写像や抗力の係数をランダムに変えるドメインランダム化を組み込める（実機へ移すために、機体を丁寧に同定してもいる）。公称のモデルの上で周回が最も速かったのは最適制御の軌道追従（4.92秒、ただし成功率44%）で、RL が周回時間でも上回ったのは、現実寄りのモデルと実機という、公称のモデルと食い違う条件だった。

(b)の高次元知覚については、2018年時点の Recht は、画素から直接学ぶ RL の初期成果に見込みを認めつつ「状態から学んだ同じ手法よりさらに悪いサンプル複雑度」だと評し、有望なのは状態フィードバックを足場にする Guided Policy Search の系統だと書く1。(b)を RL の勝ち領域に数えるのは、したがって本稿の見立てで、引いた出典はそこでも構造（状態推定）を足す側を推している。

戦争でなく、和解が進んでいる

分野はすでに両者を融合させている。微分可能MPC10はMPCを微分可能な方策クラスにし、Actor-Critic MPC11はその微分可能MPCをactor-criticに埋め込む。MPCとRLの統合の地図は Reiter ら12にまとまっている。構造を事前知識として与える見返りは大きい。実測がある。先の24自由度ハンドでは、人の実演という構造を足すことでサンプル効率が最大30倍になり、疎報酬では到達不能だった課題がロボット時間換算で数時間分のサンプルで解けるようになった（シミュレーション上の値で、実機での成功は未実証だと原典は断る）7。ただし課題依存で、典型値ではない。

出典12件

  1. B. Recht「A Tour of Reinforcement Learning: The View from Continuous Control」Annu. Rev. Control Robot. Auton. Syst. 2, 2019. https://arxiv.org/abs/1806.09460 — LQR を基準に、モデルフリー手法の代価を測った総説。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. S. Tu, B. Recht「The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint」COLT, 2019. https://arxiv.org/abs/1812.03565 — LQR で方策勾配の不利を漸近的に示した。 ↩

  3. S. Dean ほか「On the Sample Complexity of the Linear Quadratic Regulator」Foundations of Computational Mathematics 20, 2020. https://arxiv.org/abs/1710.01688 — 未知の力学から LQR を学ぶ手順に、非漸近的な保証を与えた。 ↩

  4. H. Mania ほか「Simple random search provides a competitive approach to reinforcement learning」arXiv, 2018（NeurIPS 2018 は別題）. https://arxiv.org/abs/1803.07055 — 線形方策のランダム探索が MuJoCo で深層RLに匹敵した。 ↩ ↩2 ↩3

  5. D. Bertsekas「Model Predictive Control and Reinforcement Learning: A Unified Framework Based on Dynamic Programming」IFAC-PapersOnLine, 2024. https://arxiv.org/abs/2406.00592 — MPC と RL をニュートン法で繋ぐ。 ↩

  6. A. Irpan「Deep Reinforcement Learning Doesn’t Work Yet」2018. https://www.alexirpan.com/2018/02/14/rl-hard.html — RL の汎用性の代価と、ドメイン固有の手法が速いという経験則を書く。 ↩ ↩2

  7. A. Rajeswaran ほか「Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations」RSS, 2018. https://arxiv.org/abs/1709.10087 — 24自由度の手のシミュレーションで、実演を足すとサンプル効率が最大30倍になった。 ↩ ↩2 ↩3

  8. OpenAI ほか「Solving Rubik’s Cube with a Robot Hand」2019. https://arxiv.org/abs/1910.07113 — ランダム化の範囲を自動で広げる ADR を導入し、手の動力学の校正とキューブのモデルにも投資した。 ↩

  9. Y. Song ほか「Reaching the limit in autonomous racing: Optimal control versus reinforcement learning」Science Robotics 8, 2023. https://arxiv.org/abs/2310.10943 — 同じ公称モデルで最適制御と RL を比べ、モデルずれでは RL が速かった。 ↩

  10. B. Amos ほか「Differentiable MPC for End-to-end Planning and Control」NeurIPS, 2018. https://arxiv.org/abs/1810.13400 — MPC を微分可能な方策クラスにした。 ↩

  11. A. Romero ほか「Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight」IEEE T-RO, 2025. https://arxiv.org/abs/2306.09852 — 微分可能MPCを組み込む。 ↩

  12. R. Reiter ほか「Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification」Annual Reviews in Control 61, 2026. https://arxiv.org/abs/2502.02133 — MPC と RL の統合手法の総説。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。