シミュレーション・制御・実機

強化学習のsim2realギャップを実測：遅延とドメインランダム化

2026/6/30 （更新: 2026/10/11）

🤖 AIを使用して執筆

第一幕：チーターに、走り方を教える

三幕の並びは、測り方から決まっている。ギャップは差であり、差を出すには同じ報酬で二度測るほかない。だから第一幕でまず基準側、つまりモデルを渡さずに走れるようになったことを確かめ、第二幕では方策に一切触れず、物理だけを動かして測り直す。方策が同じで物理だけが違うので、落差を物理のせいだと言える。第三幕はその先の値札を測り、最後に、測って直すというもう一方の手がどこに残るかを置く。

題材は MuJoCo の HalfCheetah である。二次元の「チーター」が、関節にトルクをかけて前へ走る課題だ。まず、その対象そのものを見てほしい。

動かせるのは前後の脚にある6つの回転関節だけで、胴体を直接持ち上げる関節は無い。姿勢は脚の協調だけで保つので、一度崩れると立て直しにくい。倒立振子の実測では、モデルを渡した古典制御(LQR)がデータ0で20シードすべて1000ステップ倒れずに立ち、最も素朴な強化学習は約43,000ステップ学習しても535だった。ただしそのLQRも、制御に80ミリ秒の遅延を足すと立てなくなった。チーターは倒立振子と違い、地面との接触が複雑で、きれいな運動方程式を書いて制御器に渡す、という手が使えない。モデルが無い。ここが強化学習(RL)の出番である。

ここで言う「報酬」を定義しておく。1ステップごとに「前進した速度（そのステップで進んだ距離を、1ステップの時間で割った値） − 0.1×‖行動‖²」を受け取り、1エピソード1000ステップ（シミュ時間で50秒）ぶんを合計した値が、以下で出てくる報酬である。前へ進むほど増え、無駄に大きなトルクを出すほど減る。だから0付近は前進ぶんと制御コストがほぼ釣り合った状態、マイナスは制御コストが前進ぶんを上回った状態を指す。ただし報酬だけでは、前へ進んだかどうかまでは判定できない。0付近でも、前進と制御コストが相殺されているだけかもしれないからだ。

RLには物理を教えない。最初はデタラメに関節を動かし(ランダム方策の報酬は −263)、たまたま前に進めた動きを少しずつ強化していく。標準的な実装(PPO, stable-baselines3)で30万ステップ学習させた。以下は全部、手元のマシンでオフラインに走らせた本物の数字である（学習はGPU、摂動評価は推論だけなのでCPU）。

【図の読み方】横軸＝学習ステップ（経験の量）、縦軸＝報酬（高いほど上手に走れる。前進速度から制御コストを引いた値の1000ステップ合計）。破線はランダム方策のベースライン（−263）。見るべきは右肩上がりの曲線である。曲線が破線を引き離していく＝モデルを渡さずに走り方を獲得している。上の点線は、ばらつきを止めた決定論評価での最終スコア（+1177）。曲線の終端（≈672）より点線が高い理由は二つある。曲線は直近100エピソードの平均なので学習の進み方より遅れて動き、決定論評価は学習中の探索ノイズを切って測る。

ランダムの −263 から、決定論評価(ばらつきを止めた「本番モード」での評価)で +1177 へ。モデルを一切渡さずに、0から走る歩容を獲得した。LQRが運動方程式のモデルを前提にするのに対し、こちらはモデルの代わりに約30万ステップの経験を使った。(公平のため：PPOは中庸な手法で、この+1177もPPOでの結果であって手法の上限ではない。論点は上限でなく「モデル無しで0から学べる」ことだ。)

これだけ見れば、めでたしだ。RLは歩行を解いた。ただし、「シミュレータの中では」という但し書きがひとつつく。

第二幕：よく走るのは「シミュの中で」だけ

学習した方策は、学習に使ったシミュレータの物理に対して最適化されている。けれど現実のロボットは、シミュとぴったり同じではない。実機の関節は少し重いかもしれない、床は少し滑るかもしれない、モーターの指令には必ずわずかな遅延がある。

そこで、学習済みの方策をそのまま(再学習なしで)、訓練時と少し違う物理に置いて評価した。質量・摩擦・作動遅延を、それぞれ振ってみる。振り方はこうだ。質量は密度を変える形で、body_mass と body_inertia を同倍にスケールした（重くすると同時に回しにくくなる）。摩擦は接線＝滑り摩擦の係数だけを動かし、ねじり・転がりは据え置きである。遅延の単位を先に押さえておく。HalfCheetah-v4 は内部刻み0.01秒をframe_skip 5でまとめるので、制御1ステップは0.05秒（20Hz制御）、つまり1ステップ＝50ミリ秒である。

【図の読み方】3枚それぞれが「物理を1つだけ変えたとき」の報酬（縦軸）を、変化の大きさ（横軸）に沿って描いている。左＝質量、中＝摩擦、右＝作動遅延。基準（訓練時の物理）から右や左へ離れるほど現実とのズレが大きい。見るべきは右の遅延パネルである。たった1ステップずらしただけで報酬が急落する。質量は2倍で崩れ、摩擦は下げるとむしろ上がる（「違う」＝「悪い」ではない）。

結果ははっきり分かれた。

• 質量：1.5倍までは8割前後を保つ(緩やかに劣化)。だが2倍で崩壊(報酬がマイナスに沈む)。
• 作動遅延：これが効いた。たった1ステップ＝50ミリ秒の遅れで、報酬は1150から26へ落ちた。ほぼ完全な崩壊である。2ステップ以上では報酬がマイナスに沈む。実機の作動には必ず遅延があり、訓練シミュには無かった。シミュ内でよく走る方策が、1ステップの遅れで壊れる。

これが sim2realギャップである。「凸包より下 ≠ 現実」、つまり計算上の最適は、現実の最適ではないということの、ロボット版そのものだ。比喩ではなく、私たちが実測した谷である。

遅延が方策を崩すという向きは、実機でも報告されている。Tanら(2018)は四足ロボット Minitaur の sim2real を扱い、アクチュエータのモデルの不正確さと遅延がモデル化されていないことを、現実ギャップの二大原因として挙げた¹。同論文によれば、物理シミュレータ Bullet では指令が即座に効き、センサも状態を即座に返すので、シミュ内のフィードバック制御器の安定領域は実機よりずっと広くなる。そのためシミュで学んだ方策が実機で振動し、発散し、最後には失敗する例がよく見られる、と同論文は述べる。ただし遅延の桁は本稿と同じではない。Tanらが実機で測った遅延は、マイコン上のPDサーボが3ミリ秒、TX2上の歩行制御器が通常15〜19ミリ秒で、どちらも本稿の1ステップ＝50ミリ秒より小さい。本稿は遅延を制御ステップ単位で入れたので、50ミリ秒がこの設計で入れた最小の遅延である。したがって本稿の結果が示すのは、この設計で入れた最小の遅延（1ステップ）で方策が既に崩れることであって、同論文の実機程度の遅延で崩れることではない。

ひとつ、正直な但し書きを。ズレは必ずしも「悪化」ではない。摩擦を下げると、報酬はむしろ上がった(0.4倍で131%)。理由までは今回の測定では言えない。記録したのはエピソード報酬の平均と標準偏差だけで、歩容そのものは描き出していないからだ。「違う」と「悪い」を混同しないことが、正しい読み方だ。

第三幕：「直す」側にも、ちゃんと値札がある

では、どう直すか。最も標準的な手がドメインランダム化(DR)である。訓練のあいだ、わざと物理をランダムに揺らす。質量も遅延も毎エピソード変えて学習させれば、方策は「ひとつの物理」に過適合できず、幅のある物理に耐えるほかなくなる。

ランダム化の幅は、エピソードごとに質量×0.8〜1.4倍・作動遅延0〜2ステップとした。この幅で学習したDR版の方策を、nominalと同じ評価条件で比べる。評価条件は、同じスイープ、各条件12本、同じ乱数シード列である。学習量だけは揃っていない（DRが40万ステップ、nominalが30万ステップ）。

先に断っておくと、この幅は結果の読み方を変える。揺らしたのは質量と遅延だけで、摩擦は一度もランダム化していない。後で見る3枚のうち訓練分布の内側にあるのは、質量0.8〜1.2倍と遅延0〜2ステップだけである。質量0.6倍・1.5倍・2倍、遅延3〜4ステップ、そして摩擦は6点すべてが外側にあたる。内側での健闘は未知の物理への汎化ではなく、訓練で見た範囲の再現である。外側の点は二種類に分かれる。質量と遅延の点はランダム化した幅を超えた値で、摩擦の点は一度もランダム化していない軸の値である。

【図の読み方】3枚とも、通常学習(nominal)とドメインランダム化(DR)の2本を、縦軸＝報酬で比べている。左＝質量、中＝摩擦、右＝作動遅延。右の遅延パネルが2本の交差を見せる。遅延ゼロではnominalが高い（1150 対 353）が、遅延が入るとnominalは急落しDRが上に立つ（1ステップで26 対 337）。ただし左と中は逆で、質量0.6〜1.5倍の全点、摩擦0.4〜1.6倍の全点でDRはnominalを下回る（中の摩擦軸は、DR訓練でランダム化していない軸である）。左でDRが上回るのは質量2.0倍の1点だけだ（41.4 対 −119）。この図でDRが買えているのは全域での優位ではなく、nominalが沈む点で沈まないことである。

予想どおり、そして正直に言って、トレードオフが出た。

• 頑健さは買えた、ただし遅延軸で：遅延1ステップで、nominalは26まで落ちたのに、DRは337を保つ。質量軸は違う。質量2倍では、nominalが−119に沈む横でDRは41.4だが、41.4も0付近にとどまる。26を「ほぼ完全な崩壊」と読んだのと同じ基準では、DRがここで買えたのは、報酬がマイナスに沈まないことだけだ。幅の外側は反対側でも同じで、質量0.6倍ではDRは31.9、遅延4ステップでは−30.9と、いずれも0付近かマイナスにとどまる。内側でも均一ではなく、幅の下端にあたる質量0.8倍ではDRは172で、nominalの1023には遠い。しかも質量1.5倍以下と摩擦0.4〜1.6倍では、DRはnominalに届かない。摩擦は、DR訓練で一度も揺らしていない軸である。
• だが、値札がある：DRの無摂動時の報酬は 353 である。nominalの 1150 から大きく下がった。DRの報酬は、備えた軸（質量・遅延）でも、備えていない軸（摩擦）でも、どの点もnominalの無摂動時の値に届かない。DRが測った中で最も高かったのは摩擦0.8倍の453で、353はむしろ摩擦を振った6点の中で最も低い。向きとしては、DRについて知られている 頑健性の代償(robustness cost) と同じである。Tanらも四足ロボットのシミュで慣性を既定値の50〜150%に振り、ランダム化して学んだ制御器は性能が揃う一方、ランダム化しない制御器はピークが高い代わりに慣性がずれると大きく落ちると報告し、これを頑健性と最適性のトレードオフと呼んだ¹。ただし本稿の差は、別々に学習した1シードずつの2本を比べたもので、DRの代償と確定はしていない（方法の注）。また、代償の大きさそのものは固定の物理法則ではない。ランダム化の幅を狭くしすぎれば頑健にならず、広くしすぎれば過度に保守的になって最適性能に届かなくなる、と先行研究は指摘しており、「どこまで広げるか」を自動で決める研究も今なお続いている²。今回の353という数字も、手動で選んだ幅の結果であり、DRの避けられない限界そのものとは限らない。

どちらの報酬が高いかは、条件で入れ替わった。質量・摩擦を基準値のまま遅延だけを振った評価では、遅延ゼロならnominalが上（1150 対 353）、1〜4ステップの遅延ではどの点でもDRが上だった（1ステップで26 対 337）。ただし遅延ゼロでも、質量2倍ではDRが上回る（41.4 対 −119）。50ミリ秒より短い遅延は測っておらず、いずれも1シードずつの方策どうしの比較である。

これは玩具の話ではない。OpenAIが片手でルービックキューブを解いたロボット(2019)は、DRを極限まで押し進めた事例である。彼らが突き当たったのは、ランダム化の幅を人手で調整しきれないという壁だった³。幅の設計とロボットでの検証を往復する手作業が大量に要り、パラメータを増やすほど手動の調整は難しく直感に反していく、と原典は述べている。そこで難易度を自動で上げ続ける Automatic Domain Randomization を発明した。その方策は頑健で、学習中に一度も見ていない状況、たとえばぬいぐるみのキリンで小突かれても、キューブを操り続けたと原典は報告している。ただし原典がこの実機での外乱について示すのは定性的な報告までで、成功率は数字で出ていない。数字があるのはシミュレーション上の摂動（関節の故障など）に限られ、そこでは操作ごとの失敗確率を測っている。DRを深層学習の文脈で広く示した代表例が、2017年(Tobinら)の sim2real 研究である。同研究は、シミュレータのレンダリングをランダム化するだけで、実画像で事前学習することなく（シミュレーション画像だけで訓練して）実世界へ転移できることを示した⁴。私たちがチーターで見た谷とトレードオフは、最前線の研究が直面しているものと同じ構造である。

さらに一歩：「揺らす」のか「測って直す」のか

DRは「現実がどこにあるか分からないから、広く備える」戦略である。けれどもし、現実の遅延や質量を実際に測れたら、その値に合わせて訓練・適応すればいい。これが system identification(同定) の発想である。広く張るのでなく、ずれている当の量に狙いを定める。ただし「測れるなら」が条件になる。OpenAIのルービックキューブの事例は、両方を使っている。手の関節の力学は、実機で記録した関節位置に合わせて校正し、ADRの出発点に置いた。キューブのほうも、力学をごく初歩的に校正して実物におおまかに合わせ、ランダム化の出発点とした。同じ論文の別の節は、キューブをシミュで正確に捉える方法は無いので力学を校正する努力はせず、代わりにADRでランダム化を自動化した、とも書いている³。Tanらの四足ロボットでも、アクチュエータのモデルと遅延の扱いをシミュに入れないままランダムな摂動を加えて学んだ制御器は実機で性能が低く、両方を入れたうえで摂動も加えた群だけがシミュと実機で同程度の性能を出した¹。測ることと広く備えることは、二者択一ではない。DORAEMONを提案したTiboniらの論文は、実データから力学パラメータの事後分布を推定し、その推定をDRに使う手法群を挙げ、この手法群が Adaptive Domain Randomization と呼ばれていると整理している²。測って直す手と広く備える手は、同じ設計の中で組み合わせられる。

狙いを定めて測って直すほうが、幅で備えるDRより上に行けるかどうかは、本稿ではまだ測っていない。

方法の注：学習シード1本で確かめられる範囲

この測定に含まれないものを断っておく。実機は一台も動かしていない。「現実」の側に置いたのは、訓練時から物理を少しずらした同じシミュレータである。転倒は測定の外にある。HalfCheetah-v4 は転んでもエピソードが終わらないので、崩れた姿勢は「報酬が伸びない」という形でしか現れない。歩容も残していない。記録したのはエピソード報酬の平均と標準偏差だけなので、摩擦を下げると報酬が上がる理由は、この測定からは言えない。そして学習の乱数シードは方策ごとに1本なので、別々に学習した2本を突き合わせた比較は、この設計では確定しない。nominalの1150 対 DRの353がその比較にあたる。

本記事の各数値は、方策ごとに学習の乱数シードを1つだけ使って学習した1本ずつの方策を評価した結果である。nominal方策のシードはseed=0で、DR方策のシードは記録に残っていない。評価の本数は場面ごとに違い、学習直後の決定論評価が20本（+1177）、ランダム方策が10本（−263）、摂動スイープが各条件12本である。摂動スイープの基準値1150は、スイープと同条件で測り直した12本の値で、20本の1177とは別の測定にあたる。ばらつきも全条件で記録してあり、たとえばDR方策の無摂動時は353±162（平均±標準偏差）だった。「1シード」とは学習の乱数シードが方策ごとに1つ（nominalはseed=0）という意味で、評価側は条件ごとに12個の異なるシードを使っている。

この1シードという設計は、どの主張をどこまで支えられるかを変える。同じ方策を同じシードのまま物理だけ変えて測った比較は、学習の乱数を共有しているぶん比較として堅い。遅延1ステップでの1150→26と、質量2倍での崩壊がそれにあたる。一方、別々に学習した2本の方策を比べた箇所は違う。nominalの1150 対 DRの353、および質量・摩擦軸でDRがnominalを下回るという読みは、学習シードが片方1本ずつしか無い。これは、本稿が裏づけに引いている論文自身が、環境名を名指しして警告している型である。同論文は、ハイパーパラメータを揃えたまま乱数シードだけを変えた実行を平均すると、HalfCheetahでは互いに同じ分布に入らない学習曲線が得られうると報告している（TRPOで5シードずつ2群、t = −9.09, p = 0.0016）。同じHalfCheetah（原典はv1）上のPPOでも、5試行のブートストラップ平均は3043、95%区間は1920〜4165で、上下端の比は2.2倍だった。結論でも、性能を比較するなら異なる乱数シードで多数の試行を走らせねばならない、高い平均リターンが本当に良い性能を表しているかは正しい有意性検定で確かめる必要がある、と述べている⁵。∴ DRが代償を払うこと自体はここでの測定と矛盾しないが、353という代償の大きさも、質量・摩擦軸でのnominal優位も、本稿の設計では確定していない。

実験条件は上記のとおりで、コードとシード・生の結果ファイルは手元に保存してある（リポジトリは非公開）。ただしDR方策の学習スクリプトは記録に残っていない。ランダム化の幅（質量×0.8〜1.4倍・遅延0〜2ステップ、40万ステップ）は当時の作業記録に基づく値で、DR側の評価の数値は結果ファイルに残っているが、DR方策のファイルはリポジトリに無く、評価も訓練設定も再走で確かめていない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。