シミュレーション・制御・実機

sim2realギャップの原因と対策：遅延・摩擦の計測とランダム化

2026/6/27 （更新: 2026/10/11）

🤖 AIを使用して執筆

ギャップは「測らなかったもの」にある

Aljalboutらが Annual Review of Control, Robotics, and Autonomous Systems（2026）にまとめた総説¹は、ギャップを力学・知覚・アクチュエーション・系設計の4軸に分ける。その中身として名指しされるのは、摩擦・接触・慣性(質量)・制御遅延、そしてアクチュエータの非線形性（不感帯・バックラッシュ・スルーレート制限・時定数・ヒステリシス）だ。Muratoreらが Frontiers in Robotics and AI（2022）に発表した総説²も、ギャップの起源として「物理現象の省略、パラメータ推定の不正確さ、数値積分の離散化」を挙げる。いずれもモデル化の側の失敗である。ただし同総説は、その直後に学習側の脆さ（入力分布のずれに敏感であること）も並べ、「シミュレータの精度を上げるだけではこのギャップは埋まらないという合意がある」とも書く。起源がモデル化の失敗であることと、モデル忠実度だけで解決することは別で、本稿が引くのは前者だけだ。

ドメインランダム化とは、測らない量を幅で覆う手法

ドメインランダム化（DR。ドメインランダマイゼーションとも書く）は、シミュレータの物理パラメータや見た目をわざと乱数で揺らした多数のシミュレーションを一つの訓練分布として束ね、その全体で一つの方策を訓練する手法だ。原典は Tobin ら 2017 で、非現実的なランダムテクスチャで訓練した検出器を、実画像ゼロで実機に移した³。原典の言い方では、シミュレータに十分な多様性があれば「現実世界もモデルには単なるもう一つのバリエーションとして映りうる」³。実世界が分布の範囲に入っていれば、方策は特別扱いなしに転移しうる、という発想である。

テクスチャや照明のように数個の係数に書き下せない見た目の量では、これは筋がいい。実テクスチャ全部を同定するより、乱すほうが手早い。もっとも原典が乱したのは見た目だけではない。カメラの位置・姿勢・視野角という、校正すれば測れる量まで乱したうえで、校正していない単眼カメラを使うと明記している³。原典は同定を避ける理由も書いている。同定は時間がかかり誤りやすく、強い同定をしても非剛性やギアの遊び、摩耗、流体の力学のように今の物理シミュレータが捉えない効果が残る、と³。

DRの難しさは幅の決め方にある。狭すぎれば転移せず、広すぎれば学習が壊れる。ロボットハンドに Rubik’s Cube を解かせた OpenAI の自動DR（ADR）論文⁴は、DRが「大量の手調整とタイトな反復を要した」「ランダム化パラメータが増えるほど手調整は非直感的で困難になる」と書く。別の節では、固定ランダム化のエントロピーが大きいほど訓練は長引くという観察に続けて、「環境が複雑すぎると、課題が難しすぎて十分な強化学習信号が得られず、ポリシーは決して学習しないだろう」と書く。ただしこれは著者らが仮説として述べたものだ。原典が実機で確かめたのは狭い側の失敗のほうで、測った範囲ではランダム化の幅が広いほど実機への転移も良かった⁴。

「広すぎるDRは保守的なポリシーを生む」は、それ自体を主題にした研究が前提として述べている（DORAEMON, ICLR 2024⁵）。統制実験もある。SimOpt の論文⁶は引き出し開けタスクで、他のシミュレーションパラメータを固定したままキャビネット位置の標準偏差だけを2cmから10cmへ広げ、ポリシーは保守的になる（ハンドルには到達するが、開けられない）と報告している。分散をさらに全軸へ広げると、今度は到達すら学習しなくなる。保守化と学習信号の消失は別の失敗で、同じ一つの実験の中に分散の関数として並んで現れる。幅を測らずに当て推量で決めると、この二つの失敗の間を手調整で探すことになる。

彼らは「良いポリシー」でなく「良いアクチュエータ」を学んだ

代表的な実例が四足ロボット ANYmal だ(Hwangbo ら, Science Robotics 2019)⁷。原典は油圧・減速機付きモータ・機械的コンプライアンスを持つものを並べたうえで、脚型のアクチュエータには「正確なモデル化が極めて困難」という共通点があると書く。ANYmal が積む直列弾性アクチュエータ(SEA)については、Gehring らの解析モデルが約100パラメータの推定を要した。彼らの解は、実機データで小さなMLPを訓練してトルクを予測すること。結果、トルク予測の平均誤差は、無遅延・無限帯域を仮定した理想モデルの 3.55 Nm → 0.74 Nm(検証)、テストでは 5.74 → 0.97 Nm と、検証で約5倍・テストで約6倍改善した。原典が分解能(0.2 Nm)に迫ったとするのは検証誤差のほうで、テスト誤差はそれより大きい。転倒復帰は実機で一発成功。

もちろん彼らはポリシーも学習している（2層256/128のMLPを訓練し、実機へ転移させた）。眼目は、学習をどこへ向けたかの内訳のほうだ。ギャップを縮めたのは「どう動くか」を学ぶ側ではなく、「現実が何をするか」、すなわちアクチュエータの力学を学ぶ側だった。原典自身も転移の成功を二要素に分けている。学習したアクチュエータ力学が現実ギャップを大きく減らし、確率的モデル化（慣性特性をランダムサンプルした30体のANYmalモデル、関節速度・基体速度への観測ノイズ）がポリシーを十分保守的に導いた、と。つまりこれは同定かランダム化かの二択ではなく、測れる／測れる形に持ち込めるものを先に測り、残った不確かさをランダム化で覆うという順序の話である。原典も序論で「実際には両者は併用されるのが普通だ」と書いている。原典はこの直後に Minitaur を名指しし、そちらが成功したのは直接駆動のアクチュエータなら正確な解析モデルを組めるからだ、と書く⁷。より複雑なアクチュエータではその前提が立たない。だから ANYmal は解析モデルの代わりにネットワークを学習した。

遅延も、崩壊を招く既知の元凶だ。Minitaur の研究⁸は「遅延はフィードバック制御の不安定を招く主要因の一つ」と述べ、遅延をモデル化しなければポリシーは「振動し、発散し、最終的に失敗する」とした。卓球ロボットの事例研究⁹は、観測・動作の遅延を実機で測った平均・標準偏差のガウス分布として、五つの成分ごとに別々に注入している(観測 約29–40 ms、動作 約64–71 ms)。この卓球論文は自らを、直前の Minitaur の手法を明示的に拡張したものだと述べる。卓球論文によれば、Minitaur は観測全体を単一の一様レンジで覆っていた。遅延の重要性も実機で確かめており、ハードウェアで実測した遅延値を使ったモデルのゼロショット転移が、試した他のどの遅延値よりも有意に高かった。次点は基準の半分の遅延を使ったモデルで、満点2.0の指標で 1.33 対 1.83 だった。遅延をゼロ・2割・1.5倍にした条件は 0.03〜0.78 まで落ちている。

ただし卓球論文の同じ図で、卓球台とラケットの反発係数やラケット質量を実測値に置いた条件は、手で合わせた値より転移が悪かった。原典はスピンが未モデル化のため、手で合わせた値が他の誤差を相殺していたのだろうと推測している。付録ではこの推測を追い、シミュにボールのスピンを入れて物理パラメータを測り直すと、実測値の条件が最もよく転移した。ただし同じ時期にラケットを柔らかい面のものへ替え、報酬に小さなボーナスも足している。柔らかい面を剛体で表すため、ラケットの反発係数だけは格子探索で決めた（実測0.84に対し0.44）。測っていない量が残っていると、測った値を入れても効かないことがある⁹。

計算で覆う代償と、測って縮める道

「もっと訓練すれば直る」の代償を数字で見せたのが OpenAI Dactyl だ¹⁰。彼らは実機で軌道を録り、シミュと実機の軌道誤差が最小になるようパラメータの既定値を合わせている（Dactyl 論文 Appendix C.3）。著者らは測れるところは測ったうえで、残りをランダム化で覆った。それでも経験量は跳ね上がる。ランダム化なしで物体回転を学ぶのに約3年ぶんのシミュ経験、同じ性能をフル ランダム化のシミュで出すには約100年ぶん（Dactyl の環境で実時間 約1.5時間 対 約50時間）。校正してなお残る不確かさをランダム化で吸収する代償が、約30倍の経験量だった。同じ Appendix C.3 は校正の側の費用も記している。録るのは数分ぶんの軌道で、そこから合わせるのは関節の減衰や静摩擦、アクチュエータのバックラッシュの大きさまで含む264個のパラメータ値だ。遅延については、実機には観測から行動の実行までに多くの遅れの源があるとして、各アクチュエータを確率0.5で1ステップ（約80 ms）遅らせる単純なモデルをシミュに入れている。原典自身、実機で良い性能を出すには大幅なランダム化が要るとしたうえで、ランダム化分布の平均が物理的に妥当な値に対応していることが重要だと書く¹⁰。同じ節は、その約30倍が買ったものも示している。ランダム化を外して訓練した方策は、実機での連続回転成功数が中央値0だった（全ランダム化では13）。この遅延やバックラッシュ、行動ノイズを含む未モデル化の効果だけを外した方策も、中央値2にとどまった¹⁰。DRは高価だが、この課題では転移が成立するかどうかそのものを分けていた。だからこそ問いは「DRを使うか」ではなく、その30倍のうちどれだけが、測れば消せた不確かさかである。

DRはモデルの誤差そのものを訂正せず、その周りで頑健に振る舞う方策を学ぶ。暗に「実世界がランダム化シミュの分布内に収まる」ことを前提とする。

Dactyl 自身は、ランダム化と校正がリアリティギャップを狭めたと書いたうえで、ギャップは残り実機の性能はシミュより悪いままだと報告している¹⁰。転移の要因に挙げるのもランダム化と校正だけではない。原典は、記憶を持つ方策が走りながら適応し、その場で暗黙の系同定を行える点を、第二の要因として自ら挙げている¹⁰。しかも原典はこの適応を定量している。シミュ内でブロックと5秒相互作用したあとの LSTM 内部状態から、そのブロックが平均より大きいか小さいかを80%の場合に当てられた、と報告する。第三の要因には、分散強化学習による大規模な訓練を挙げている¹⁰。

実際、ある論文によれば、DRは適切に調整されないとヒューリスティック依存で過度に保守的になりやすく、性能が劣化する。同論文はそう書いたうえで、ギャップを同定で直接縮める系同定（sysID）の方が的を射るとしつつ、標準的な sysID は微分可能な力学や直接のトルク計測を前提としており、接触の多い脚ロボットではその前提がめったに成り立たないと述べる。この前提は、同論文がこれから壊すものである。著者らは微分可能シミュレータもトルク実測も要らない標本ベースの同定を提示し、四足 Go2 と人型 G1 の実機で検証した¹¹。同定したパラメータを使う方策は、名目上のランダム化幅のまま、前進ジャンプ・ヨージャンプ・速度追従の誤差を基準比 42〜63% 下げている¹¹。ただし付録によれば、股・腿・脛のモータ係数のランダム化は同定側には在り、基準には無い¹¹。同じ表で、モデルを直さずランダム化幅だけを広げた条件は、五課題のうち四つで基準より悪化した¹¹。原典は結びでも同じ向きに、正確なモデル同定と的を絞ったデータ収集が、脚ロボットの sim2real ギャップを埋めるうえで重要だと書いている¹¹。

先に触れた ADR 論文は、校正を粗くとどめた力学を計算で埋めた例だ。噛み合いに遊びのあるキューブの接触と摩擦について、原典は精密な一致を狙わず「もっともらしいモデルを出発点にする」ことを選んだ。キューブについては「シミュレーションで正確に捉える術がない」と書き、後段ではその力学を校正する努力はせず、代わりにADRで環境のランダム化を自動化するとまで言い切っている⁴。最良の方策の成績は、無作為に引いた1本の公式スクランブル（実行に26回転を要する）に対し、半分まで到達が約60%、全部を通せたのが約20%で、数ヶ月の連続訓練で得たものだ（手の動作はNNだが、解法手順は古典ソルバが計算している）。この60%と20%は面角をキューブ内蔵のセンサで測った設定の値で、面角まで視覚で推定した同じ方策では半分到達が20%、全通が0%に落ちる⁴。同じ表では、通常の4分の1の規模で14日訓練した手調整のDRとADRの方策は、どちらも半分到達すら0%だった。原典はこの表を、手調整のDRは転移せず、ADRで訓練した方策の転移はランダム化の幅に明確に依存する、と読んでいる。手調整のDRが転移しなかった理由は、別のブロック課題の比較で、ハードウェアの変化に合わせてシミュレーションとランダム化の設定を手で調整し直さなかったことに置いている⁴。

ただし、ADRのループが実機を見ないことと、この論文が測らなかったことは分けておかねばならない。ADRの拡大ループが見ているのはポリシーの成績だけで、範囲を広げるかどうかはシミュレーションの内側で決まる。だがADRが出発点に置く環境からして実機から測った校正値であり、論文はその手前で、同じ入力列に対する関節位置を実機と模擬で突き合わせ、二乗平均平方根誤差が最小になるようシミュレータ側を合わせ、指の連動も実機に倣って作り直した。付録の切り分け（自由度を落とした簡易キューブ・実機10試行）では、旧シミュで訓練した方策が平均4.8回に対し、連動モデルと校正を入れた新シミュの方策は14.30回だった⁴。

実機の経験で、ランダム化の分布とシミュレータを合わせ込む

DRが計算と保守性を払うのに対し、実機の経験からランダム化の分布やシミュレータそのものを合わせ込む系譜がある。SimOptは実機と模擬の観測軌道の食い違いからランダム化の分布を更新する⁶。BayRnはベイズ最適化で分布パラメータを実機の成績に合わせ込む¹²。BayRnが見るのは軌道ではなく得点だけで、著者ら自身「観測された力学に合わせる項は目的関数に持たない」と断っている。それでも著者らはこれを「間接的なシステム同定」と呼ぶ。反復を重ねるほど、ベイズ最適化が実機のリターンの高い領域からサンプルするようになるからだ¹²。真値が既知のsim-to-sim実験に限れば、ガウス過程の平均関数の最大化点が真のパラメータとほぼ一致してもいる¹²。Grounded Action Transformation（GAT）は範囲ではなくシミュレータの応答自体を実機に合わせて補正し、NAO の最新の手書き歩行コントローラに対して前進速度を 43.27% 改善し、既知最速の安定歩行を上回った。その一反復で実機に走らせたのは 65 トラジェクトリで、シミュレーション側の方策改善が一反復あたり 30,000 本を要したのと対照的だ。43.27% はその反復を二度重ねた総計で、二度目には実機で取り直した接地データ15本が別途要る¹³。同じ論文は、低忠実度の SimSpark から Gazebo へ移すシミュレータどうしの転移で、行動に雑音を足して方策を頑健にする手法とも比べている。各10試行のうち安定した歩行を見つけられなかったのは、雑音の側が5回、GAT が1回だった¹³。

制御の言葉に置き換えると分かりやすい。測らずに広く乱すDRはロバスト制御に近い（当て推量した不確かさ集合に対して安全マージンを取る）。システム同定やグラウンディングは適応制御に近い（プラントを測ってから制御する）。当て推量した集合に対しては、広いマージンを取ることになる。測って集合を絞れば、そのマージンは狭くできる。

合わせ込む力学の量は多くない。SimOpt が合わせ込むのは関節のコンプライアンスとダンピング、ロープの捩れと曲げの剛性・減衰、ペグの摩擦と質量係数といった量で、全部並べても課題あたり数十次元のガウス分布に収まる（本稿が原典の表の次元を数えると、ペグ差しで35、引き出し開けで26）⁶。BayRn が各プラットフォームについて図に注記しているのも、ポールの質量と長さ、紐の減衰、関節の粘性といった数個の量である¹²。これは同定対象ではなく揺らす対象の列挙で、BayRn の原典自身「システム同定を一切必要としない」と書いている。ただし原典がその一文の直前に置く理由は次元の低さではなく、同定と方策最適化を絡めると互いの出力に依存する循環が生じ、系を十分に励起しない方策がシミュレータのパラメータ更新を壊しうることである¹²。

合わせ込む側にも固有の壁はある。BayRnの著者らは実機比較で、SimOptが多くの場合は課題を解く一方、同定サブルーチンが極端なパラメータへ収束して次の方策を使い物にならなくし、その悪い軌道が次の同定を汚す下降螺旋に入る場合を観察している¹²。GATの原典も、実世界の状態遷移が確率的な場合には GAT が苦戦しうると断っている¹³。ただし同じ論文は、確率的な遷移へ GAT を一般化した SGAT を示し、不整地を歩く NAO の実機では、二度目の接地のあとの10回の評価で GAT の方策が10回とも転んだのに対し、SGAT の方策は1回だった¹³。

枝はもう一つある。乱した分布で訓練したうえで、実機では状態と行動の観測から力学を推定し、それを方策に渡して適応する系譜で、SimOptの著者らは Yu ら（RSS 2017）を、DORAEMONの著者らは履歴依存の方策による暗黙の同定を、その例として関連研究に挙げている⁶⁵。そこで例に引かれる2本のうち1本は、ほかならぬADR論文である⁵。ADRの著者ら自身、DR/ADRが生むとする創発的メタ学習（原典の主要仮説）を、方策が観測を重ねながら環境の力学を学び取ることと定義し、他の分野では「オンラインのシステム同定」とも呼ばれると書いている⁴。

未計測の摩擦や遅延は、ランダム化の分布の外に出うる

先に見たとおり、DRは暗に、実世界がランダム化の分布の内に収まることを前提とする。だが測らずに置いた摩擦係数や遅延は、ランダム化の分布の外に出うる。遅延はそれ自体の大きさが制御を不安定にする要因であり、加えて、シミュに入れた値が実測から外れると転移は落ち、ばらつく（先の卓球の遅延スタディ）⁹。ただし同じ論文は、訓練を終えた方策を実機で動かし、観測の遅延を足していく実験もしている。約6.5 msの基準から12 ms・50 msへ増やしても成績は基準並みで、大きく落ちたのは150 msからだった。原典はその理由を、ロボットが球に反応する時間が足りなくなるためだろうと書く⁹。先の遅延スタディが変えたのは訓練のシミュに入れる遅延で、こちらが変えたのは実機の遅延である。

Minitaur は実測でマイコン側3 ms・上位計算機側15–19 msの遅延を得たうえで、「ランダム化の範囲は実測値に小さな安全余裕を足して決める」と方針を明記し、遅延を0〜40 msの範囲でランダム化している。著者らは、正確なアクチュエータモデルと遅延のシミュレーションはどちらか一方でも欠けると実機で動かなかった、とも書き添えている⁸。ただし論文が群を分けて示しているのは両方を外した場合までだ。論文は方策を100本訓練し上位3本を各3回走らせる手順で3群を比べた。遅延もアクチュエータモデルも入れていないシミュで、基体にランダムな外力を加えて訓練した群は、外力なしの群と同じく実機で不調だった。原典は、モデルの食い違いが大きすぎれば、ランダムな外乱で訓練した頑健な制御器でも現実ギャップを越えられない、と書いている。もっとも速歩の課題では、遅延とアクチュエータのモデルを入れた改良シミュで外力も加えて訓練しても、実機へ移る方策と移らない方策が混ざった。方策に渡す観測を IMU の4次元に絞って訓練し直すと、シミュと実機で同等の安定した動きになった⁸。

一方で、測ってから覆えば分布が当たるとも限らない。上で見たとおり、Dactyl では校正とランダム化のあともギャップが残り、卓球では最初の実験で、実測値に置いた反発係数がかえって転移を悪くした。測っていない量が残る限り、測ることは転移の十分条件ではない。シミュレータが生成しなかった遷移関数を、どれだけポリシー容量を積んでも復元できない。

ただしこれは、忠実度そのものを目的関数に据えよという話ではない。同じ総説は、実世界の力学を厳密に再現することは実務上達成できず必要でもないとし、転移の目的を性能ギャップの最小化と定義している¹。さらに「Wrong Models, Better Controllers」と題した節で、モデルベースRLやMPCについては制御性能を目的に最適化するほうが最尤モデルで計画するより良いという結果を挙げ、誤ったパラメータのシミュをどう使うかは未解決の問いだと書く¹。本稿の主張はそこまで踏み込まない。本稿は、測れる力学を測らずに容量で埋めようとする側が割に合わない、と言うにとどめる。測れるものを先に測り、残りを覆うという順序も、本稿の独自の処方ではない。同じ総説は sim-to-real の手順として、ギャップの各成分をできるだけ減らし、残ったギャップを訓練手法で覆う、という並びを番号付きで示し、減らす側と覆う側を分ける基準を、その要素を正確にモデル化できるかどうかに置いている¹。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。