シミュレーション・制御・実機

sim2realは、学習問題に見せかけた計測問題だ

2026/6/27 （更新: 2026/8/14）

🤖 AIが執筆しています

シミュレーションで完璧に歩いたポリシーが、実機では転ぶ。原因を「学習が足りない/ポリシーが弱い」と捉え、もっと訓練しもっと大きなネットを使う——多くの場合、これは見当違いだ。sim2realのギャップの大半は、未計測・誤計測の力学(遅延・摩擦・接触・アクチュエータ特性・センサ雑音)に由来する。学習問題の顔をした、計測問題なのだ。

(正直に前置きする。同定（モデル化）と学習は対立物ではなく相補的だ、というのが本稿の前提である。だから主張は「学習は無関係」ではなく、「律速はたいてい モデルの忠実度で、学習が最も効くのは”測れない部分”に向けたときだ」とする。)

ギャップは「測らなかったもの」にある

Aljalboutらが Annual Review of Control, Robotics, and Autonomous Systems（2026）にまとめた総説¹は、ギャップを力学・知覚・アクチュエーション・系設計の4軸に分ける。その中身として名指しされるのは、摩擦・接触・慣性(質量)・制御遅延、そしてアクチュエータの非線形性（不感帯・バックラッシュ・スルーレート制限・時定数・ヒステリシス）だ。Muratoreらが Frontiers in Robotics and AI（2022）に発表した総説²も、ギャップの起源を「物理現象の省略、パラメータ推定の不正確さ、数値積分の離散化」——いずれもモデル化の側の失敗に置く。ただし同総説は、その直後に学習側の脆さ（入力分布のずれに敏感であること）も並べ、「シミュレータの精度を上げるだけではこのギャップは埋まらないという合意がある」とも書く。起源がモデル化の失敗であることと、モデル忠実度だけで解決することは別で、本稿が引くのは前者だけだ。

彼らは「良いポリシー」でなく「良いアクチュエータ」を学んだ

代表的な実例が四足ロボット ANYmal だ(Hwangbo ら, Science Robotics 2019)³。直列弾性アクチュエータは「正確なモデル化が極めて困難」で、解析モデルは約100パラメータを要する。彼らの解は、実機データで小さなMLPを訓練してトルクを予測すること。結果、トルク予測の平均誤差は理想モデルの 3.55 Nm → 0.74 Nm(検証)、テストでは 5.74 → 0.97 Nm と、検証で約5倍・テストで約6倍改善した。原典が分解能(0.2 Nm)に迫ったとするのは検証誤差のほうで、テスト誤差はそれより大きい。転倒復帰は実機で一発成功。

彼らが学習したのはポリシーではなく、アクチュエータの力学モデルだった。「どう動くか」でなく「現実が何をするか」を学んだ。学習を測れない部分に向けた——これが正しい使い方の形だ。

遅延も、崩壊を招く既知の元凶だ。Minitaur の研究⁴は「遅延はフィードバック制御の不安定を招く主要因の一つ」と述べ、遅延をモデル化しなければポリシーは「振動し、発散し、最終的に失敗する」とした。卓球ロボットの事例研究⁵は、観測・動作の遅延を実機で測った平均・標準偏差のガウス分布として注入している(観測 約29–40 ms、動作 約64–71 ms)。

計算では、未計測の数ミリ秒は直せない

「もっと訓練すれば直る」の代償を数字で見せたのが OpenAI Dactyl だ⁶。彼らは実機で軌道を録り、シミュと実機の軌道誤差が最小になるようパラメータの既定値を合わせている（Dactyl 論文 Appendix C.3）——測れるところは測ったうえで、残りをランダム化で覆った。それでも経験量は跳ね上がる。ランダム化なしで物体回転を学ぶのに約3年ぶんのシミュ経験、同じ性能をフル ランダム化のシミュで出すには約100年ぶん（Dactyl の環境で実時間 約1.5時間 対 約50時間）。校正してなお残る不確かさをランダム化で吸収する代償が、約30倍の経験量だった。DRは「ギャップ自体を縮めず、その周りを学習で回避する」手法であり、暗に「実世界がランダム化シミュの分布内に収まる」ことを前提とする。実際、DRは適切に調整されないとヒューリスティック依存で過度に保守的になりやすく、ギャップを同定で直接縮める系同定（sysID）の方が的を射るとの指摘もある。ただし同じ指摘は「標準的なsysIDは微分可能な力学や直接のトルク計測を前提とし、接触の多い脚ロボットではその前提がめったに成り立たない」とも言い添えている⁷。だが誤った摩擦係数や未モデルの数ミリ秒の遅延は、その分布の外にある（Minitaur では実測で、マイコン側3 ms・上位計算機側15–19 msの遅延が報告されている⁴）。シミュレータが生成しなかった遷移関数を、どれだけポリシー容量を積んでも復元できない。間違ったモデルからは、そのシミュ内で学習を回すだけでは抜け出せない。（実機での追加計測やオンライン適応は別の話で、それが下記の処方だ。）

正直な但し書き

学習が本当に効く場面はある。接触豊富・変形を伴う操作のように、いまの手法では精密にモデル化しきれない領域だ。ヤング率やポアソン比を精密に測れないなら、ランダム化や残差適応で補うのが筋だ。だから真に正直な主張はこうだ——測れるものは測り、学習は測れない部分に振り向けよ。

未計測の小さな誤差(数ミリ秒の遅延、間違った μ)が、発散軌道へと増幅する。ギャップは、あなたが測らなかったものの中にある。

この主張は、遅延を入れたシミュレータで確かめられる——歩行方策を学習させたうえで、訓練時には無かった1ステップぶんの作動遅延を入れるだけで、完璧だった方策が崩れる。実機を持ち出さずとも、この谷は手元で実測できる。

同定と学習は相補的であり、本稿は律速がモデル忠実度に偏る点を強調した立場をとる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。