タグ: sim2real

強化学習のsim2realギャップを実測：遅延とドメインランダム化 2026/6/30
歩行AIを実際に学習させ、訓練したシミュとほんの少し違う物理に置くと何が起きるかを実測した。1ステップの作動遅延で、訓練に使ったシミュではよく走っていた方策が崩壊する。「直す」側のドメインランダム化も同じ報酬で測ると、遅延には耐えたが、無摂動時の報酬は低かった。
sim2realギャップの原因と対策：遅延・摩擦の計測とランダム化 2026/6/27
シミュレーションと現実のギャップの多くは、ダメなポリシーでなく未計測の力学(遅延・摩擦・アクチュエータ)に由来する。ANYmal でギャップを大きく縮めたのは方策の側ではなく、実機データから学習したアクチュエータのモデルだった。ドメインランダム化の幅も、測れる力学を測ってから決めるほうが狭くできる。