AI・信頼性・評価

ロボット模倣学習でデータの質は何で決まる？2つの基準の違い

2026/8/31 （更新: 2026/10/10）

🤖 AIを使用して執筆

他ロボットのデータを足すと、できる作業が増える

実演を真似るように方策を学ぶ行動クローニング（behaviour cloning）は、模倣学習の基本形だ。人手のデモを教師データとして、状態から動作への写像を直接学習する。学習データの外側で性能が崩れやすいという弱点は、昔から分かっている。だから素朴な対策は、データを増やすことだった。

その勝ち筋を最もはっきり示したのが Open X-Embodiment だ。34の研究室が持ち寄った60種の既存ロボットデータセットを、22種のロボット構成・527種のスキル・160,266件の課題にわたって共通形式に変換し、一つに束ねた³。このうち9身体ぶんを混ぜて学習した高容量モデル RT-2-X は、ほかのロボットのデータセットには存在するが、評価対象のロボット自身の学習データには含まれていない作業について、そのロボット単体のデータだけで学んだ RT-2 よりおよそ3倍の性能を示した³。ただし原典は、この利得を雑多さ一般ではなく特定のデータセットに帰している。評価課題は Bridge にあって Google Robot に無いスキルとして定義されており、Bridge を訓練から抜くと成功率は75.8%から42.8%へ落ちる³。著者らは、この結果は「WidowX のデータからの転移が追加スキルの原因かもしれない」ことを示唆する、と書いている³。この3倍は、二つある評価のうち Emergent Skills 側の値である。もう一方の、未知の物体・背景・環境への汎化の評価では、RT-2-X 61% と RT-2 62% で互角だと原典は書いている³。データの少ない5領域のうち4領域では、他ロボットのデータと併せて学習したモデルが、その領域専用に作られた元の手法を上回った。一方、データが潤沢な領域では、混合データで学習した小さいほうのモデル RT-1-X は、その身体のデータだけで学んだ RT-1 を3つの評価すべてで下回った。大きいほうの RT-2-X は、一つの評価で RT-1 を10ポイント上回り、残る二つでは同率か1ポイント下だった³。原典の本文はこれを、容量の大きいモデルなら潤沢な領域でも混合で伸びうる兆しと読んでいる³。

重みは選ばなくても最適化できる

もう一つの正の証拠は、どのデータをどれだけ使うかを学習で決める方向から来る。Re-Mix は、あるデータ配分のもとで最悪の下流成績を最大化するように配分を選ぶDRO（distributionally robust optimization、分布に関して頑健な最適化）を使い、早期打ち切り・行動の正規化・離散化というロボット学習特有の工夫を組み込んだ²。Open X-Embodiment のデータで実験した結果、評価課題の平均成功率は、均等配分が42%、RT-X で使われた人手選定の配分が48%、Re-Mix が80%だった²。差はそれぞれ38ポイントと32ポイントである²。

この結果が示すのは、質を上げる手段はデータを捨てることだけではないという点だ。ただし、データを全量使う設定では、重みの差が出なかった例もある。Bridge V2 の場面ごとの重みを全量のまま付け直しても、均等配分との差は出なかった。原典はこれを、全量があればモデルがどの場面にも合わせられるので重みの選び方が効きにくい、と推測している²。

原典は、同じ重みでデータを25%まで削る実験も行っている。このとき Re-Mix の重みは Kuka データセットを12%しか残さず、人手の重みは24%を残した。原典によれば、Kuka は性能の低い学習済み方策が集めたデータである²。データを削ると、重みの差は広がる。Re-Mix の重みで25%まで削っても平均成功率は80%を保ったが、人手の重みで同じだけ削ると48%から33%へ落ちた。均等配分は42%から38%だった。Bridge V2 でも、25%まで削る設定では Re-Mix の重みが比べた手法を上回った²。学習した重みは、配合にも削除にも使える。

RINSE はなめらかさでふるいにかける

RINSE（Ranking and INdexing Smooth Examples）は、軌道のなめらかさでデモの質を数値化する⁴。方策のアーキテクチャに依存せず、軌道データだけを見て動く。実演に点数を付ける方法には、学習を通して評価するもの（影響関数を使う CUPID、相互情報量を推定する DemInf）もあるが、原典によれば、学習を回すかデータ全体にわたる重い計算が要る⁴。RINSE はそれを要しない側に立つ。根拠に置くのは運動制御理論で、熟練した動作はなめらかであるという知見に立つ⁴。指標は、周波数領域での規則性を測るSAL（Spectral Arc Length）と、接触の前後の境界情報も使いながら幾何学的なずれを空間的に見るTED（Trajectory-Envelope Distance）の二つである⁴。また RINSE は、課題に成功した実演をあらかじめ絞ったあとの集合を想定している⁴。

原典が報告する結果は四つの異なる設定にまたがる。RoboMimic の Transport（双腕で自由空間の動きが多い課題）では、SAL でふるいにかけた300本中50本が、全データより16ポイント高い成功率を出した。ただし同じ表でも結果は揃わない。Square では、複数の操作者による300本から選んだ50本（SAL 72・TED 75）が全データの76を下回り、「better」と札の付いた100本から選んだ50本（どちらも82）は全データの78を上回る。Tool Hang では SAL 選別が71で全データの63を上回り、TED 選別は58で下回る。原典は二つの指標を補い合うものとし、SAL は自由空間の揺れの多い課題、TED は精密な接触の課題に向くと書いている。実機の操作課題 Push Block では、TED でふるいにかけた100本（全200本の半分）が成功率 88% を出し、全データの 68% より20ポイント高かった。ただし、より小さくきれいな Pick & Place（80本）では TED 選別は全データと同じ 76% で、SAL 選別は 68% と下回っている。実機の2課題では同じ本数のランダムな部分集合とも比べており、Push Block のランダムな100本は平均59%で全データより低く、Pick & Place のランダムな40本も55%にとどまった。原典はこれを、効いたのは本数ではなく順位だという根拠に置いている⁴。検索型の模倣学習手法 STRAP に TED の再ランキングを組み込むと、LIBERO-10 での平均成功率が5.6ポイント改善した（SAL では4.4ポイント）。ただし原典は、課題ごとの結果はまちまちで、純粋な SDTW 検索より退行する課題もあると断っている⁴。RoboMimic の16ポイント、実機の20ポイント、LIBERO-10 の5.6ポイントは測定条件が異なるため、互いに足し引きしたり移し替えたりはできない。

四つ目として、Re-Mix がデータから学習した領域配分と、RINSE のスコアを重みとして組み込んで Re-Mix を走らせた配分は、順位相関でρ≥0.89と強く一致したという⁴。つまり、RINSE の重みを足しても Re-Mix が学ぶ配分の順位はほとんど動かなかった。最大領域 toto の重みは Z-score 正規化で 82.6% から 66.5%（TED）・77.6%（SAL）へ動くが、首位は変わらず、順位相関は 0.89 以上を保った。著者らはこれを、学習を一切回さずに計算したスコアが「学習に効くと分かっている領域品質の信号を回収する」証拠と位置づけている⁴。対象は Open X-Embodiment の7領域で、どの変種も重みを toto に集中させている⁴。著者らは、なめらかさによる選別が保持データの条件付き行動分散を下げうるとし、その効果はロボットが一度に複数ステップ分の動作をまとめて出力するaction chunking（行動チャンク化）や、誤差が積み重なる現象によって増幅されうると述べている⁴。RINSE が Open X-Embodiment で試したのは実演を削らずに重みへ組み込む形で、選別したら何が落ちるかは報告していない⁴。

STAIR は、うまい実演では決定的な瞬間が短くなると指摘する

RINSE が技能の低い実演をふるい落とすのに対し、STAIR が見るのは技能の高い側である。独立した別の研究グループが示したのは、効率よく巧みにこなした実演が、精密な操作を教える教材としてはむしろ弱くなりうるという指摘である。STAIR が比べているのは、位置合わせの区間で速度を落とすかどうかである。軌道のなめらかさを指標として測ってはいない¹。熟練した遠隔操作（teleoperation）のオペレーターは、対象物に触れて位置を合わせる決定的な瞬間を、ごく短い時間の中に圧縮する、と STAIR の著者らは指摘する。その結果、方策の学習データは自由空間での冗長な動きに偏り、成否を分ける精密な局面での手がかりが薄くなる¹。

STAIR（Spatio-Temporal feature As an Interface for Robot learning）は、この短い決定的な区間の動きを、密で動きに敏感な教師信号へ変換する手法だ¹。改訂版（v2, 2026年7月15日）の Table 2 では、効率のよい実演だけで学習させた場合の成功率が44.4%で、STAIR を適用すると54.4%へ上がる。位置合わせでわざと速度を落として撮った実演で学習した場合の56.7%に近い¹。著者らはこれを、ロボット学習データは人間にとっての効率だけでなく、機械が学べるかどうかという観点でも設計され直す必要がある、という主張として位置づけている。

STAIR は、撮り直し（位置合わせで速度を落とした収集）と、既存のコマの再重み付けを、位置合わせに割くコマ数を揃えて比べてもいる。勝ったのは撮り直しのほうで、著者らはその差を「重みの効果ではなくカバレッジの効果」と説明する¹。軸を外した接近と復帰の状態が新しく入るからで、同じコマを再生し直しても作れない¹。

本稿は、二つの「良さ」を同じ軸にないと読む

RINSE と STAIR を、単純な対立として並べるのは誤りだ。RINSE が退けるのは、動きが乱れ、誤りを含み、技能が低いデモである。なめらかさは、熟練者と未熟な操作者を分ける物差しとしては働く。STAIR が指摘するのは、その先の話だ。熟練した操作者は位置合わせと復帰の決定的な瞬間を短い時間に圧縮するので、精密な局面の教師信号が薄くなる。

つまり、なめらかさは悪いデモを退ける実用的なフィルタとして機能しうるが、それは「教える力」と同じ軸ではない。熟練した実演の集団の内側では、この二つの軸は離れうる。なめらかであることと、決定的な瞬間を厚く教えていることは、両立するとは限らない。RINSE の著者ら自身も、限界として「なめらかさは品質にとって必要だが十分ではない。なめらかでありながら準最適な軌道は存在しうる」と書いている⁴。同じ限界の段で、著者らは RINSE を状態の網羅度を測る指標と組み合わせうると書き添えている⁴。RINSE は関連研究として、模倣学習のデータの質を行動の一貫性と状態の多様性という二つの軸で定式化し、二つが独立に方策の性能に効くと示した研究も挙げている⁴。また TED の位相分割は「課題に必要な急な動きを罰する危険を緩和はするが除去はしない」とも断っている⁴。二つの軸が離れうるという読み方は本稿のものだが、その素地は RINSE の限界の記述と STAIR の序論の両方が置いている⁴¹。STAIR は、なめらかに見える熟練の実演は模倣学習に理想的に見えるが、実際には逆だったと観察している¹。

ここで一つ、断っておくべきことがある。RINSE の16ポイント・20ポイントは、単一指標の閾値でデータを間引いて得た結果だ。だから警戒すべきなのは間引きそのものではない。警戒すべきなのは、一つの設定で効いた単一の指標を、別の設定や別の粒度へそのまま持ち込むことである。これも本稿の一般化にあたる。

実務上の帰結は明確だ。「良いデモ」は、まだ一つの定義に収束していない。だから、なめらかさのような単一の指標だけで、自分の設定で効果を確かめないまま手元のデータを機械的に間引くのは早い。RINSE と Re-Mix の間に見えたρ≥0.89という一致は、なめらかさを重みに足しても Re-Mix の配分の順位がほとんど動かないことを示すが、STAIR が突く「同じ実演の中のどの瞬間が濃く教えているか」という問いには答えない。二つの問いは別物であり、一つの指標が両方を同時に解決すると期待すべきではない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。