In Silico

シミュレーション・制御・実機

フィジカルAIの課題とは？ロボットの学習データが足りない理由

2026/7/4 （更新: 2026/10/11）

🤖 AIを使用して執筆

  • フィジカルAI
  • ロボティクス
  • 基盤モデル
  • RT-1
  • DROID
  • Open X-Embodiment
  • π0
  • FineWeb
  • ALOHA
  • Ego4D
  • UMI
  • MimicGen
  • LAPA
  • GR00T N1
  • LIBERO-PRO
  • スケール則
  • 遠隔操作
  • 軌道データ
  • embodiment
  • ドメインランダム化
  • 事前学習
  • 微調整
  • 転移
  • Common Crawl
  • 一人称映像
  • シミュレータ
目次
背景・問い・要点
背景

大量のデータで基盤モデルを訓練すれば、言語モデルと同じように汎用ロボットも一気に立ち上がる、という見通しをよく聞く。ロボティクスにも同じ瞬間が来る、という話だ。

言語モデルの側には、人間の活動の副産物としてWebに溜まった文章があった。ほぼ無料で、桁違いに大きく、すでにデジタル化されている。ロボットが物を掴んで動かす軌道データには、それに当たる蓄積が無い。

本稿は、Webテキストのコーパス FineWeb と、ロボットの収集記録（RT-1・DROID・π0 ほか）の数字を例に取る。

問い

フィジカルAIの立ち上がりを阻んでいるのは、モデルの大きさだけなのか。学習データの供給はどれだけ細く、どの経路なら太くなりうるのか。

要点

Webのテキストは既存のクロールを濾すだけで15兆トークンに達したが、ロボットの操作データは50人がかりで成功試行350時間ぶんというように、その多くを人が付きっきりで1試行ずつ生む。ボトルネックはモデルの規模だけでなく、データの蛇口（安く大量にデータが流れ込む供給源）にもある。 新しい蛇口の候補は人間の動作、シミュレーション、機体をまたぐ表現の三つだが、報告された効果はどれもまだ限定的だ。開いたかどうかは、新タスク適応に要るデータ量が桁で落ちるか、機体をまたぐ転移が既定になるか、事前学習だけで実機の成功率が動くかで判定できる。

モデル・例示

1万試行ぶんのデータを、二つの水源で数える

※ この節の数値は説明のための仮定で、測定値ではありません。

学習用のデータを1万件ぶん用意する場面を、二つの水源で比べる。

一つ目の水源は、すでに溜まっている文章の山である。1万件の文書はもう存在していて、要るのは選り分ける計算だけだ。2万件に増やしたければ、選り分ける範囲を広げればよい。人の手間は件数に応じて増えない。

二つ目の水源は、ロボットに物を掴ませる試行である。1試行に30秒、物を元へ戻すリセットや操作のやり直しを含めて1分かかるとする。1人が付きっきりで1時間に集められるのは60試行で、1万試行には約170人時が要る。2万試行なら約330人時で、件数を倍にすれば人の時間も倍になる。成功した試行だけを数えるなら、失敗に使った時間は勘定の外でさらに積み上がる。集めたデータが別の機体にそのまま移らないなら、機体を替えるたびに約170人時から始め直しになる。

装置を半額にしても、この人時は1時間も減らない。集まるデータの量を決めているのは装置の値段ではなく、1試行ごとに張り付く人の時間である。

GPTを作ったのはモデルだけではなく、蛇口だった

GPTを可能にしたのは、Transformerの賢さだけではない。インターネットという、ほぼ無料で、桁違いに大きく、すでにデジタル化された「データの蛇口」があったことが本質だ。スケール則は、言語モデルの性能がモデル規模・データ量・計算量に対して滑らかに向上するという実測則である1。この則が効いたのは、スケールさせる燃料がタダ同然で手に入ったからだ。どれくらい「タダ同然」かは、公開コーパスの作られ方に表れている。Hugging FaceのFineWebは、既存のWebクロール（Common Crawl）96回分のスナップショットを濾過して、15兆トークンの学習コーパスを取り出した2。この15兆トークンのために、誰も新しくデータを「収集」していない。人類が何十年もWebに垂れ流してきた文章・コード・画像という活動の副産物が、すでにそこに溜まっていた。

物理の世界には、この蛇口がない。ロボットが「物を掴んで動かす」軌道データは、ネット上に転がっていない。誰かが実機を動かし、1試行ずつ集めるしかない3。その多くは人の遠隔操作によるが、強化学習エージェントに集めさせた例3や、少数の実演から実機で自動生成する例4もある。しかも学習に載るのは成功した試行で、失敗した試行は集めても数に入らず5、リセットや操作ミスに溶けた実時間はそもそもデータにならない6。しかも集めたデータの大半は、別の機体・別のグリッパー・別のカメラ位置にはそのままでは移しにくい。embodimentが変われば分布が変わるからだ。RT-1の著者らは、別機体（Kuka）のデータだけで学習した方策を自機体で走らせると成功率0%だったと報告している3。ただし同じ論文は、そのデータを自機体のデータに混ぜると bin-picking の成功率が22%から39%へ上がったとも報告している3。機体をまたいだ転移自体は実証されつつあるが、いまのところ限定的だ7。テキストの「次トークン予測」のような、機体をまたいで直接共有できる普遍的なインターフェースは、まだ存在しない。

蛇口の細さは、数字に出る

この非対称は印象論ではなく、実際の収集記録で確かめられる。RT-1の訓練データは、13台のロボットが約17か月かけて遠隔操作で集めた約13万デモだ3。多機関連携のDROIDでは、北米・アジア・欧州にまたがる50人の収集者が12か月かけて、76,000軌道の操作データを564シーン・86タスクで集めた。時間にして350時間分である5。50人がかりで、350時間。しかもこの350時間は成功した試行だけの合計だ。原典は、別に約16,000の試行を「失敗」と記録したうえで、公開データには含めるが350時間には数えていないと書いている5。一方のテキストは、既存クロールを濾すだけで15兆トークンである2。トークンと時間は単位が違うから、この二つを割り算しても意味のある倍率は出ない。濾過そのものが無料なわけではない。原典は、できあがった15兆トークン全体に教育性の分類器を1回通して部分集合(FineWeb-Edu)を切り出す追加工程だけで、6,000 H100 GPU時間を要したと書いている2。ただしそこに張り付くのはGPUの時間であって、人間の実時間ではない。並べて見えるのは量の差ではなく集まり方の差である。片方は人類の活動の副産物として勝手に溜まり、もう片方は、その多くを人が目的を持って付きっきりで生む。100台の実機を使うAgiBot Worldも、100万軌道超・2,976.4時間を熟練の遠隔操作者が集めたと自ら報告しており8、後者の側にある。

収集ハードの低価格化は進んでいる。スタンフォードらのALOHAは、両腕の遠隔操作システムを約2万ドルで組めることを示した6。著者らの言い方では、産業用アーム1本と同程度である。だが同じ報告は、もう一つの数字も示している。1タスクの学習に使ったのは50〜100回の人間の実演、データにして各タスク10〜20分ぶんで、それで6つの精密タスクを学習できた6。ただし成功率はタスクによって違う。著者らが要旨で例に挙げたカップの蓋開けとバッテリ挿入は84〜96%だが、最も難しいベルクロ通しは20%にとどまる。少ないデモで学べること自体は朗報だ。それでも、その10〜20分ぶんのデータを生むのに、リセットや操作ミスを含めて人間は30〜60分張り付いている。装置が安くなっても、1試行ごとに人間の実時間が張り付く構造は変わらない。

ボトルネックはパラメータ数だけではない

だからボトルネックはパラメータ数だけではなく、(1) データの量と多様性、(2) sim-to-realのギャップにもある。シミュレータは無限にデータを生むが、接触・摩擦・変形・センサノイズといった現実の細部を取りこぼす。取りこぼしの大きさは、シミュレータの中だけでは分からない。同じタスクを実機でも走らせて、初めて数字になる。埋めるには見えの側のドメインランダム化や、力学そのものを実機で測り直す手当て・実機での微調整が要り9、結局また高価な実データに戻ってくる。RT-XやOpen X-Embodimentのような「データを持ち寄る」試みは、22種の機体・527スキル・16万タスクを21機関で統合した。方向としては正しい。規模については、Open X-Embodiment の論文自身が、それ以前の最大級の収集でもロボットのデータセットは規模と多様性で vision（5-18M）や NLP（1.5B-4.5B）のベンチマーク用データセットの一部にとどまると書いている。Open X-Embodiment がまとめたのは100万超の実機軌道である7。一方で同じ原典は、モデルの容量も効くと報告している。データの豊富な領域では RT-1-X がその機体のデータだけで訓練した RT-1 に及ばず、著者らはこれを underfitting と読む。55B と 5B のモデルを比べて、容量が大きいほどロボットのデータセットをまたぐ転移が進むとも書いている7。

π0の実測では、タスクごとに5〜100時間を積む

OXE を学習に取り込んだ別系統の取り組みも、この蛇口の細さを裏付けている。Physical Intelligence社の汎用ロボット方策 π0(パイゼロ)は、7構成の自社ロボットプラットフォーム(単腕・双腕・移動式)を主軸に、Open X-Embodiment を含む公開データを、学習混合のタイムステップ数で9.1%として組み合わせた汎用基盤モデルだ。自社で集めたぶんの大きさは、論文自身が書いている。事前学習に使った器用操作データは68タスク・約10,000時間あり、これに OXE などを足した混合が、著者らの知る限りロボット操作モデルに使われた事前学習混合として史上最大だという10。50人がかりで集めたDROIDの350時間と並べると、汎用方策を1本作るために、企業はその29倍近くを自前で掘っていたことになる。著者ら自身の報告によれば、下流タスクへの特化に使ったデータ量は、最も単純なタスクで5時間、最も複雑なもので100時間以上と幅がある10。これは「新タスクに最低5時間要る」という床ではない。同じ論文は、微調整データを1・5・10時間と振った比較も載せ、「一部の易しいタスクは少量のデータでも学べる」と書いている。ただしタスクによる差が大きく、少量側で足りるのは一部にとどまる10。それでも、テキストのファインチューニングが数行のプロンプトや無料に近いAPI呼び出しで済むのとは、コストの桁が違う。しかも、その数時間から百時間はロボット・人手・撮影環境を用意して初めて集まる時間であって、待っていれば勝手に増えるものではない。ネットに溜まったテキストとは、集まり方の性質そのものが違う。

候補の蛇口は、人間の動作、シミュレーション、転移表現の三つだ

汎用ロボットが一気に立ち上がるとすれば、それは新しい蛇口（データ供給源）が得られたときだ。候補の経路は三つある。

一つ目は、人間の日常動作から汲む経路。 人間の一人称映像は、動員できる人数の桁が違う。Ego4Dは、931人の装着者が74か所・9か国で撮った3,670時間の日常生活映像を、2年がかりで集めた11。ロボット側のDROIDの「50人で350時間」5に対し、総量では10倍だ。ただし「2年」はプロジェクト全体の期間であって、装着者ひとりの従事期間ではない。原典は参加者が「一度に1〜10時間」カメラを着けたと書き、Bristol拠点の記録では録画期間2週間・一人平均3.0時間である11。一人あたりの総量で並べると Ego4D は931人で3,670時間＝約3.9時間/人、DROID は50人で350時間＝7.0時間/人（失敗ぶんを数えていないので下限だ）で、同じ桁だ。総量の10倍を生んでいるのは一人あたりの速さではなく、ロボットが要らないぶん装着者を931人まで増やせたことのほうだ。そしてこの映像には、関節への指令や力の情報といった、ロボットが真似るための行動信号が入っていない。全編にナレーションが付き、一部にIMU(836時間)や視線(45時間、2拠点のみ)も付いてはいるが、いずれも関節指令や力に翻訳できる信号ではない。

UMIのように、ロボット本体を使わず手持ちグリッパで人間の実演から操作データを直接集め、実機ポリシーへ転移させる経路が、この穴を埋めにいく12。原典は3人が12人時で1,400実演を30か所から集め、未見の2環境で成功率71.7%を報告している12。同じ事前学習済みの視覚エンコーダを使い、研究室の1環境で集めたデータだけで学習した方策は、同じ未見の環境で成功率0%だった12。ただし収集には SLAM が効く程度のテクスチャが要り、実演の速さは素手に及ばないと原典自身が書いている12。

映像のほうから行動を推定して学ぶ経路もある。LAPA は、画像フレームの間の潜在行動（latent action）を離散的に学ばせ、それを予測するようにモデルを事前学習してから、少量のロボットデータで実際の行動へ対応づける13。人間が日用品を扱う映像22万本だけで事前学習した版は、Franka 実機の3タスクで同じ実機データ（各タスク150軌道）で微調整したとき、平均成功率を事前学習なしの21.2%から34.0%へ上げたと報告している13。

二つ目は、シミュレーションで増やす経路。 増幅の技術は実在する。MimicGenは、約200件の人間デモを種に、シーン構成・物体・アームを変えながら18タスク・5万件超のデモを自動合成した4。ただしその18タスクのうち16はシミュレータ上のもので、5万件超のほぼ全部がシミュレーション側で生まれている。同じ手法は実機でも動いており、10件の実演を種にStackで200件・Coffeeで100件を生成している。ただし生成の成功率は82.3%(243試行)と52.1%(192試行)で、実機側では結局また試行の実時間が要る4。つまりこの経路はデータを増やすが、出どころが現実の物理そのものではないという留保を引き継ぐ。接触や摩擦の細部のズレは残り、見えの側のドメインランダム化9では届かないぶんを、実機での測り直しや微調整で埋める作業に戻ってくる。物理シミュレータを使わず、動画生成モデルで軌道を合成する試みもある。NVIDIA の GR00T N1 は、実機の遠隔操作データの1割で調整した動画生成モデルから作った軌道を学習に足すと、人型ロボット実機の8タスク平均で成功率が約5.8ポイント上がったと報告する。ただし著者ら自身が予備的な結果と位置づけており、方策はその1割の実機データと併せて学習している14。著者らは限界の節で、動画生成を含む合成手法には、物理法則に従いつつ多様なデータを作る点でまだ課題があると書いている14。

三つ目は、embodimentを越えて転移する表現の確立。 機体Aで集めたデータが機体Bの学習にそのまま効くなら、機体ごとに分断された細い流れを一本にまとめられる。Open X-Embodimentの著者らは機体をまたぐ正の転移を報告している。データの少ない5領域では、他機体のデータを混ぜた方策の平均成功率が、その機体のデータだけで学習した方策より50%高かった。別の機体のデータにしか無いスキルの成功率は、27.3%から75.8%に上がった7。ただし転移を測った実験の学習混合に載ったのは22種のうち9機体で、新しい機体への汎化は未検証だと著者ら自身が書いている7。テキストの「次トークン予測」に相当する共通インターフェースの候補は、まだ定まっていない。

そもそも「汎化した」と言えるかの基準も揺れている。標準ベンチ LIBERO で90%超を出すモデルが、物体の初期位置をずらすだけで0.0%まで落ちたという監査がある15。位置ずらしでは pi0.5 だけが例外で、libero-goal で38.0%を残した。既知の動作を組み替える試験でも0付近まで落ちるが、後続の監査によれば、この公開実装は指示文を書き換え後の課題定義ではなく元のファイル名から作っていた。方策は「コンロをつけろ」と指示されたまま、消したかどうかで採点されていたことになる。指示文を直すと、pi0.5 の組み替えの3区分のうち1つは0.4%から53.2%に上がったが、残る2区分は10.6%と20.0%にとどまった16。LIBERO-PRO では、指示を言い換えても成功率はほとんど落ちない。ただし言い換えた指示も同じ読み込み経路を通るので、この数だけでは言い換えへの強さは示せない。直した経路でも、pi0.5 は言い換えの区分で96.4%と98.8%を保った16。物体そのものの差し替えにも、初版が測った3モデルは4スイート中3スイートで動じなかった。著者らは、物体や指示を変えても落ちないことのほうを頑健さではなく、動作系列を丸暗記しているがゆえの見せかけだと読む。ただし改訂版の主要結果の図には6モデルが並んでおり、あとから加わった3本は物体を差し替えると libero-goal で58〜68%まで落ちる。いずれも特定ベンチ上の監査であって、実世界での能力の否定ではない15。

蛇口が開いたと言える条件は、観測可能な三つの信号だ

この記事は、ボトルネックがモデルサイズだけでなく、データの蛇口にもあると考える。これを反証可能な主張として置いておきたい。次の信号が観測されたら、蛇口は開き始めたと判断してよい。

逆に、これらが観測されないまま数年が過ぎ、依然としてタスクごとに数十時間の実機収集が要るなら、それは少なくとも現行の路線では、モデルの大型化だけでは解けなかった制約だ、ということになる。

フィジカルAIの進歩は、賢いアーキテクチャの発明だけでなく、「データの蛇口を新しく掘る」作業にもかかっている。上の三つの経路は、どれもその作業だ。モデルを大きくすれば勝手に解ける、という話ではない。

出典16件

  1. Kaplan ほか「Scaling Laws for Neural Language Models」OpenAI, 2020. https://arxiv.org/abs/2001.08361 — 性能は規模・データ量・計算量のべき乗則で滑らかに伸びるとし、モデルを大きくする側に寄せた。データを等しく増やせとしたのは Chinchilla（Hoffmann ほか, 2022）。 https://arxiv.org/abs/2203.15556 ↩

  2. Penedo ほか「The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale」NeurIPS 2024 D&B. https://arxiv.org/abs/2406.17557 — Common Crawl 96回分を濾過して15兆トークンの公開コーパスを構築。 ↩ ↩2 ↩3

  3. Brohan ほか「RT-1: Robotics Transformer for Real-World Control at Scale」Google, 2022. https://arxiv.org/abs/2212.06817 — 13台が約17か月の遠隔操作で約13万デモを収集。強化学習で集めた Kuka のデータを混ぜると bin-picking は22%→39%。 ↩ ↩2 ↩3 ↩4 ↩5

  4. Mandlekar ほか「MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations」CoRL 2023. https://arxiv.org/abs/2310.17596 — 約200デモから5万件超を合成（大半はシミュレータ）。実機でも生成。 ↩ ↩2 ↩3

  5. Khazatsky ほか「DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset」2024. https://arxiv.org/abs/2403.12945 — 50人・12か月で76k軌道（350時間）・564シーン・86タスク。約16kの失敗試行は公開するが数に入れない。 ↩ ↩2 ↩3 ↩4

  6. Zhao ほか「Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware」2023. https://arxiv.org/abs/2304.13705 — 約2万ドルの両腕遠隔操作 ALOHA で、タスクあたり50〜100デモから6タスクを学習。成功率は20〜96%。 ↩ ↩2 ↩3

  7. Open X-Embodiment Collaboration「Open X-Embodiment: Robotic Learning Datasets and RT-X Models」2023. https://arxiv.org/abs/2310.08864 — 22機体・21機関の統合。転移の実験は9機体で、新しい機体への汎化は未検証と自ら書く。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  8. Team AgiBot-World「AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems」IROS 2025. https://arxiv.org/abs/2503.06669 — 実機100台・約2,976時間と自己申告。 https://doi.org/10.1109/IROS60139.2025.11247088 ↩

  9. Tobin ほか「Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World」2017. https://arxiv.org/abs/1703.06907 — 振るのは見えで、力学を合わせる系の同定は手間がかかり誤りやすいと書く。接触の多い操作は今後の課題とする。 ↩ ↩2

  10. Physical Intelligence「π0: A Vision-Language-Action Flow Model for General Robot Control」RSS 2025. https://arxiv.org/abs/2410.24164 — 7構成・68タスク・約1万時間に公開データを混ぜて事前学習。下流の特化は5〜100時間超。 ↩ ↩2 ↩3 ↩4

  11. Grauman ほか「Ego4D: Around the World in 3,000 Hours of Egocentric Video」CVPR 2022. https://arxiv.org/abs/2110.07058 — 931人・74か所・9か国の一人称映像3,670時間。ロボットの行動信号は含まない。 ↩ ↩2

  12. Chi ほか「Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots」2024. https://arxiv.org/abs/2402.10329 — 3人が12人時で1,400実演、未見2環境で71.7%。 ↩ ↩2 ↩3 ↩4

  13. Ye ほか「Latent Action Pretraining from Videos」ICLR 2025. https://arxiv.org/abs/2410.11758 — Franka 実機3タスクの平均成功率は、事前学習なし21.2%、人間映像22万本で事前学習して34.0%。 ↩ ↩2 ↩3

  14. NVIDIA「GR00T N1: An Open Foundation Model for Generalist Humanoid Robots」2025. https://arxiv.org/abs/2503.14734 — 実機8タスクで動画生成の軌道を足すと平均成功率33.78%→39.63%。実機データ10%の条件で、著者らは予備的な結果とする。 ↩ ↩2

  15. Zhou ほか「LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization」arXiv, 2025. https://arxiv.org/abs/2510.03827 — v1 と v2（2026年5月改訂）で載せる数が違う。 ↩ ↩2

  16. Chen ほか「Faster and Better? Benchmark Bugs and Design Limitations Distort the Evaluation of Vision-Language-Action Acceleration」arXiv, 2026. https://arxiv.org/abs/2609.37771 — 指示文の不具合を報告（査読前）。 ↩ ↩2

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。