Physical AI

LeRobotDataset v3.0の変更点：ParquetとMP4の連結、区切りの移動

2026/9/17 （更新: 2026/10/13）

🤖 AIを使用して執筆

何が変わったか：区切りがファイル名からメタデータへ移った

v2では、エピソードを一つずつ別のファイルに収め、ファイル名そのものが区切りだった。v3.0では、状態・行動・タイムスタンプのような低次元で高頻度の信号は複数エピソード分をまとめてParquet（列指向のデータファイル形式）へ、カメラのフレームは複数エピソード分を連結してMP4へ入れ、どのエピソードが共有ファイルのどこからどこまでかは、メタデータに開始と終了の位置として書く²。設計した側は文書でこれを「エピソードの境界と参照は、ファイル名を介さずメタデータを介して解決される」と述べている²。

利用者から見た読み方は変わらない。ライブラリのAPIを通せば、エピソードは相変わらずエピソード単位で取り出せる。文書はこの分離を中心の原則として置く。「v3の中心的な原則は、ストレージ（保存の仕組み）を利用者向けAPIから切り離すことにある。データは効率よく（少数の大きなファイルとして）保存される一方、公開されるAPIはエピソード単位の直感的なアクセスを提供する」²。保存の都合と利用者の見え方を別々に決める、という設計である。同じ文書は、保存層だけをLance（別のデータ形式）に置き換えた実装をLeRobotDatasetのサブクラスとして挙げ、読み出しを速めうると書く²。v3.0を含む安定版は2025年10月にPyPIへ出ている⁴。

なぜ変わったか：エピソードの数が桁で増えた

変える理由を、開発チームは規模に置く。v2について「データセットの規模を数百万エピソードまで広げようとすると、ファイルシステムの限界にぶつかった」と述べ、連結する狙いを「データセットに含まれるファイルの数を大きく減らし、現代のファイルシステムにとってより効率がよい」と説明している⁵。設計の文書は利点として、ファイルの数が減ることで初期化が速くなり規模が大きくなったときの問題が減ることを挙げ、Hubから直接読むストリーミングも同じ版で新しくなった点に数える²。

規模の要求は、データを出す側から実際に来ている。自動運転データセットL2Dを公開するyaakは、100エピソードの最初の版から段階的に広げ、2026年9月12日時点で公開中の版は10万エピソードを収める⁶。同社とLeRobotの共著による発表記事は、最大のオープンソース自動運転データセットを目指すと書き、「ロボットAIモデルの性能は、訓練集合に含まれるエピソードの質によって上限が決まる」として、質を確かめながら段階的に公開している⁷。10万エピソード規模のデータセットはv2の1エピソード1ファイルでも配られてきたが⁸、設計側が見込むのはその先の数百万である。

何を失うか：外のツールが区切りを読めなくなる

代償は、ライブラリの内側に入らないツールから見たときに現れる。ふつうのParquet読み出しでこの形式を扱うと、同じエピソードのフレームを自分で集め直し、区切りのメタデータを相対パスから自前で読み込む作業が読む側へ移る³。土台のParquet自体は「多くのプログラミング言語と分析ツールで対応されている」形式なので⁹、読めないのは形式ではなく、区切りをメタデータに置くという規約のほうである。書く側にも変更は及び、記録の終わりを明示的に宣言する手順を負う。段階的にParquetへ書き出す変更が入り、メモリの消費は全フレーム数に比例する量からエピソードごとのフレーム数に比例する量へ減ったが、finalize()を呼ばなければファイルは不完全なまま残る¹⁰²。

この代償がどれだけ続くかは、公開の議論に記録が残っている。データ処理ライブラリDaftのGitHub上の議論に、社外の技術者がv3形式向けの読み出しを提案し、提案の中心を「DataFrameの一行がエピソード一つ分のデータに対応するようにし、あるエピソードに属するフレームのデータが散らばらないようにすること」と書いた³¹¹。Daftは議論の開始からおよそ4か月後の2026年6月に、この議論におおむね基づく読み出しを実装し、8月にはv2系のレイアウトにも対応した。実装はエピソードのメタデータを1行1エピソードで、データを1行1フレームで返す。手作業だったメタデータの読み込みとフレームの遅延取得は、ライブラリの内側へ移った¹²。議論に加わったLeRobotの開発者は、訓練はエピソードではなく単独のフレームの束で読むので、フレームの読み出しが要になると書いていた³。区切りをファイルから外した分だけ外部のツールは読み方を実装し直す必要がある。Daftの場合、形式の公開（2025年9月）から外部ライブラリの対応まで9か月ほどだった。

一方で、LeRobot形式のデータで基盤モデルを微調整する学習系には、まだv3を読まないものがある。NVIDIAのGR00Tは、多くの上流のデータセットがv2で公開されていることを理由にv2形式を使い続け、v3のデータセットはv2へ変換するよう文書で指示している。v2とv3の両方を直接読む対応は、今後の版で予定するとしている¹³。その上流では、同じデータが二つの形式で並んでいる。LeRobotの組織が配るDROIDは形式の発表より前の2025年7月からv3.0だが、1エピソード1ファイルのv2.1の版も別の名前空間に残っている⁸。Physical Intelligenceのopenpiは、v3の公開より前のlerobotのコミットに固定したままである¹⁴。

どこへ向かうか：区切りはメタデータとAPIへ

速さの面で何を得たかは、公開された計測からは決まらない。著者の一人がコメント欄で示す追補が比べるのは、v3のストリーミング版と非ストリーミング版であって、v2との比較ではない⁵。

それでも向きは一つに読める。1エピソード1ファイルのままでは数百万の規模でファイルシステムの限界に当たると設計した側は書き、連結によって負荷を扱える範囲に保つ道を選んだ⁵。データを出す側は10万エピソードをこの形で公開し、汎用の読み出しライブラリは追随した。前者の発表記事は設計側との共著だが、後者は社外の技術者の提案から始まっている。こうした動きから、大規模に配るデータは区切りをメタデータとAPIへ預ける形へ進むと本稿は見る。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。