Physical AI

触覚基盤モデル——接触操作の向上と、センサ間転移の壁

2026/7/17 （更新: 2026/8/10）

🤖 AIが執筆しています

なぜ、触覚が要るのか

器用な操作の難所は、たいてい目に映らないところにある。物が指の中で滑り始めているか、押しつける力が強すぎないか、接触が安定しているか——こうした状態は、カメラと言語モデルだけでは確実には読めない。TouchWorld の著者らはこの点を出発点に置く。視覚・言語は「力・すべり・接触の安定といった隠れた接触状態を確実には明かせない」¹。だから触覚センサの信号を、操作のループに組み込む必要がある。

問題は、触覚をどうモデル化するかだ。触覚がいちばん要るのは、指の中で滑りや力が刻一刻と変わる瞬間で、そこではその場の速い反応がいる。一方、次に何をするかというタスクの判断は、もっと遅いテンポでよい。ところが TouchWorld の著者らによれば、多くの従来手法は、触覚をカメラ画像と同じ「たまに参照する入力の一つ」として遅い頻度でしか読まず、この速い反応と遅い判断を一つのモデルに詰め込んできた。それだと、本来は高速で回すべき接触の反応まで、遅い判断のテンポに引きずられてしまう。ここに、視覚で起きた「基盤モデル化」——大量データで事前学習し、下流タスクへ転移する——を触覚でも起こせないか、というのが2026年の主題だ。

伸びる：接触の多い操作

肯定側の証拠は具体的だ。TouchWorld は処理を階層に分けた。視覚・言語によるサブタスク計画、触覚の世界モデル予測、視触覚を条件にした行動生成、そして高頻度の触覚残差補正——遅い推論と速い接触反応を切り離した設計だ¹。結果、6つの長丁場で接触の多い器用操作タスクで、成功率はクリーンな条件で65.0%、人間による外乱下で53.7%。いずれも最強のベースラインを15.7ポイント・18.5ポイント上回った。

データ側からは H-Tac が攻めた。触覚を持つ既存データセットは「規模が小さく、接触の範囲が狭い」——著者ら自身が認める弱点だ²。そこで彼らは、一人称視点の人間の映像を軸に、160時間・300超のタスク・13.5万エピソード規模の触覚-行動データを構築した。ただし内訳は重要だ。大半（約106時間・12.48万シーケンス）は ARCTIC・DexYCB・H2O といった既存の公開データセットへの再注釈である。新規に収録したのは机上作業の37.2時間・947エピソードだけで、残る17.8時間・9,563エピソードは合成データ生成基盤 InternData-A1 の既存ストリームに触覚を後付けしたものだ（原典の節題も「Tactile-Augmented」）。∴ 160時間のうち、物理的に触覚を測ったのは37.2時間にとどまる。しかも再注釈部分の接触ラベルは実測ではなく、MANOハンドメッシュ（778頂点）と物体メッシュの距離をしきい値処理して推定した二値だ²。ここで当然の疑問が出る——映像そのものには触覚センサがないのに、どうやって「触れた感覚」を採るのか。答えは、映像だけに頼らず三通りで触覚を補うことだ。既存の手-物体データでは、手と物体の3Dモデルがどこで触れ合ったかを形状から推定して接触の当たり所を作る。自前の机上作業の収録では、被験者に触覚グローブを着けて指の圧力を実測する。合成データ側では、生成パイプラインに軽量な触覚記録器を足して接触力と接触パッチ（位置・法線・距離・力）を書き出す——実測ではなくシミュレータ内部の量で、接触に至らない近傍は距離減衰の擬似接触信号に変換している。これら出所の違う信号をすべて共通の手のモデル上に射影してそろえ、触覚と行動を統一した空間で事前学習する枠組み（TTP）にまとめた²。人間の触覚から学んだ知識を、細かなロボット操作へ転移させ、頑健な汎化を示したと報告する。触覚を「基盤モデル」として扱う筋は、少なくとも自作の評価では機能している。

だが、触覚は視覚のようには転移しない

視覚の基盤モデルが強いのは、カメラがほぼ共通だからだ。どのカメラで撮った画像も、同じ「画素の並び」に落ちる。触覚はそうではない。Gupta らが ICLR 2025 で示したのは、触覚センサ間の転移の欠如という構造的な壁だ³。センサの設計・製造のばらつきが「触覚信号の大きな違い」を生み、あるセンサで学んだモデルや知識を別のセンサへ移すことを妨げる。

これは触覚基盤モデルの夢に直接刺さる。GelSight 系で集めたデータで事前学習しても、別の光学式センサではそのまま使えない。彼らの対処は、多様なセンサ設計をシミュレーションで生成して学習させ、最小限の較正で未知のセンサへゼロショット転移させることだった³。裏を返せば、そこまでしないと転移しない——「触る」の基盤モデルは、「見る」ほど無料では汎用化しない。

効くのは、いつも・どこでも、ではない

もう一つの留保は、触覚を足せば必ず伸びるわけではない、という点だ。ContactWorld は視触覚の世界モデルで「何が効くのか」を切り分けた⁴。ただし土俵はシミュレータだ——12課題はいずれも触覚シミュレーション基盤 TacSL（Isaac Gym）上に構築されており、実機での確認はバルブ回し1課題（Franka + GelSight R1.5、各10試行）にとどまり、しかもそこでは向きが変わる。実機で最も良かったのは点群を触覚なしで使ったとき（90%）で、著者らは深度や力場の触覚表現が実機では一貫して改善しないと書き、「シミュで見られた再構成触覚の強い優位は実世界へ完全には転移しない」と明記している。物理エンジンから直接取れる量が、実機ではマーカ追跡・深度推定・力推定・較正を経て再構成されるためだ、というのが著者らの見立てだ⁴。その12課題を平均すると、点群による視覚だけで計画成功率32.1%、そこへ触覚の力場表現を足して36.1%——伸びは4ポイントにとどまった。もっとも、その 32.1% 自体が手首視点20.7%・正面視点22.0%から点群表現へ切り替えて得た大きな伸びであり、著者らの主眼は「触覚は弱い」ではなく表現の選び方が効くという点にある。しかも触覚が効くのは主に予測を先まで伸ばしたときで、12ステップ先では52.1%→54.4%（+2.3pt）だが、48ステップ先では16.0%→20.5%（+4.5pt）と差が開く。近い先だけ見るなら、上乗せは小さい。

著者らの結論は、量ではなく噛み合わせだ。効果を決めるのは「触覚をどれだけ足すか（modality scaling）」ではなく、「触覚が視覚表現とどれだけ両立するか（cross-modal representation compatibility）」だった⁴。シミュレータ上では、空間構造と時間的な連続性を併せ持つ表現が接触タスクの計画を最も良くした。そして実機で唯一はっきり効いた触覚は、生の触覚画像（TacRGB）を視覚が部分観測な条件に足したときだった——手首視点で70%→90%、正面視点で70%→80%。視覚が既に強い点群条件では、触覚を足しても伸びない⁴。触覚は魔法の追加センサではなく、視覚と整合したときに初めて効く補助線だ、というわけだ。

この報告を、どう割り引くか

肯定側の2本は、まだ査読前のプレプリントの段階にある。成果を測ったベンチも各チームの自作で、独立再現も共通ベンチでの比較もこれからだ。並ぶ数字は著者らが自分の結果を読んだものであり、確定した順位ではない。H-Tac は実機の結果を課題ごとに開示している（分布内10試行。成功率で VaseWiping 片手100%・両手90%、PickPlaceChips 80% の一方、PlugIn は 10〜20%。PaperFolding の84%だけは成功率ではなく、折り目の付いた長さが元の線の何割かという別の尺度だ）——強い課題と弱い課題の開きこそが実像で、平均だけを見ると読み違える²。TouchWorld の伸びも6タスクという限られた土俵の話だ¹。

割り引いたうえで、なお両側が食い違わない点がある。触覚は器用な操作を確かに伸ばす——ただし視覚のようにはそのまま転移せず³、上乗せは条件次第で小さい⁴。そして壁は測れていて、動いてもいる。センサ不変の表現をシミュの多様化で作る筋は前進しているし³、「足すより噛み合わせる」という設計原則も見えてきた⁴。「触覚を付けた」と言うたびに「どのセンサで・どの場面で・視覚と噛み合っているか」を問い直す——触覚は、付ければ効く装備ではない。視覚と噛み合ってこそ、活きる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。