In Silico

Physical AI

触覚基盤モデルとは何か：ロボットに触覚が要る理由と転移の壁

2026/7/17 （更新: 2026/10/11）

🤖 AIを使用して執筆

  • 触覚基盤モデル
  • Physical AI
  • ロボット
  • TouchWorld
  • H-Tac
  • TTP
  • ContactWorld
  • GelSight Mini
  • DIGIT
  • TacSL
  • LIBERO
  • RoboCasa
  • 触覚センサ
  • 世界モデル
  • 事前学習
  • 器用操作
  • 点群
  • 力場
  • 予測ホライズン
  • 校正
  • アブレーション
  • 触覚グローブ
  • MANO
  • 一人称映像
  • ゼロショット
  • 再注釈
  • 光学式
目次
背景・問い・要点
背景

ロボットが周りを見て、言葉の指示どおりに動く。ここ数年で、それはかなりのところまで来た。カメラの映像と言語モデルがあれば、どこに何があり、次に何をすればよいかは扱える。足りなくなるのは、物に触れてからだ。人は卵を持ち上げるとき、指先の感触で握る強さを絶えず直している。だがカメラは外から眺めているだけで、手の中の様子まで確かに掴めるとは限らない。コネクタを挿す、皮を剥く、布を折る。こうした接触の多い作業が、いまも器用さの難所として残っている。そこで指先に触覚センサを付け、その信号ごと学習させる報告が2026年7月に相次いだ。ただし触覚センサそのものは、まだ製品ごとに作りが違う。視覚と言語の側では、一度大きく学ばせたモデルを個別に作り直さずに別の仕事へ使い回す「基盤モデル」のやり方がすでに定着している。この一連の報告は、それを触覚で立てようとしたものだ。

問い

触覚は、視覚と同じように汎用の土台になるのか。どの作業でどれだけ伸び、別のセンサや別の条件へはどこから移らなくなるのか。肯定側と否定側、両側の一次報告で分けて測る。

要点

接触の多い作業では、触覚を入れた系が実際に成功率を上げている。だが視覚のような汎用の土台になったわけではない。触覚を前提に組み直した系は、各チーム自作の課題で二桁ポイント伸びた。一方、視覚に触覚を足すだけの比較では、上乗せが数ポイントにとどまる例も、足し方しだいで下がる例も、実機で二桁伸びた例もある。そしてセンサの設計が変われば、校正なしには移らない。 肯定側では、触覚を階層に分けて組み込んだ TouchWorld が、接触の多い器用操作の課題で、同じ課題で最も強かった既存手法に、外乱を加えても加えなくても二桁ポイントの差をつけた1。データ側では H-Tac が人の一人称映像を軸に大規模な触覚データを集め、そこから転移学習の土台 TTP を作った。ただし集めた触覚の大半は、既存データへ後から付けた再注釈である2。否定側の壁は、機種のあいだだけにあるのではない。光学設計が同じセンサどうしでさえ、物に触れる面のゲルパッドの作りとコーティング材が違うだけで信号がずれていた3。上乗せの側も、シミュレータで測ると、どの触覚表現が効くかは視覚の表し方しだいだった。画像の視点には三通りの触覚がどれも小さく上乗せになったが、物の形を点の集まりで表す視覚（点群）に足して触覚なしを上回ったのは、三通りのうち一つだけだった4。

モデル・例示

同じ「触覚で伸びた」でも、何と比べたかで伸び幅が変わる

※ この節の数値は説明のための仮定で、測定値ではありません。

コネクタを挿す作業を100回試すロボットで、触覚の効き目を二通りに数える。

一つ目の数え方では、触覚を前提に組み直した系と、別のチームが作った視覚中心の系を並べる。組み直した系が100回中60回、視覚中心の系が45回成功すれば、差は15ポイントになる。この差には、触覚のほかに、処理の分け方や学習の手順の違いもまとめて入っている。

二つ目の数え方では、一つの系から触覚の入力だけを足したり外したりする。視覚だけで100回中40回成功する系に触覚を足して44回になれば、上乗せは4ポイントである。触覚の表し方を替えて38回になれば、触覚を足したことで成績が下がったことになる。さらに別の表し方で52回になれば、同じ系でも上乗せは12ポイントまで伸びる。

60回・45回、そして40回から見た44回・38回・52回を並べ直すと、触覚の効き目の読み方が決まる。

  1. 系どうしの差は、触覚の寄与の大きさをそのまま表さない。触覚の寄与を見るには、同じ系で触覚の有無だけを変えて比べる。
  2. 同じ系に触覚を足しても、伸び幅は触覚の表し方で変わり、下がることもある。
  3. 触覚の信号はセンサごとに違うので、あるセンサで60回成功した系が、別のセンサに付け替えたあとも60回成功するとは限らない。付け替えたあとの回数は、校正してから測り直す。

なぜ、触覚が要るのか

器用な操作の難所は、たいてい目に映らないところにある。物が指の中で滑り始めているか、押しつける力が強すぎないか、接触が安定しているか。こうした状態は、カメラと言語モデルだけでは確実には読めない。TouchWorld の著者らはこの点を出発点に置く。視覚・言語は「力・すべり・接触の安定といった隠れた接触状態を確実には明かせない」1。だから触覚センサの信号を、操作のループに組み込む必要がある。

問題は、触覚をどうモデル化するかだ。触覚がいちばん要るのは、指の中で滑りや力が刻一刻と変わる瞬間で、そこではその場の速い反応がいる。一方、次に何をするかというタスクの判断は、もっと遅いテンポでよい。ところが TouchWorld の著者らによれば、多くの従来手法は、触覚をカメラ画像と同じ「たまに参照する入力の一つ」として遅い頻度でしか読まず、この速い反応と遅い判断を一つのモデルに詰め込んできた。それだと、本来は高速で回すべき接触の反応まで、遅い判断のテンポに引きずられてしまう。視覚では、大量データで事前学習して下流タスクへ転移する「基盤モデル化」が起きた。これを触覚でも起こせないか、という試みは2026年に始まったものではない。後で見る Gupta らの研究（2025年）は、センサをまたいだ少数例での微調整を狙う2024年の T3 などを比較対象に挙げている3。

伸びる：接触の多い操作

肯定側の証拠は具体的だ。ただし肯定側の2本はどちらも査読前のプレプリントで、成果を測ったベンチも各チームの自作であり、独立の再現はまだない。TouchWorld は処理を、視覚・言語によるサブタスク計画、触覚の世界モデル予測、視触覚を条件にした行動生成、高頻度の触覚残差補正の階層に分けた。これは遅い推論と速い接触反応を切り離す設計である1。結果、手順が長く接触の多い器用操作の6課題で、成功率はクリーンな条件で65.0%、人間による外乱下で53.7%。いずれも最強のベースラインを15.7ポイント・18.5ポイント上回った。もっともこの差は設計一式の差であって触覚単体の寄与ではない。著者らは部品ごとのアブレーションも報告しており、触覚入力を外すと 65.0%→43.3%（外乱下 53.7%→30.0%、Figure 5 の図中の値）と劣化が最大で、これは最強ベースラインとの差より大きい。触覚なしの TouchWorld は、Table 1 の FTP-1 の 49.3% を下回る1。

データ側からは H-Tac が攻めた。著者ら自身が、触覚を持つ既存データセットは「規模が小さく、接触の範囲が狭い」と弱点を認めている2。そこで彼らは、一人称視点の人間の映像を軸に、160時間・300超のタスク・13.5万エピソード規模の触覚-行動データを構築した。ただし内訳は重要だ。大半（約106時間・12.48万シーケンス）は ARCTIC・DexYCB・H2O といった既存の公開データセットへの再注釈である。新規に収録したのは机上作業の37.2時間・947エピソードだけで、残る17.8時間・9,563エピソードは合成データ生成基盤 InternData-A1 の既存ストリームに触覚を後付けしたものだ（原典の節題も「Tactile-Augmented」）。つまり、160時間のうち、物理的に触覚を測ったのは37.2時間にとどまる。しかも再注釈部分の接触ラベルは実測ではなく、MANOハンドメッシュ（778頂点）と物体メッシュの距離をしきい値処理して推定した二値だ2。

では、映像そのものには触覚センサがないのに、どうやって「触れた感覚」を採るのか。答えは、映像だけに頼らず三通りで触覚を補うことだ。既存の手-物体データでは、手と物体の3Dモデルがどこで触れ合ったかを形状から推定して接触の当たり所を作る。自前の机上作業の収録では、被験者に触覚グローブを着けて指の圧力を実測する。合成データ側では、生成パイプラインに軽量な触覚記録器を足して接触力と接触パッチ（位置・法線・距離・力）を書き出す。書き出すのは実測ではなくシミュレータ内部の量で、接触に至らない近傍は距離減衰の擬似接触信号に変換している。これら出所の違う信号をすべて共通の手のモデル上に射影してそろえ、触覚と行動を統一した空間で事前学習する枠組み（TTP）にまとめた2。人間の触覚から学んだ知識を、細かなロボット操作へ転移させ、頑健な汎化を示したと報告する。触覚を「基盤モデル」として扱う筋は、少なくとも自作の評価では機能している。

ただし触覚を持たない公開ベンチでは、直前の行動と現在の関節の状態の差を触覚の代わりに入れて、20を超える公表済みモデルと並べている2。最も強かった既存モデルとの差は LIBERO 平均 98.0→98.1、RoboCasa 53.9→55.1 で、著者ら自身が「同等」と書く水準にとどまる。ゼロショットで測る LIBERO-plus では 71.7→75.7 と4ポイント上回り、著者らはこれを汎化の良さと読む2。実機では、VaseWiping 片手の100%に対し PlugIn は 10〜20% と課題ごとの開きが大きい2。しかも同じ表では、事前学習を挟まず同じ VLA（π0.5）へ触覚を足しただけの条件は、9課題のうち5課題で上がり、2課題で下がり、PlugIn の2課題は 0% のまま動かない2。成功率で測る6課題の平均では 23.3%→28.3% と5ポイントの上乗せにとどまり、残りの伸びは触覚と行動を統一空間で扱う設計（事前学習なしで 46.7%）と、人のデータでの事前学習（63.3%）が分け合っている2。

だが、触覚は視覚のようには転移しない

視覚の基盤モデルが強いのは、カメラがほぼ共通だからだ。どのカメラで撮った画像も、同じ「画素の並び」に落ちる。触覚はそうではない。Gupta らが ICLR 2025 で示したのは、触覚センサ間の転移の欠如という構造的な壁だ3。センサの設計・製造のばらつきが「触覚信号の大きな違い」を生み、あるセンサで学んだモデルや知識を別のセンサへ移すことを妨げる。設計の違いを待つまでもなく、光学設計が同一でゲルパッドの異なる GelSight Mini 4個体でも、製造差とコーティング材の違いから信号の明るさと色が変わっていた3。

これは、一度学ばせたモデルを別のセンサでも使い回すという触覚基盤モデルの前提に、直接関わる。GelSight 系で集めたデータで事前学習しても、別の光学式センサではそのまま使えない。彼らの対処は、多様なセンサ設計をシミュレーションで生成して学習させ、最小限の校正で未知のセンサへゼロショット転移させることだった3。ただし、その対処が効いたと言える範囲も広くはない。学習も評価も、GelSight 系の平らなゲルパッドを持つ光学式センサにほぼ限られる。光学設計がこの系から外れる DIGIT では転移が相対的に落ちる、と著者ら自身が書いている。著者らの見立てでは、シミュレーションで作った設計の多様性の中にその設計が無かったことが原因である3。裏を返せば、そこまでしても転移しきらない。「触る」の基盤モデルは、センサが変わるたびに校正の手間がかかり、「見る」ほど手軽には汎用化しない。

これは否定側だけの見立てではない。TouchWorld の著者ら自身、限界の節で別の触覚センサや手の形状へ移すには校正・正規化と、おそらく少量の適応データが要ると書いている1。

もっとも、この壁が測られているのは光学式センサの範囲であり、肯定側の2本が主に読む触覚は圧力の配列型だ（TouchWorld は手に着ける触覚グローブ、H-Tac は人のグローブとロボットハンドの圧電抵抗の信号を共通の手モデル上の統一空間へ射影する）。配列型への一般化は今後の課題で、転移が保たれるかは追加の検証を要すると Gupta ら自身が書いており3、他方 H-Tac は実機9課題のうち2課題を視触覚（光学式）のグリッパで回している2。

効くのは、いつも・どこでも、ではない

もう一つの留保は、触覚を足せば必ず伸びるわけではない、という点だ。ContactWorld は視触覚の世界モデルで「何が効くのか」を切り分けた4。ただし土俵の主体はシミュレータだ。著者らは12課題をすべて触覚シミュレーション基盤 TacSL（Isaac Gym）上に構築した。実機の検証は、2026年9月8日の改訂版（v2）で4課題（USB挿入・クリップ外し・バルブ回し・ボール仕分け、各30試行・計360回）に広がり、向きはシミュレーションと揃った。点群のみの平均31.7%に対し、生の触覚画像を足すと45.0%、力場を足すと55.8%で、力場は4課題すべてで最良だった4。限界として著者らが挙げるのは、課題が短い目標条件付きの相互作用に偏ること、先の予測ほど成績が落ちること、そして触覚がセンサの機構・形状・校正に左右されるため別のロボットやセンサ系での検証が要ることの3点だ4。

その12課題を、12〜48ステップ先という4つの予測ホライズンとあわせて平均すると、点群による視覚だけで計画成功率32.1%、そこへ触覚の力場表現を足して36.1%で、伸びは4ポイントにとどまった。触覚なしを上回ったのは3つの触覚表現のうち力場だけで、深度（30.2%）と生の触覚画像（30.7%）は32.1%を下回っている。もっとも、その 32.1% 自体が手首視点20.7%・正面視点22.0%から点群表現へ切り替えて得た大きな伸びであり、著者らの主眼は「触覚は弱い」ではなく表現の選び方が効くという点にある。しかも触覚が効くのは主に予測を先まで伸ばしたときで、12ステップ先では52.1%→54.4%（+2.3pt）だが、48ステップ先では16.0%→20.5%（+4.5pt）と差が開く。近い先だけ見るなら、上乗せは小さい。ただし伸びは表現と視点に依存し、手首視点に力場を足した列は12ステップ先で41.4%→44.7%、48ステップ先では8.2%→8.0%と、伸びが消える（v2 の Table IV、v3 の Table VII）4。

著者らの結論は、量ではなく噛み合わせだ。効果を決めるのは、触覚という入力が「もう一つ在ること」ではなく、その表現が視覚表現を補う相互作用の情報を運ぶかどうかだった（原典の語では、v2 は cross-modal compatibility、v3 は cross-modal complementarity）4。シミュレータ上では、空間構造と時間的な連続性を併せ持つ表現が接触タスクの計画を最も良くした。改訂版の実機4課題でも、点群に生の触覚画像を足して+13.3ポイント、力場を足して+24.1ポイントと、足し方で伸び幅が2倍近く違った4。著者らはこれを、触覚を足すこと自体は有効だが伸びの大きさは触覚表現が視覚表現をどう補うかで決まる、と読む。

ただしこの改訂版の実機で試した視覚は点群だけだった。9月24日の再改訂版（v3）は別の機体での実機540回を足し、視点3通りと触覚3条件の全組み合わせを回した4。そこでは差し込みの課題で、正面視点の30回中13回の成功が圧力配列型の触覚を足すと22回に伸びた一方、点群では18回が17回で伸びず、著者らは触覚を足すことが一様には効かないと書く4。点群に力場を足した組は24回で、その全組み合わせの中で最も高かった4。同じ版の限界の節は、実機の結果が触覚の表現とセンサの機構をまだ切り分けていないと認めている4。触覚は、足せば必ず効く追加センサではなく、視覚と噛み合ったときに大きく効く補助の入力である。

出典4件

  1. Zhou ほか “TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation”（arXiv, 2026・査読前）. https://arxiv.org/abs/2607.07287 — 自作の6課題で成功率65.0%・外乱下53.7%と報告する。 ↩ ↩2 ↩3 ↩4 ↩5

  2. Zhang ほか “Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation”（arXiv, 2026・査読前）. https://arxiv.org/abs/2607.01067 — 160時間の触覚データ H-Tac と事前学習 TTP を報告する。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10

  3. Gupta ほか “Sensor-Invariant Tactile Representation”（ICLR 2025, arXiv:2502.19638）. https://arxiv.org/abs/2502.19638 — センサの設計・製造差が触覚信号を変えて転移を妨げると指摘し、光学式センサへ最小の校正で移す手法を示す。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7

  4. Zhang ほか “ContactWorld: What Representations Matter for Vision-Tactile World Models in Contact-Rich Manipulation”（arXiv, 2026・査読前）. https://arxiv.org/abs/2606.13877v3 https://arxiv.org/abs/2606.13877v2 — 数値は v2 と v3 による。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。