In Silico

AI・信頼性・評価

ロボット評価の試行回数は何回必要？成功率の差を1行で検算する

2026/8/17 （更新: 2026/10/12）

🤖 AIを使用して執筆

  • ロボット評価
  • 実機評価
  • ロールアウト
  • Gemini Robotics
  • RoboChallenge
  • RoboArena
  • LingBot-VLA
  • Newcombe 法
  • Fisher 正確検定
  • 成功率
  • 試行数
  • 差の95%区間
  • p値
  • 盲検A/B
  • 初期状態の統制
  • 逐次検定
  • 部分進捗スコア
  • 多重比較補正
  • 対比較
  • 順位表
  • 実施指針
  • プレプリント
  • Large Behavior Model
  • シミュレーション
目次
背景・問い・要点
背景

ロボットが実機で物をつかみ、運び、置く作業について、論文は結果を「何回試して何回成功したか」で報告する。手法を変えたら成功率が上がった、と論文が書いていれば、読む側は改良が効いたと受け取る。数字が並んでいるので、確かめようがないとも感じる。

ところが実機の試行は、シミュレーションと違って一回ごとに手間がかかる。物を並べ直し、機械を戻し、壊れれば直す。だから試行の回数は少なくなる。少ない回数から出た割合は、見た目の印象よりも大きく揺れる。硬貨を数回投げて表が多く出たからといって、その硬貨が偏っているとは言えないのと同じことだ。

改良が効いたのか、たまたまそう出ただけなのかを、論文が報告した割合だけから区別するのは難しい。だが区別するための計算そのものは、紙の上でできるほど簡単である。必要なのは新しい統計の知識ではなく、その割合が何回の試行から出たのかを確かめる習慣のほうだ。

問い

論文が報告した成功率のうち、どこまでが改良の効果で、どこからが偶然の揺れなのか。本稿は、読者が自分で検算できる形で確かめる。

要点

実機ロボットの論文は、課題ごとの成功率を10回前後の試行で報告する（本稿が挙げた例は9〜15回で、1条件あたり50〜100回を回した2本だけが例外だ）。試行が10回だと、40ポイントの改善でも差の95%区間が0をまたぐことがある。Gemini Robotics-ER が実機で報告した 3/10 → 7/10 がその例である1。ただし、それは境目に近い例である。同じ差を試行数だけ20回へ置き直せば、成功回数のどの内訳でも0を除外する。これは論文が報告した実験ではなく、本稿が紙の上で置き直した計算である。また、試行数を増やすだけでは足りない。共有評価基盤の運用者は、同じモデル・同じ課題でも成功率が大きく振れると書き、試行数ではなく初期状態の統制という別の一手を足している2。

モデル・例示

30%対70%を、試行10回と20回で比べる

※ この節の数値は説明のための仮定で、測定値ではありません。

成功率30%の方策と70%の方策を比べる。差は40ポイントである。判定に使うのは、二つの区間が重なるかどうかではなく、差の95%区間が0を含むかである（区間は Newcombe 法、p は Fisher 正確検定の両側）。

試行10回ずつなら、成功は 3/10 と 7/10 になる。差の95%区間は [−2.9, +67.2] で0をまたぎ、p = 0.179。40ポイントの差を、この回数は支えきれない。

試行20回ずつに増やすと、成功は 6/20 と 14/20 になる。差の95%区間は [+9.0, +61.9]、p = 0.026 で0を除外する。20回で40ポイント差になる内訳は 0/20 対 8/20 から 12/20 対 20/20 までの13通りあり、区間の下限が最も0に近いのがこの 6/20 対 14/20 である。13通りのどれでも、差の区間は0を除外する。

差の大きさが同じでも、試行数が10から20に変わるだけで、言えることが変わる。揺れの幅は試行数の平方根に反比例する。正規近似で見ると、10回ずつでは幅が約0.40で差の0.40と並び、20回ずつでは1/√2倍の約0.28に縮んで差を下回る。分かれ目は10と20のあいだにある。

1行でできる検算

必要なのは、成功回数と試行回数だけだ。ふたつの成功率を比べるとき、見るべきはそれぞれの区間が重なるかではなく、差の区間が0を含むかである。前者で判定するのは誤りで、実際に食い違う。

手で当てるなら、差 d と、正規近似の幅 1.96√(p₁(1−p₁)/n₁ + p₀(1−p₀)/n₀) を比べればよい。p₁・p₀ は二つの成功率、n₁・n₀ はそれぞれの試行数で、幅が d より大きければ差の区間は0をまたぐ。3/10 対 7/10 なら幅は0.402で、差の0.40をわずかに上回る。本稿が挙げる5つの比較（実機の3課題、20回への置き直し、シミュレーション側）では、この1行と Newcombe 法の判定はすべて一致する。ただし成功率が0%や100%に近いと、この近似は幅を狭く出しすぎるので、本稿の区間には Newcombe 法を使う。

逆に解けば、区間が0に届かなくなる試行数の目安は1方策あたり 1.96²×(p₁(1−p₁)+p₀(1−p₀))/d² で、30%対70%なら約10回になる。これは区間の下限がちょうど0に届く境目であり、差を確実に立たせるにはそれより多くの試行が要る。観測された差ではなく真の成功率が30%と70%の場合、20回ずつ回して差の区間が0を除外するのは、Newcombe 法で判定すると約7割の実験で、残りの約3割では0をまたぐ。8割の確率で立たせる目安は、上の式の1.96²を(1.96+0.84)²に替えれば出て、30%対70%なら1方策あたり約21回になる（Newcombe 法で数え直すと23回。どちらも本稿の計算）。

Gemini Robotics 論文の実機 Table 6（Gemini Robotics-ER、バナナの受け渡し、N=10）で見てみる。ゼロショットが 3/10＝30%、文脈内学習が 7/10＝70%。差は +40ポイントで、見出しに書ける大きさだ。だが差の95%区間は [−2.9, +67.2] で、0をまたぐ。Fisher の p は 0.179。10回のうち何回成功したかという情報は、40ポイントの差を支えるには足りない。（区間は Newcombe 法による差の95%区間、p は Fisher 正確検定の両側で、どちらも論文が報告した成功回数と試行数から本稿が計算した1。）

同じ表の拭き取り課題（N=9、44% → 67%）も同じで、+22.2ポイントに対し区間は [−20.3, +55.5]（p = 0.637）。

ただし表の3課題目は逆だ。 ドレス折りたたみ（N=9、0% → 56%）は差が +55.6ポイントあり、区間 [+14.0, +81.1]（p = 0.029）で0を除外する。試行数が同じでも、効果量が十分大きければ立つ。 問題は「N が小さいと何も言えない」ことではなく、N が小さいほど、言えるようになるまでに必要な差が大きくなることだ。

しかもこのドレス折りたたみは、個別の区間は [26.7, 81.1] と [0.0, 29.9] でわずかに重なるのに、差の区間は0を除外する。「区間が重なっているから差はない」と読むと、この結果を取りこぼす。見るべきは差の区間のほうだ。

試行数と水準が同時に動く、同じ論文のシミュレーション側

同じ論文のシミュレーション側にも、実機の 3/10 対 7/10 に近い対比が載っている。実機と同じバナナ受け渡し、同じ Gemini Robotics-ER、同じゼロショット対文脈内学習の比較で、成功率は 54% 対 96%（N=50）である。差は +42ポイントで実機の +40ポイントとほぼ同じなのに、区間は [+25.9, +55.9]、p < 0.001 で0を大きく離れる1。ただし、ここで変わったのは試行数だけではない。 実機からシミュへ評価環境そのものが移り、成功率の水準も 30%→54%・70%→96% と上がっている。区間の幅は試行数だけでなく水準にも依存し、96% は天井際で締まる側だ（シミュ側は初期条件をランダム化した設定でもある1）。試行数の効果を分離した実験としては読めない。読めるのは、同じ大きさの差が N=10 では0をまたぎ N=50 では大きく離れる、という対比までである。

必要な検定を実際にやっている論文は少ない

本稿は一次論文12本を調べた。そのうち必要な検定を回していたのは2本で、どちらも Toyota Research Institute の著者を含む。1本は Large Behavior Model の作業で、条件あたり50ロールアウト、盲検A/B、多重比較補正まで揃えている3。もう1本は Snyder らの逐次検定の論文で、実機の比較4件に、あらかじめ決めた有意水準5%の検定を当て、判定まで表に載せている4。そのうち1方策あたり100試行を回した2件では、8〜9ポイントの差を判定できなかった。著者は、真の成功率が観測値どおりなら500試行が要ると見積もっている4。

多くはそうではない。Gemini Robotics は、上の表とは別の節（旗艦モデルの評価）について「A/Bテストと統計解析を伴う厳密な実機実験」と述べ、付録で対応のあるt検定に言及する。だが全文を通して p値の数値表記は0件、信頼区間の報告も0件である1。significant は11箇所あるが、検定の出力を伴うものは1つも無い。旗艦モデルの主結果図（図16）のキャプションからして significantly outperforms the baselines と結ぶだけで、20課題の棒グラフに誤差棒は付いていない。検定手法を宣言していることと、その出力を報告していることは別である。

2026年の実機リリースにも、N=15 を「統計的な頑健性のため」と説明して区間を報告しない例がある。初期条件のランダム化も評価環境の固定も明記しているので、足りないのは統制ではなく推論のほうだ5。なお、試行数を減らす手法を設計した Snyder ら自身も、実行可能な試行数が10や50に制約されること自体は前提として認めている4。後続の論文が引く「20〜30試行」という数は Snyder らの論文には無く、著者を三名共有する Badithela らの論文が書いた数である。2026年の2本がそれを写し、うち1本は Snyder らの言葉として引用符つきで引いている6。

試行を増やすだけでは足りず、運用者はもう一手を足している

ここまでの算術は、素直に読めば「もっと回せ」という処方になる。現場の運用者は、それだけでは足りないと言っている。

実機を集中運用してオンラインで評価を提供する RoboChallenge の報告は、評価手順の節の冒頭で even with the same set of props, task and model, the measured success rate can change even from 0% to 100% or vice versa と書く。さらに Even with a sufficient number of runs, the recorded success rate varies considerably と述べる2。

試行を十分に重ねても残るこのばらつきの原因として、原典はテスターによる初期配置の違いを挙げる。物体の初期配置には「うまくいきやすい一角」があり、3群のテスターのうち「適応的テスター」＝モデルの著者自身が、それを見つけて意図的に使っていた。原典は図4のキャプションで exploited this for maximal performance. This biased the test. と書いている2。ただし3群のテスターを比べた実験そのもの（図3）は2課題・各群1点であり、原典は試行回数を図にもキャプションにも書いていない。成功率の隣に試行数を探すという読み方を、この図は満たしていない。図4のほうは適応的テスターが選んだ箱の位置を成否で色分けして描いており、数えると10個で、成功を示す緑は3個である。図3でこのテスターがフライドポテトの課題に出した30%と数は合うが、原典は同じ試行だとは書いていない。証言としては重いが、量としては小さい。それでも、評価する側が結果に利害を持つとき、ばらつきは偶然ではなく方向を持つ。

そして原典はこの問題を投げ出していない。同じ節は controlled tester という手順を導入している。この手順は、参照エピソードの初期フレームをテスターのプレビュー画面に重ね、実際の配置がそれに一致するまで調整させる。そのうえで the initial state of the scene and objects is largely fixed across the evaluation of different models と結ぶ2。足したのは試行数ではなく、初期状態の統制である。

現場が実際に採っている代替

では、現場は何をしているか。絶対的な成功率をそのまま主張するのをやめて、測る対象のほうを動かす動きがある。水準を主張したまま、実機の少なさを別の手段で補う試みもある。

一次資料が支えているのは「100件ほどの対比較を集めれば順位は安定する」までだ。RoboArena は RoboArena converges to high-quality rankings within just 100 pairwise comparisons と報告している7。一方で「同じ規模で絶対的な成功率を区別できる」を支える資料は、本稿が当たった範囲には無かった。この順位の収束結果からは、水準の区別に要る試行数は判断できない。 なお、数える単位は対比較とロールアウトで違う。対比較1件はロールアウト2回にあたる。Snyder らの後続は RoboArena の公開データから4方策を取り、有意水準5%（Bonferroni 補正）で全順位を決めたが、近接した3方策を分けるには1方策あたり395〜503ロールアウトを要した8。ただし測った量は連続の進捗スコアなので、成功率の水準の区別に要る試行数はこの数からも決まらない。

RoboChallenge の課題別順位表のセルは run 1本の値で、同じ提出が同じ課題を複数回走らせていれば、その中から選ばれた1本の値である。論文がベースラインとして引いた値と現在の表示は、同じ提出名でも一致するとは限らない。たとえば Qwen-RobotManip の技術報告は GR00T-MULTI の平均成功率を15.33%と載せるが、同じ表示名の30課題のセルを平均すると13.33%になる9。本稿が当たった範囲では、この順位表の値を引く6本のうち、引いた時点を書いているのは2本にとどまる9。選ばれた1本の値も、掲載後に変わりうる。新版（Table30 V2）の run 一覧を4つの断面で比べると、掲載済みの run 3本でスコアが動いていた。2本は同じ試行の採点が変わり、1本は10回の試行のうち1回が後から録画された別の試行に差し替わっていた9。

欠けているのは統計の知識ではない

この調査で一番再利用が効く観察を置く。実機評価のやり方を問い直す論文は、2019年から繰り返し書かれている。まず、実機での再現性と有意差検定の欠如を指摘した Lynnerup ら（2019）10と、評価指標を機械学習からの借り物だと批判した Johns（2021）11がある。続いて、反復・再現・追試の枠組みを提案した Norton & Flynn（2024）12、成功率だけの報告と試行数・統計解析の欠落を指摘し、盲検A/Bを含む実施指針を出した Kress-Gazit ら（2024）13、そして本稿が挙げた TRI（2025）3 である。ただしこれらは同じことを言っているのではない。Johns の処方は時間効率であって統計的検出力ではなく、系譜を一本に束ねるのは正確ではない。

確かめられるのは、もっと限定的で、そのぶん硬い事実のほうだ。RoboChallenge・RoboArena・LingBot-VLA の3本は、参考文献に TRI の2025年の作業を挙げていない（各PDFの参考文献を検索して0件）3275。これは出た順の帰結ではない。3本とも、2025年7月の TRI の公開より後の版がある。一方、同じ時期の Badithela らは、この作業を厳密な統計的評価の手法で比べた研究として参考文献に挙げている6。この作業の方法論は、TRI 自身が2024年の実施指針に帰しており（盲検・初期条件の統制・一様事前分布の Bayes 解析）、指針のほうは RoboArena が評価条件の統制の文脈で、Badithela らが実施指針の一覧として引いている1376。RoboChallenge と LingBot-VLA は、指針も挙げていない25。

つまり不足しているのは統計の知識ではなく、評価方法論が隣接する作業へ届き、蓄積していく経路のほうかもしれない。TRI の作業を参考文献に挙げる例と挙げない例が、同じ時期に並んでいる。ただし「同じ主張が周期的に再発見されている」と言い切るには、上の5本それぞれの参照関係を突き合わせる必要がある。本稿が突き合わせたのは、2024年の指針が Snyder ら・Badithela ら・TRI の2025年の作業に引かれ、Badithela らが TRI の作業も直接引いている範囲までである136。

本稿が引く資料の査読状況

本稿が引く12本のうち、査読付きの会議か論文誌に載ったのは7本である。Snyder らは Robotics: Science and Systems XXI に、その後続は同 XXII に、Lynnerup らは CoRL 2019 に、Johns は CoRL 2021 に載っている。RoboArena は CoRL 2025（PMLR 305）に、TRI の作業は Science Robotics（2026年4月）に載った。「20〜30試行」の出所を追った Badithela らの論文は、ICRA 2026 が採択し、著者らが2026年6月に本会議で発表した。Gemini Robotics・RoboChallenge・LingBot-VLA の3本は、2026年9月13日時点で Crossref と OpenAlex に掲載版の記録が無い arXiv のプレプリントである。Kress-Gazit らの実施指針と、Badithela らの脚注で挙げる PhAIL・FailBench、順位表の値を引く例に挙げた DM0・GigaBrain・Qwen-RobotManip も、2026年9月22日時点で同様である。Norton & Flynn は ICRA 2024 のワークショップ発表である。本稿は、その査読の有無を確認できていない。∴ 本稿が検算に使った数値（Gemini Robotics）と運用者の証言（RoboChallenge）は査読前の資料から取り、対照に置いた最も厳密な作業（TRI）は査読誌に載っている。

出典13件

  1. Gemini Robotics Team「Gemini Robotics: Bringing AI into the Physical World」arXiv:2503.20020, 2025. https://arxiv.org/abs/2503.20020 — 実機 Table 6 は N=10・9、シミュは N=50。統計解析を宣言するが、p値も信頼区間も無い。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  2. Yakefu, Xie ほか「RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies」arXiv:2510.17950, 2025. https://arxiv.org/abs/2510.17950 — 同じ条件でも成功率が0%から100%まで振れるとし、初期配置を合わせる手順を足す。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7

  3. TRI LBM Team「A Careful Examination of Large Behavior Models for Multitask Dexterous Manipulation」Science Robotics, 2026. https://doi.org/10.1126/scirobotics.aea6201 — 条件あたり50ロールアウト・盲検A/B・多重比較補正。arXiv 版に当てた。 https://arxiv.org/abs/2507.05331 ↩ ↩2 ↩3 ↩4

  4. Snyder, Hancock, Badithela ほか「Is Your Imitation Learning Policy Better than Mine?」RSS XXI, 2025. https://arxiv.org/abs/2503.10966 — 試行数は10や50に制約されると認め、α=0.05 の判定を表に載せる。100試行の2比較は判定できず500試行と見積もる。 ↩ ↩2 ↩3

  5. LingBot-VLA「A Pragmatic VLA Foundation Model」arXiv:2601.18692, 2026. https://arxiv.org/abs/2601.18692 — 課題×ロボットごと15試行を「統計的頑健性のため」とするが、信頼区間は無い。配置のランダム化・環境の固定と進捗スコアは明記する。 ↩ ↩2 ↩3 ↩4

  6. Badithela, Snyder ほか「Reliable and Scalable Robot Policy Evaluation with Imperfect Simulators」ICRA 2026. https://arxiv.org/abs/2510.04354 — 「20〜30試行」はこの論文の数で Snyder らに無く、PhAIL・FailBench が写した。 https://ras.papercept.net/conferences/conferences/ICRA26/program/ICRA26_ContentListWeb_5.html#thi2i_206 https://arxiv.org/abs/2605.29710 https://arxiv.org/abs/2609.03611 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  7. Atreya, Pertsch, Lee ほか「RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies」CoRL 2025, PMLR 305. https://proceedings.mlr.press/v305/atreya25a.html — 612件の対比較と4,284ロールアウトの基準順位。差の区間・p値は無い。 https://arxiv.org/abs/2506.18123 ↩ ↩2 ↩3 ↩4 ↩5

  8. Snyder, Badithela ほか「Beyond Binary Success」RSS XXII, 2026. https://doi.org/10.15607/rss.2026.xxii.076 — TRI の実機5比較（各50試行）で部分点の逐次検定は4件、二値は2件を判定。RoboArena の近接3方策は1方策395〜503。 https://arxiv.org/abs/2603.13616 ↩ ↩2

  9. 本稿の分析（RoboChallenge 課題別順位表と run 一覧、2026年9月22日〜10月3日断面）. https://robochallenge.ai/api/v1/leaderboard/leaderboard_task_all.json — 表示セルは最新や最良の run とずれうる。値を引く6本のうち時点を書くのは DM0・GigaBrain の2本。スコアの変化は新版の9月25日・28日・10月1日・3日断面の比較。 https://robochallenge.ai/api/v2/runs/runs_table30_v2.json https://arxiv.org/abs/2606.17846 https://arxiv.org/abs/2602.14974 https://arxiv.org/abs/2602.12099 ↩ ↩2 ↩3

  10. Lynnerup ほか「A Survey on Reproducibility by Evaluating Deep Reinforcement Learning Algorithms on Real-World Robots」CoRL 2019. https://proceedings.mlr.press/v100/lynnerup20a.html — 有意差検定の欠如を指摘し、試行が多いほど統計で支えやすいとする。 https://arxiv.org/abs/1909.03772 ↩

  11. E. Johns「Back to Reality for Imitation Learning」CoRL 2021, PMLR 164. https://proceedings.mlr.press/v164/johns22a.html — 評価指標は機械学習からの借用だと論じる。処方は時間効率で、統計的検出力ではない。 https://arxiv.org/abs/2111.12867 ↩

  12. A. Norton & B. Flynn「Towards Using Multiple Iterated, Reproduced, and Replicated Experiments with Robots (MIRRER)」ICRA 2024 WS, 2024. https://arxiv.org/abs/2408.04736 — 反復・再現・追試を区別して積む枠組み。 ↩

  13. Kress-Gazit ほか「Robot Learning as an Empirical Science: Best Practices for Policy Evaluation」arXiv:2409.09491, 2024. https://arxiv.org/abs/2409.09491 — 試行数や統計解析を欠く成功率の報告を指摘し、盲検A/Bを勧める。TRI らが引く。 ↩ ↩2 ↩3

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。