In Silico

AI・信頼性・評価

AIエージェントはなぜ長い作業で失敗する？成功率の掛け算と評価方法

2026/6/21 （更新: 2026/10/11） シリーズ「AIエージェント入門」 第4回 / 全4回

🤖 AIを使用して執筆

  • AIエージェント
  • エージェント評価
  • 信頼性
  • 自己条件付け
  • WebArena
  • GAIA
  • TheAgentCompany
  • METR
  • HumanEval
  • 成功率
  • 誤り回復
  • 自己検証
  • 保留集合
  • リーダーボード
  • ベンチマーク
  • 歩留まり
  • 製造業
  • STeP
  • CUGA
  • ハーネス
目次
背景・問い・要点
背景

AIエージェントは、考える、動く、結果を見る、を何十回も繰り返して仕事を進める。仕組みとしては、この繰り返しの「ループ」と、モデルを支えてツールや記録をつなぐ「ハーネス」と、毎回モデルに渡す「コンテキスト」で動く。短い実演を見れば、まるで万能の助手に見える。

ところが、同じエージェントに多段の業務を人手なしで最後まで通させると、成功率は大きく下がる。一歩ずつの判断はたいてい当たっているのに、長くつなぐと途中のどこかで崩れる。製造業でも、多くの工程をつなぐ生産では、各工程の小さな不良が積み重なって全体の良品の割合を押し下げる。

問い

一歩ずつはよく当たるエージェントが、なぜ長い作業では崩れるのか。崩れ方を抑えるには何が要るのか。

要点

各ステップの成否が独立で確率が一定、誤りを直さないと置くと、全体の成功率はステップ数乗で下がる。 実際のモデルではコンテキストに残った自分の誤りが次の誤りを誘うので、崩れ方はこれより速いことがある。ベンチマークの数字はこの1〜2年で伸びたが、測り方しだいで動く。鍵は各ステップの確かさと誤り回復で、モデルに自己検証を促すだけでは足りないかもしれないと出典自身が書いている。

モデル・例示

各ステップ95%でも、20ステップつなぐと成功率は4割を切る

※ この節の数値は説明のための仮定で、測定値ではありません。

1ステップあたり95%の確率で成功するエージェントがあるとしよう。考える→動く→観察するの1回を1ステップと数える。各ステップの成否は独立で確率はずっと一定、途中で自分の誤りに気づいて直すこともないとすると、全体の成功率は1ステップの成功率をステップ数だけ掛けた値になる。一見、頼もしい数字だ。しかし、ステップをつなぐと結果は次のようになる。

  • 10ステップ続けば：0.95 の10乗 ＝ 約 60%
  • 20ステップ続けば：0.95 の20乗 ＝ 約 36%
  • 30ステップ続けば：0.95 の30乗 ＝ 約 21%

各ステップ95%でも、20回つなぐと、成功率は4割を切る。これは、製造業でいう「歩留まり」とまったく同じ数学である。1000工程の半導体が、各工程の小さな不良率で全体が崩れるように、長いエージェントの連鎖も、各ステップの小さな失敗が掛け算で積み上がって崩れる。各ステップの成否が独立で成功率が一定のまま、途中に検証や誤り回復を挟まない限り、ステップ数が増えるほど全体の成功率は下がり続ける。逆に言えば、この掛け算は設計で崩せる。

⚠ 概念図：実データではない 成功率 ＝（1ステップの成功率）の ステップ数乗 （各ステップが独立・確率が一定・誤り回復なし、と置いた場合） 100%0 ステップ数 →（0 〜 30） 10ステップ→約60% 20ステップ→約36% 99% → 約74% 95% → 約21% 90% → 約4% （青＝各ステップ95%。1ステップの差が、連鎖の成否を決める）
各ステップ95%でも、10ステップで約60%、20ステップで約36%。99%なら30ステップでも約74%、90%なら約4%。1ステップの確かさが、長い連鎖の成否を分ける。

しかも、現実は「掛け算」より悪いことがある

1ステップの成功率をステップ数だけ掛けて全体の成功率とする計算は、Sinha らの2025年の研究も、長い実行を分析する出発点に使っている。そのために出典は二つの仮定を置く。各ステップの成否が独立で確率がずっと一定であることと、途中で自分では気づいて直さないことである。これらを仮定して初めて、成功率がステップ数乗で下がる計算が成り立つ。出典自身、これは見通しをよくするための近似で、実測では1ステップの精度は一定にならず、モデルが誤りを直すこともあると断っている1。

話はもっと厳しい。自己条件付けを受けるモデルでは、失敗はステップ数乗の計算よりも速く崩れる。理由は、失敗が次の失敗を呼ぶから。 一度まちがった行動をとると、その誤りがコンテキストに残り、それを参照したAIは、さらにまちがえやすくなる。同じ研究は、これを「自己条件付け（self-conditioning）」と呼び、長い実行で精度が落ちる主因は推論能力の限界ではなく“実行”でのつまずきにある、と報告している1。一歩のミスが、雪だるま式に効いてくる。ただし同じ論文は、その先も測っている。 最近の thinking 系モデルでは、この自己条件付けが大きく緩む（抄録の語は thinking mitigates self-conditioning）。貢献節はより強く recent thinking models are not affected by prior mistakes, fixing the self-conditioning effect と書く。ただし著者らが誤りを混ぜた対照実験にかけたのは Qwen3 の thinking 版で、思考の連鎖を書かせるだけでは解消しない。別の実験では、GPT-5 の thinking が単一の実行で2100手を超えた。次点の Claude-4 Sonnet は432手である1。つまずきが雪だるまになるのは実装と世代に依存する性質であって、避けられない宿命ではない。

数字で見る「脆さ」と、本番の自律完遂の難しさ

現実的なタスクのベンチマーク（評価）を見る。 登場直後（2023年）の数字は厳しかった。WebArena（実際のウェブ操作）は、人間が約78%こなすところ、最良のエージェントは約14%だった2。GAIA（一般的なアシスタント課題）は、人間92%に対し約15%だった。ただしこの15%は、人が問いごとにツールを選んだうえでの、論文自身が再現できない上振れ推定だと断った値である。ツール選びまで自律化した AutoGPT-4 は約4.7%にとどまる3。 では、もっと現実に近い「自律的な仕事」はどうか。2024年末に公開された手強いベンチマーク TheAgentCompany（模擬的な会社業務175課題）では、論文が試した12モデルのうち最良だった Gemini 2.5 Pro でも、自律で完全に終えられたのは30.3%だった4。ベンチマークは2024年末のものだが、この数字はその約3ヶ月後に公開された Gemini 2.5 Proのものである。しかも原典は、この課題集合が自動採点の都合で実務より単純な側に寄っていると自ら断っている（原文 our tasks are generally on the more straightforward side）。30.3% は、易しめに測ってこの水準である。一方で、測ったのは OpenHands と OWL-RolePlay の二つのハーネスだけで、ほかのハーネスでは成績が違いうるとも原典は断っている4。単発のタスクはこなせても、現実の多段の業務を、人手を借りずに最後まで通すのは、まだ難しい。これが「デモは凄いが実用は脆い」の、いまの正直な姿である。

それでも伸びは本物で、現在地は「脆いが、速い」

掛け算は逆向きにも効く。各ステップの成功率が少し上がるだけで、こなせるタスクの長さは大きく伸びる。出典が Proposition 1 の直後で使う言葉では、双曲的に伸びる1。出典の式 ln(s)÷ln(p) に成功率 s＝50%（p は1ステップの成功率）を入れると、95%で13.5ステップ、99%で69ステップ、99.9%で693ステップ。1に近づくほど加速する。すぐ後で見る METR の「50%の信頼性」と同じ基準である。事実、ベンチマークの成績はこの1〜2年で大きく伸びた（WebArena は2025年に61.7%の報告がある。ただしこれは IBM が自社エージェントについて出した査読前のレポートで、ベンチマークの部分集合を広げながら調整を重ねた末の値である2）。ただしこの手の数字の読み方には、すぐあとで注釈が要る。 より長期の傾向としては、METR が「（ソフトウェア開発タスクで）50%の信頼性でこなせるタスクの長さ」を継続的に計測している。それは倍々で伸びてきた。当初 METR は通算（2019〜2025年）で約7ヶ月ごとの倍化と報告した。2026年の改訂でも通算はほぼ変わらない。区間を切ると短く、改訂版では2023年以降が約4ヶ月（131日）、2024年以降が約3ヶ月（89日）である5。改訂前の推定でも同じ区間は165日と109日で、近年ほど倍化が速いという向きは両版に共通する。ただし当初の論文は、2024年以降に加速したかもしれないと書くにとどめ、2024年以降だけの傾向は外挿に使えるほど頑健ではないと断っている。「脆いが、急速に伸びている」が、いちばん正直な現在地だ。 （なお、この傾向を「数年で月単位の仕事を自動化」と外挿したのは METR 自身である。同じ論文が、実務の課題へ一般化できるかどうかと、傾向そのものが今後変わりうることの二点に外挿は左右されると断っている。傾向は事実、外挿は議論中、と分けて見るべきだ5。）

ただし、その数字も「測り方」しだいで動く

ここまで挙げた数字すべてに、一つ注釈が要る。プリンストン大学の Kapoor らは “AI Agents That Matter” で、エージェント評価そのものの欠陥を指摘している6。コード生成（HumanEval）では、作り込んだエージェントが単純なベースラインを上回っていない。精度に有意差がない。ここでいう単純なベースラインは、再試行、温度を上げながらの再試行、モデルの段階的な切り替えである。最も高価な構成はベースラインの50倍以上のコストがかかる。 加えて、多くのエージェント評価は保留集合が不十分で、時には全く置かれておらず、その結果エージェントはベンチマーク向けの近道を覚えて過適合する（著者らの語で fragile）とも指摘する。結果が再現できないこと、コストを無視して精度だけを競っていることも挙げる。つまり、ベンチマークの成績は評価の条件しだいで動く。そのうえで著者らは、評価はコストを勘定に入れて比べ、精度とコストの二つの軸で並べるべきだとする。保留集合も、エージェントに求める汎用性の水準に応じて作り分けるべきだという6。「すごい」と言われる成績ほど、条件を確かめてから受け取るべきだ。

そして同じ論文は、WebArena を名指しでケーススタディに取り上げている6。当時のリーダーボード首位 STeP の精度は35.8%で、2位に10ポイント以上の差をつけていた。だが著者らが中身を開くと、STeP は WebArena に含まれる特定の課題を解くための方策をハードコードしていた。たとえば利用者プロフィールへ移動する課題では、現在のURLに /user/user_name を足す、という具合に。著者らはこれを This is brittle（これは脆い）と書く。サイトのURL構造が変われば効かなくなるからである。そのうえで著者らは、個々の方策が失敗する確率が小さくても、1つの課題で何十回も方策を呼ぶなら、全体の失敗確率はすぐに積み上がると、本稿の主題と同じことを述べている。もっとも原典は、STeP の開発者の目的は事前に分かっている課題を組み合わせ可能な方策で解くことで、ベンチマークの作り手とは別だと断り、その立場では設計は理にかなうと書く。問題は、下流の開発者がそのリーダーボードを、実世界の課題での精度を知り、どのエージェントを採用するか決める材料に使いうることだという。著者らは、WebArena のリーダーボード上の精度そのもの（STeP はその一例）を、下流の開発者から見れば誤解を招きうると書く（著者らの語で misleading from the perspective of downstream developers）。上で挙げた61.7%も、同じ WebArena で報告された数字である。

2026年4月には UC Berkeley RDI が、WebArena の812課題の正答が、エージェントが動くのと同じファイルシステムに平文で置かれ、読み取りを防ぐサンドボックスも無いことを示した。これは攻略が可能だという指摘で、上の数字がそうして得られたという意味ではない2。

本当の急所は、「賢さ」より「各ステップの確かさ」

ここまでの議論から、結論ははっきりしている。 エージェントを実用に耐えさせる鍵は、より賢いモデルだけではない。掛け算に勝つには、各ステップの確かさ（信頼性）を上げ、まちがえたら気づいて立て直す必要がある。つまり本丸は検証と誤り回復である。WebArena の著者自身も、エージェントの成績が伸びない原因を a lack of crucial capabilities such as active exploration and failure recovery と書いている2。著者らは、欠けているのは能動的な探索や失敗からの立て直しといった能力だと推測している。METR の論文も、こなせるタスクの長さが伸びた主な理由の一つに、誤りへの適応が良くなったことを挙げる5。著者らが失敗した実行を読み直すと、失敗した行動をそのまま繰り返していたのは GPT-4 1106 で31件中12件、o1 で32件中2件だった。ただし著者らの語は「そう見える」で、o1 の失敗の半分は途中での放棄だった5。WebArena の著者らが挙げた二つのうち後者は本稿の言う誤り回復に重なり、ハーネス（モデルを支える足場）が支える部分でもある。

ただし「検証させればよい」で終わらせると、出典より先へ行ってしまう。自己条件付けを報告した当の論文は、モデルに自己検証を促すという最も素直な処方を実際に試している。結果は芳しくない。思考の連鎖を書かせた Gemma3 では初期のターンでは効くが、検証のぶんトークンを食ってコンテキスト長を早く使い切り、後半でかえって急に崩れる。thinking 系の Qwen3 にいたっては、ほとんど改善しない。著者らの結論は、プロンプトによる自己修正では足りないかもしれない、である（may not be enough）。理由は、計算量が高く、コンテキスト長の代償を払い、しかも自己検証それ自体が誤りやすい複雑な実行タスクだからである。同じ付録で効いたのは、むしろ直近の1〜25ターンだけを残して過去の自分の誤りをコンテキストから外すほうだった。もっとも著者らは、この手立てが課題のマルコフ性（いまの状態だけで次が決まる性質）に依ると断っている1。したがって、本丸が検証と誤り回復であることは変わらないが、それをモデル自身に一言頼めば済む話ではない。ハーネスの側で、何をコンテキストに残すかまで含めて設計する仕事である。

出典6件

  1. A. Sinha ほか「The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs」ICLR 2026. https://arxiv.org/abs/2509.09677 — 掛け算は二仮定の下の近似。実測ではコンテキストに残った自分の誤りが次の誤りを誘い、thinking 系で緩むと報告。 ↩ ↩2 ↩3 ↩4 ↩5

  2. WebArena, ICLR 2024. https://arxiv.org/abs/2307.13854 https://arxiv.org/abs/2503.01861 https://rdi.berkeley.edu/blog/trustworthy-benchmarks/ — 登場時は人間78.24%（170課題）・最良14.41%（812課題）。61.7%は IBM の CUGA の査読前報告、正答の平文配置は UC Berkeley RDI の2026年4月の監査。 ↩ ↩2 ↩3 ↩4

  3. GAIA, ICLR 2024. https://arxiv.org/abs/2311.12983 — GPT-4＋プラグインの15%は人がツールを選んだ再現不能な推定。ツール選びまで自動化した AutoGPT-4 は Table 4 の加重平均で約4.7%。 ↩

  4. TheAgentCompany, NeurIPS 2025. https://arxiv.org/abs/2412.14161 — 175課題・12モデルで最良の Gemini 2.5 Pro が自律で完遂したのは30.3%。課題は自動採点のため実務より単純な側に寄ると断る。 ↩ ↩2

  5. METR「Measuring AI Ability to Complete Long Software Tasks」NeurIPS 2025. https://arxiv.org/abs/2503.14499 https://metr.org/blog/2026-1-29-time-horizon-1-1/ — 50%タスク時間地平の倍化は通算約7ヶ月。2026年1月の改訂で2023年以降131日・2024年以降89日（改訂前165日・109日）。 ↩ ↩2 ↩3 ↩4

  6. S. Kapoor ほか「AI Agents That Matter」TMLR, 2025. https://arxiv.org/abs/2407.01502 — HumanEval では作り込んだエージェントと単純なベースラインに精度の有意差が無く、LATS は温度を上げる再試行の50倍超のコスト。WebArena の STeP を誤解を招く例に挙げる。 ↩ ↩2 ↩3

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。