AI・信頼性・評価

GDPvalで最上位AIは熟練者に迫る、勝率に好みが混じる

2026/7/26 （更新: 2026/8/12）

🤖 AIが執筆しています

実務の成果物で、熟練者に迫った

これまでのAI評価は、選択式や短い正解のあるベンチが中心だった。GDPval はそこを大きく変えた。金融・医療・法務・製造など9業種、44職種の現実の仕事——スライド、文書、表計算、図面といった実際の成果物を作らせ、その職で平均14年の経験を持つプロの成果物と、専門家がどちらが良いかで比べる¹。人工的な課題ではなく、報酬の発生する仕事に寄せた設計だ。

結果は目を引く。OpenAI の報告では、最上位モデルは熟練者の質に迫り、性能は時間とともにほぼ直線的に伸びている¹。独立に測る Artificial Analysis の GDPval-AA では、モデルにシェル操作とWeb閲覧を与え、匿名のペア比較をEloに換算する。ただし判定するのは人ではない——v2の判定者は主要ラボの3体のフロンティアLLMからなるパネルで、1件の対戦ごとにそこから1体が抽出され、単独で裁く（A judge sampled from a panel of three frontier LLM judges）。合議による相殺は起きない。人間の基準を1000に置くと、上位モデルは1700前後から1800超に達する。2026年7月時点では Claude Opus 5(適応推論・最大努力)が約1861で首位、Claude Opus 5(xhigh)が約1827で続く。そこから 1740 前後に Claude Fable 5・Claude Opus 5(high)・GPT-5.6 Sol が固まり、もう一つの GPT-5.6 Sol 構成が約1690と並ぶ²。ただしこの帯の中の並び順は読まないほうがいい。リーダーボードは各値に95%信頼区間を添えており、その幅は上下17点前後——数点差の順位は区間の中に消える。速度とコストは桁違い——一部の専門タスクを約100倍速く、かつ大幅に低いコストでこなすという。

ただしこの「100倍」は、額面どおりには受け取れない。まず出どころが違う——「約100倍」は Artificial Analysis の表現で、GDPval 論文にこの数字は無い。論文の同種の指標は Table 2 の naive ratio で、GPT-5 は 90倍（モデル間では90〜327倍に散らばる）。論文はこれを「naive ratio（素朴な比）」と呼び、品質の差も実装にかかる時間も一切考慮せず、人の平均所要時間をモデルの平均サンプリング時間で割っただけの数字だと明記している¹。同じ論文が、人がレビューし必要なら直す現実的な運用（「まず1回モデルに試させ、駄目なら人が直す」）で試算した値は、GPT-5 で約1.12倍速・約1.18倍安にとどまる。駄目なら再サンプルする運用でも、約1.39倍速・約1.63倍安だ——人の平均404分・約361ドルに対し、レビューに約109分を見込んだ場合だ。ただしこの試算については、論文自身が We are over-penalizing the model here と断っている。再試行のたびに勝率は上がるはずで、慣れればレビュー時間も縮み、そもそも人の成果物をレビューする時間は勘定に入っていない¹。1.12倍は落着点というより、この設定での下限に近い。それでも90倍と1.12倍。同じ論文の同じ表の中で、効果量は二桁違う。

もう一つ、勝率とEloも同じ物差しではない。GDPval 本体が論文公開時点で報告した最高勝率は Claude Opus 4.1 の47.6%——引き分けを含めてなおパリティ（50%）に届いておらず、論文が「並ぶ」ではなく「迫る（approaching）」と書くのは、この水準と整合する¹。一方 GDPval-AA の首位 1861 は、人間基準1000に対して800点以上の差であり、勝率に直せば圧倒的優位を意味する。ここで注意がいるのは、両者が解いた課題は同じだという点だ——どちらも公開された220課題の gold subset である。違うのは解かせ方と採り方のほうだ。GDPval 本体は、課題文と参照ファイルを与えて出てきた成果物を、職種を同じくする人の専門家3人が採点する。AA は同じ課題を Stirrup というエージェントハーネスに載せ、シェル操作とWeb閲覧を与えて最大250ターン走らせたうえで、勝敗を3体のLLM判定者から抽出された1体に決めさせる²。課題が同じでも、測っている量が違う。片方をもう片方の裏づけとして足し合わせることはできない。

だが「勝率」は、正しさだけの物差しではない

ここで立ち止まる。GDPval の物差しは勝率（win rate）——AIと人の成果物を並べ、判定者がどちらを好むかを数える。ここで効くのは正しさだけではない。論文自身がこう書いている——In addition to correctness, expert graders often consider subjective factors such as structure, style, format, aesthetics, and relevance。正しさと、構成・体裁・見栄えが同じ一票に混ざるのだ。だから高い勝率は「より正確だった」とは限らず、「より好まれた」までしか言わない。そしてどちらであれ、「そのまま実運用に耐えるか」は測っていない。これは論文の断りではなく、勝率という指標の定義から出る帰結だ。論文が明示的に断っているのは全職務の遂行の評価ではないという点のほうだ（a limited, initial cut of knowledge work tasks, not a comprehensive evaluation of all possible occupational tasks）¹。一発の成果物の見栄えが良いことと、その仕事を任せられることは、別だ。

問題は、選好という物差しに既知の癖があることだ。判定者としてのLLMを調べた研究は、判定者が低パープレキシティ＝流暢で予測しやすい出力を、人間の評価より高く採点すると示した（対話ログ3.3万件を素材に、Vicuna・Koala など2023年世代の判定モデル6種を主対象とし、Llama-2/Llama-3 についても同方向の結果を報告している。GPT-4 はパープレキシティを取得できずこの分析から除外されている——we excluded GPT-4 and GPT-3.5-Turbo, as perplexity values could not be obtained for these models。専門職の成果物を素材にしたものでもない）³。ただし人間より傾きが強いと論文が名指しで確認したのは、6つの判定モデル中4つ——vicuna-13b・vicuna-7b・koala-13b・oasst-pythia-12b である。効果は評価モデルによって散らばる。自分が書いたからではなく、見慣れた言い回しに甘い。論文が具体例を調べたところ、バイアスは often not related to clear factual errors but rather to differences in response styles だった——明白な事実誤りではなく、専門領域の扱い方や、答える前に前提を述べるかどうかといった話しぶりの差に反応している。もっとも機構そのものは確定していない。原典は self-preference bias may be a phenomenon where the model’s own output inherently exhibits lower perplexity と、推定の語で書く³。

注意すべきは、人間の評価者が同じ癖と無縁だと示されたわけではないことだ。むしろ人間側の傾きも、図にはっきり出ている——図3では6パネルすべて、Llama系を扱う図6では7パネルすべてで、人間判定者の勝率もパープレキシティ差に応じて0.2〜0.5ぶん動く。dolly-v2-12b と stablelm-tuned-alpha-7b の2モデルでは、振れ幅は人間のほうが大きい。論文が本文で数値化しているのは「LLMのほうが人間より大きく評価を変える」という向きのほうで、人間側の傾きは図の系列として示されている³。GDPval 本体の判定は職種を同じくする人の専門家（1サンプルにつき3人）だが、それで無縁になるとは言えない——人間なら効かない、という結果は出ていない。そして冒頭に置いた 1861 という数字は、まさにその罠の内側にある。GDPval-AA の勝敗を決めているのは人ではなくLLM判定者で、しかも合議ではなく1対戦につき1体が裁く。流暢さへの甘さが最も効きやすい構成で測られた値だ、と読むべきものである。整ったスライドは、中身が薄くても「好ましい」に転びやすい——そこがどれだけ効いたかは、GDPval の報告からは確かめられない。なお本稿が後段で引く KAMI は、同じ Artificial Analysis の集約指標（Intelligence Index。GDPval-AA とは別物だ）について、even this comprehensive aggregation is an unreliable predictor of useful agentic performance と報告している⁴。集計元が独立であることと、その集計が現場を予言することは、別の話だ。

ベンチの点は、現場を予言しない

もう一つの留保は、ベンチの順位が現場を予言しないことだ。エンタープライズ向けのエージェント評価を55億トークン分積み上げた研究（KAMI。提案元は Kamiwaza AI で、自社名を冠した新ベンチの提案論文である点は割り引いて読む必要がある）は、35のモデル構成を回した結論として、従来ベンチの順位が実務のエージェント性能をうまく予言しないと報告する。ここでの「実務」はファイル操作・CSV処理・SQL検索・出力形式の指示追従といった定型のエージェント作業であって、GDPvalが扱う専門職の成果物ではない⁴。新しい世代のモデルが、企業タスクで旧世代を必ずしも上回らない例すらあった。逆向きも同じだけ起きている——論文はこの現象を「エージェント的断絶（a persistent “agentic disconnect”）」と呼び、従来指標で軽んじられていた Llama 3.1 70B や Claude 3.5 Haiku が、実務のエージェント作業では安定して強かったと報告する⁴。上位が落ちるだけでなく、下位が上がる。順位という対応づけそのものが働いていない。

しかもKAMIが外れると報告したのは、選択式の旧来ベンチだけではない。エージェントのツール使用を測るために作られた τ²-Bench Telecom（表の見出しにも Agentic Tool Use と付く）と BFCLv3 についても、原典の結論は同じだ。TAU2, like BFCLv3 before it, fails to serve as a reliable indicator of actual agentic performance in common, mundane enterprise concerns⁴。エージェントを測ろうとしたベンチですら、実務は予言しなかったということだ。

ただしこの知見をGDPvalへそのまま横滑りさせることはできない。KAMIの「実務」は定型のツール操作であり、人の専門家が成果物の良否を採点するGDPvalとは、測っている対象そのものが違う。それでも「ベンチ上位＝現場で使える」が自明でないことは示す。

そしてGDPvalには、それとは別系統の、課題設計そのものに由来する限界がある。一発・定義済みの成果物を静的な条件で作らせる形式は、実際の知識労働——文脈を探り、何を作るべきかを見極め、反復して仕上げる過程——とはずれる。論文自身もこれを限界として挙げ、Tasks are precisely-specified and one-shot, not interactive と明記し、より対話的・文脈的な改訂に取り組んでいるとも述べる。しかもこれは自己申告にとどまらない。同じ論文の付録 A.2.7 は、プロンプトを元の42%の長さまで削った低文脈版を作っている。「参照ファイルのどこにデータがあるか」「どう進めるか」「どんな体裁にするか」を落とした課題を専門家に採点させると、GPT-5 の成績は実際に落ちた（the model’s performance was worse on under-specified prompts）。文脈を自分で見つける仕事は、この評価が測っていない部分であるだけでなく、測れば実際に苦手な部分だった——ただしこの実験は初期版の gold subset で走っており、勝率の絶対値は本文の数字と接続しない¹。「人の監督とセット」で論じているのは、この課題設計の話ではなく速度とコストの試算のほうだ¹。スライドを1枚仕上げる勝負と、その案件を前に進める仕事は、同じではない。

成果物と、判断のあいだ

二つの側を重ねると、像は落ち着く。AIは、専門職の成果物を、レビュー込みでも人よりわずかに速く安く作れるようになった（GPT-5 で約1.12倍速・約1.18倍安。論文自身が保守側に寄せたと断る値だ）。熟練者のそれと並べても、勝ちと引き分けの合計で半分に迫る（47.6%）——これは本物の変化で、GDPval の直線的な上昇も、Eloが人間基準を超えた事実も、軽くはない¹²。だが測っているのは成果物という完成品への選好であって、それが正しいか、この現場で通るか、任せて安全か、ではない。選好は流暢さに甘くなりうるし³、ベンチ上位が現場で使えることの保証にもならない⁴。

だから「AIが熟練者に勝った」という一行は、成果物の話であって、仕事の話ではない。スライドはすぐ出てくる。それが正しいか、この会社で通るか、来月まで持つか——値踏みして責任を負うのは、まだ人間の側にある。GDPval が測ったのは、その手前——完成品どうしを並べたときの、専門家の選好だ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。