AI・信頼性・評価

GDPvalとは：AIと熟練者の実務比較で、勝率が測るもの・測らないもの

2026/7/26 （更新: 2026/10/12）

🤖 AIを使用して執筆

実務の成果物で、熟練者に迫った

これまでのAI評価は、選択式や短い正解のあるベンチが中心だった。GDPval はそこを大きく変えた。不動産・政府・製造・金融・医療など9業種、弁護士や会計士を含む44職種の現実の仕事を課題にする。スライド、文書、表計算、図面といった実際の成果物を作らせ、その職で平均14年の経験を持つプロの成果物と、専門家がどちらが良いかで比べる¹。人工的な課題ではなく、報酬の発生する仕事に寄せた設計だ。

結果は目を引く。OpenAI の報告では、最上位モデルは熟練者の質に迫り、性能は時間とともにほぼ直線的に伸びている¹。独立に測る Artificial Analysis の GDPval-AA では、モデルにシェル操作とWeb閲覧を与え、匿名のペア比較をEloに換算する。ただし判定するのは人ではない。v2の判定者は主要ラボの3体のフロンティアLLM（大規模言語モデル）からなるパネルで、1件の対戦ごとに、パネルから抽出した1体が単独で裁く（A judge sampled from a panel of three frontier LLM judges）。複数の判定者を合わせれば偏りが減ると自己選好の研究は見込んでいるが（one possible approach is ensemble evaluation）²、この方式はその合わせ方をとらない。2026年8月の版は人間の基準を1000に置いており、そこでは上位モデルが1700前後から1800超に達していた。2026年8月16日に確認した時点では Claude Opus 5（最大努力）が 1848.8 で首位で、同じモデルの別の設定（Xhigh）が約1817で続いた。別のモデルでは Grok 4.6 が 1746.4、Claude Fable 5 が 1738.9、Qwen3.8 Max が 1737.0、GPT-5.6 Sol が 1725.2 である⁴。ただしこの帯の中の並び順は読まないほうがいい。リーダーボードは各値に95%信頼区間を添えており、ここに挙げた6つの値では幅が上下16〜22点ある。首位と2位の約30点差でも、両者の区間は重なっている。

速度とコストの差は桁違いだとされる。提供元 OpenAI の発表では、GDPval の課題を熟練者より約100倍速く、約100倍安くこなせる³。

ただしこの「100倍」は、額面どおりには受け取れない。まず出どころを確かめる。「約100倍」は OpenAI の発表記事の言い方で、GDPval 論文にこの数字は無い。その発表記事自身が同じ段落で、この数字は推論時間と API 料金だけのもので、実際の職場で要る人の監督や反復、組み込みの手順は捉えていないと断っている（do not capture the human oversight, iteration, and integration steps）³。続けて、モデルが特に強い課題に限っては、人より先にモデルに試させれば時間と費用の節約になるという見込みも述べている（giving a task to a model before trying it with a human would save time and money）³。論文の同種の指標は Table 2 の naive ratio で、GPT-5 は 90倍（モデル間では90〜327倍に散らばる）。論文はこれを「naive ratio（素朴な比）」と呼び、品質の差も実装にかかる時間も一切考慮せず、人の平均所要時間をモデルの平均サンプリング時間で割っただけの数字だと明記している¹。同じ論文が、人がレビューし必要なら直す現実的な運用（「まず1回モデルに試させ、駄目なら人が直す」）で試算した値は、GPT-5 で約1.12倍速・約1.18倍安にとどまる。駄目なら再サンプルする運用でも、約1.39倍速・約1.63倍安だ。どちらも人の平均404分・約361ドルに対し、レビューに約109分を見込んだ場合の値である。再サンプルの試算について、論文は We are over-penalizing the model here と断っている。やり直すたびに勝率は上がるはずで、慣れればレビュー時間も縮むからだという¹。一方で論文は、人の成果物をレビューする時間を勘定に入れていないことと並べて、壊滅的な誤りのコスト（the cost of catastrophic mistakes）を捉えていないことも限界に挙げる。偏りの向きは両方挙がっている¹。それでも90倍と1.12倍。同じ論文の同じ表の中で、効果量は二桁違う。

もう一つ、勝率とEloも同じ指標ではない。GDPval 本体が論文公開時点で報告した最高勝率は Claude Opus 4.1 の47.6%である。引き分けを含めてなおパリティ（50%）に届いておらず、論文が「並ぶ」ではなく「迫る（approaching）」と書くのは、この水準と整合する¹。同じ論文の地の文にはその直後に「半数強の課題で専門家に並ぶか上回った」という一文もあり、47.6% とは揃っていないが、本稿は数値のほうに従う¹。一方 GDPval-AA の首位は約1850（2026年8月時点）だった。この版（v2）は尺度を人間の専門家＝1000に固定しており、800点以上の差は勝率に直せば圧倒的優位を意味する。9月の改版（v2.1）で尺度は別のモデル（DeepSeek V4.1 Flash）を1600に置く形へ改められ、人間の基準は表から外れている⁴。ここで注意がいるのは、両者が解いた課題は同じだという点だ。どちらも OpenAI が公開した220課題の gold subset である。違うのは解かせ方と採り方のほうだ。GDPval 本体は、課題文と参照ファイルを与えて出てきた成果物を、職種を同じくする人の専門家3人が採点する。AA は同じ課題を Stirrup というエージェントハーネスに載せ、シェル操作とWeb閲覧を与えて最大250ターン走らせたうえで、勝敗を、3体のLLM判定者から抽出した1体に決めさせる⁴。課題が同じでも、測っている量が違う。片方をもう片方の裏づけとして足し合わせることはできない。

だが「勝率」は、正しさだけを測る指標ではない

ここで立ち止まる。GDPval の指標は勝率（win rate）である。AIと人の成果物を並べ、判定者がどちらを好むかを数える。ここで効くのは正しさだけではない。論文自身が In addition to correctness, expert graders often consider subjective factors such as structure, style, format, aesthetics, and relevance と書いている。正しさと、構成・体裁・見栄えが同じ一票に混ざる。論文自身、公開時点で首位の Claude Opus 4.1 は見栄え（書式やスライドのレイアウト）で、GPT-5 は正確さ（指示に沿うことや計算の正しさ）で特に強かったと書き分けている（excelling in particular on aesthetics）¹。だから高い勝率は「より正確だった」とは限らず、「より好まれた」までしか言わない。そしてどちらであれ、「そのまま実運用に耐えるか」は測っていない。これは論文の断りではなく、勝率という指標の定義から出る帰結だ。判定そのものも揺れる。同じ成果物の組を採点した専門家どうしの一致度は約71%だと、論文自身が報告している（human expert inter-rating agreement of 71%）¹。「実運用に耐えるか」の一部には、論文が別の採点で触れている。GPT-5 が人に負けた成果物を別の専門家に見せ、実際に使えるかを分類させたところ、評定の約29%が「使えない」か「壊滅的」で、壊滅的は約3%だった（roughly 29% of ratings were for bad or catastrophic）。ただし対象は負けた成果物だけで、勝った成果物が安全かは測っていない¹。論文が明示的に断っているのは全職務の遂行の評価ではないという点のほうだ（a limited, initial cut of knowledge work tasks, not a comprehensive evaluation of all possible occupational tasks）¹。一発の成果物の見栄えが良いことと、その仕事を任せられることは、別だ。

任せられるかのほうを測ろうとする評価もある。Remote Labor Index は、フリーランスの実案件をAIエージェントに端から端まで任せ、依頼主が納品として受け入れる水準で人と同等以上に仕上げたと評価者が判定した割合を数え、最上位のエージェントでも2.5%だった⁵。ただし案件は人の作業で平均28.9時間と長く、課題の集め方も違うので、この割合は GDPval の勝率とは比べられない⁵。

問題は、選好による採点に既知の癖があることだ。判定者としてのLLMを調べた研究は、判定者が低パープレキシティ＝流暢で予測しやすい出力を、人間の評価より高く採点すると示した（対話ログ3.3万件を素材に、Vicuna・Koala など2023年世代の判定モデル6種を主対象とし、Llama-2/Llama-3 についても同方向の結果を報告している。論文は GPT-4 を、パープレキシティが取得できないとしてこの分析から除外している。原文は we excluded GPT-4 and GPT-3.5-Turbo, as perplexity values could not be obtained for these models と書く。専門職の成果物を素材にしたものでもない）²。ただし人間より傾きが強いと論文が名指しで確認したのは、6つの判定モデル中4つである。vicuna-13b・vicuna-7b・koala-13b・oasst-pythia-12b がこれにあたる。効果は評価モデルによって散らばる。自分が書いたからではなく、見慣れた言い回しに甘い。もっとも機構そのものは確定していない。原典は self-preference bias may be a phenomenon where the model’s own output inherently exhibits lower perplexity と、推定の語で書く²。別の角度の観察もある。論文は、パープレキシティを測れなかった GPT-4 が自分の応答を贔屓した事例も調べている。そこでのバイアスは明白な事実誤りより、専門領域の扱い方や答える前に前提を述べるかどうかといった話しぶりの差に結びついていた（often not related to clear factual errors but rather to differences in response styles）。論文はこの事例をパープレキシティの説明と一見矛盾するものとして挙げ（may seem contradicted）、GPT-4 が自分の方針への合い方で判定している可能性（alignment with these policies）で説明している²。

注意すべきは、人間の評価者が同じ癖と無縁だと示されたわけではないことだ。むしろ人間側の傾きも、図にはっきり出ている。図3では6パネルすべて、Llama系を扱う図6では7パネルすべてで、人間判定者の勝率もパープレキシティ差に応じて0.2〜0.5ぶん動く。dolly-v2-12b と stablelm-tuned-alpha-7b の2モデルでは、振れ幅は人間のほうが大きい。論文が本文で数値化しているのは「LLMのほうが人間より大きく評価を変える」という向きのほうで、人間側の傾きは図の系列として示されている²。ただし論文は人間の判定を比べる基準として使っており（the focus is on whether the evaluations by LLMs align with human preferences）、人間側の傾きをバイアスとは呼んでいない。GDPval 本体の判定は職種を同じくする人の専門家（1サンプルにつき3人）だが、それで無縁になるとは言えない。人間なら効かない、という結果は出ていない。

そして首位の 1848.8 という数字は、この罠の内側にある。GDPval-AA の勝敗を決めているのは人ではなくLLM判定者で、しかも合議ではなく1対戦につき1体が裁く。整ったスライドは、中身が薄くても「好ましい」に転びやすい。そこがどれだけ効いたかは、GDPval の報告からは確かめられない。本稿が数値を確かめた8月の時点で、判定パネルは GPT-5.5・Gemini 3.1 Pro Preview・Claude Opus 4.8 の3体で、首位のモデルと同じ会社のモデルが1体入っていた⁴。GDPval 論文は、GPT-5 をもとにした自前の自動採点が OpenAI の有力モデルの出力で人の専門家と一致しにくく、モデルが自分の応答を好む傾向と整合すると書いている（models often favor their own responses）¹。ただし、このパネルの構成が8月の結果に効いたかどうかは、本稿の引く資料の射程の外にある。なお本稿が後段で引く KAMI は、同じ Artificial Analysis の集約指標（Intelligence Index。GDPval-AA とは別物だ）について、even this comprehensive aggregation is an unreliable predictor of useful agentic performance と報告している⁶。集計元が独立であることと、その集計が現場を予言することは、別の話だ。

ベンチの点は、現場を予言しない

もう一つの留保は、ベンチの順位が現場を予言しないことだ。エンタープライズ向けのエージェント評価を55億トークン分積み上げた研究（KAMI。提案元は Kamiwaza AI で、自社名を冠した新ベンチの提案論文である点は割り引いて読む）は、35のモデル構成を回した結論として、従来ベンチの順位が実務のエージェント性能をうまく予言しないと報告する。ここでの「実務」はファイル操作・CSV処理・SQL検索・出力形式の指示追従といった定型のエージェント作業であって、GDPvalが扱う専門職の成果物ではない⁶。新しい世代のモデルが、企業タスクで旧世代を必ずしも上回らない例すらあった。逆向きの例もある。論文はこの現象を「エージェント的断絶（a persistent “agentic disconnect”）」と呼び、従来指標が軽んじていた Llama 3.1 70B や Claude 3.5 Haiku が、実務のエージェント作業では安定して強かったと報告する⁶。上位が落ちるだけでなく、下位が上がる例もある。論文は相関が少しあることを認めつつ、実務の目安としては役に立たないと結論する（fails as a useful gauge）⁶。

しかもKAMIが外れると報告したのは、選択式の旧来ベンチだけではない。エージェントのツール使用を測るために作られた τ²-Bench Telecom（表の見出しにも Agentic Tool Use と付く）と BFCLv3 についても、原典の結論は同じだ。TAU2, like BFCLv3 before it, fails to serve as a reliable indicator of actual agentic performance in common, mundane enterprise concerns⁶。エージェントを測ろうとしたベンチですら、実務は予言しなかったということだ。

ただしこの知見をGDPvalへそのまま横滑りさせることはできない。KAMIの「実務」は定型のツール操作であり、人の専門家が成果物の良否を採点するGDPvalとは、測っている対象そのものが違う。それでも「ベンチ上位＝現場で使える」が自明でないことは示す。

そしてGDPvalには、それとは別系統の、課題設計そのものに由来する限界がある。実際の知識労働は、コンテキストを探り、何を作るべきかを見極め、反復して仕上げる過程である。一発・定義済みの成果物を静的な条件で作らせる形式は、それとはずれる。論文自身もこれを限界として挙げ、Tasks are precisely-specified and one-shot, not interactive と明記し、より対話的でコンテキストを踏まえた改訂に取り組んでいるとも述べる。しかもこれは自己申告にとどまらない。同じ論文の付録 A.2.7 は、プロンプトを元の42%の長さまで削った低コンテキスト版を作っている。「参照ファイルのどこにデータがあるか」「どう進めるか」「どんな体裁にするか」を落とした課題を専門家に採点させると、GPT-5 の成績は実際に落ちた（the model’s performance was worse on under-specified prompts）。コンテキストを自分で見つける仕事は、この評価が測っていない部分であるだけでなく、測れば実際に苦手な部分だった。ただしこの実験は初期版の gold subset で走っており、勝率の絶対値は本文の数字と接続しない¹。論文が「人の監督とセット」で論じているのは、この課題設計の話ではなく速度とコストの試算のほうだ¹。課題の長さでも差が出ている。論文は、人が0〜2時間で終える短い課題で勝率が最も高く、所要時間が長いほど下がり続けると報告している（decline steadily as completion time increases）¹。スライドを1枚仕上げる勝負と、その案件を前に進める仕事は、同じではない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。