AI・信頼性・評価

LLMベンチマークのスコアは信用できるか：グッドハートの法則と汚染

2026/6/20 （更新: 2026/10/13）

🤖 AIを使用して執筆

数字が能力と切り離される、その仕組み

グッドハートの法則として広く引かれる「測定が目標になると、それは良い測定でなくなる」という言い方は、M. ストラザーンによる定式である¹。この言い方は、いまのML分野をよく言い当てている。OpenAI は自社の監査から、SWE-bench Verified の伸びはもはや実世界の開発能力の意味のある向上を映しておらず、訓練時にどれだけそのベンチマークに触れたかを次第に映すようになっている、と結論している²。同社はこの判断の射程を、最前線モデルの現在の水準に限って述べている。ただしいずれの出典も、現実の能力そのものが横ばいや劣化に転じたことを直接測ったわけではない。

スコアを能力から切り離す具体的な仕組みは、いくつもある。

学習・テストの汚染(contamination)。ベンチマークの問題と答えが、知らぬ間に事前学習コーパスに混入する。モデルは「解いて」いるのではなく「思い出して」いる。Web規模のスクレイピングをしている以上、公開された問題が訓練データに入るおそれがある。OpenAI も、SWE-bench の課題は多くの開発元が学習に使う公開リポジトリから採られていると書き、公開された素材から作ったベンチマークには汚染のリスクがあると述べている²。

ただし「答えが漏れる」経路は事前学習汚染だけではない。コーディング系の代表格 SWE-bench でも、入力側から答えが漏れる。ある監査は、当時首位だった SWE-Agent+GPT-4 の合格パッチ251件を人手で精査した。その約33%（82件）では、課題報告またはそのコメント側に解法そのものが直接書かれていた。原典はこれを “cheating” と呼び、課題文が正解のコードパッチをそのまま載せていた例を挙げている。入力に答えが混ざっていたケースであり、事前学習コーパスへの混入とは別種の漏洩だ。漏洩と弱いテストによる合格を除き、ログで合格を確かめられなかった分も外して数え直すと、同じモデルの解決率は 12.47% から 3.97% へ落ちる。人手で選別された SWE-bench Verified でも漏洩は残り、37件の課題に解法が直接書かれていた。漏洩と弱いテストによる合格を除くと、解決率は 22.4% から 10.0% まで下がる。漏洩のある課題を外し、しかもモデルの学習打ち切り後に集め直したデータセットでは 0.55% だった³。

事前学習汚染そのものも抽象論ではない。より深刻なのは、タスクIDや課題文の断片のようなわずかな手がかりを与えるだけで、モデルが正解パッチや課題文を一字一句再現できてしまう汚染だ。OpenAI は多ターンの誘導実験でこれを検出したと公表した。検証した GPT-5.2・Claude Opus 4.5・Gemini 3 Flash の3モデルとも正解パッチか課題文の細部を一字一句再現した。最初に兆候を見たのは自社のモデルだったといい、その例として、ほぼ解けないと判定していた31問を GPT-5.2 が解いた件を挙げている。同社は2026年2月の同じ記事で、SWE-bench Verified の報告をすでに取りやめたと述べている²。

代理指標そのものの脆さ。MMLUのような4択形式のスコアは、推論能力そのものの代理としては弱い。少なくとも、評価フォーマットの隙を突くだけでスコアは動く。正解を知ったうえで選択肢の並び順を最良と最悪に選び分ければ、正答率の最大と最小の差は13〜85ポイントに開く。CSQA、MMLUの3科目、Big-Benchの論理推論という5つの多肢選択課題で、GPT-4・InstructGPT・Llama-2-13b の3モデルをゼロショットで測った結果だ。原典はこの量を、正解を知ったうえで到達できる最良と最悪の並びの差として定義している。つまり並べ替えが与えうる上限であって、適当に並べ替えたときに起きる典型的な変動ではない。上限の85ポイントは Llama-2-13b で出た値で、GPT-4 での最大幅は53ポイントだった。ただし、GPT-4 が90%を超える正答率を出している課題でも、13.1ポイントの幅は残る⁴。著者らは、モデルが上位2〜3択で判断に迷うときに位置バイアスが効くのだろうと推測している。例示を数個添える few-shot にすれば直るのか、という当然の問いにも原典は一節を割いており、答えは、例示を加えても並び順への感度は大きいまま残り、例示を増やせば縮むとも限らない、というものだった⁴。

選択肢記号の付け替えや、記号で答えさせるか選択肢の文言そのものを答えさせるかという採点方法の違いだけでも、MMLUで11モデルを比べたリーダーボードの順位は動く。とくに Yi-6b は、記号をレア記号に替えたときや選択肢の文言側を採点したときに、3位から7位や8位まで落ちた。一方、同じ規模帯の Mistral-7b と Llama2-7b は、どの付け替えや採点方法でも1〜2位しか動かず、揺れの大きさはモデルごとに違う⁵。つまり、こうしたスコアの動きは能力の向上を意味するとは限らない。スコアは、評価フォーマットの癖を突く技術や、測り方そのもののノイズを拾っているだけのこともある（なお、4択に向けた訓練が推論能力を犠牲にするかどうかは、本稿の出典では測っていない）。

採点に使うテストそのものの欠陥。汚染はスコアを押し上げるが、逆向きの誤差もある。OpenAI は、o3 が64回の試行で安定して解けなかった138問を監査した。この問題数はデータセットの 27.6% にあたる。監査の結果、少なくともその 59.4% が、テスト設計か課題文、あるいはその両方に実質的な問題を抱えていた。138問に対する割合で見ると、実装の細部まで強制して正しい提出を落とすテストが 35.5%、課題文に書かれていない機能まで検査するテストが 18.8%、分類しきれない雑多な欠陥が 5.1% で、合わせて 59.4% になる²。テストの側の欠陥は、先の監査でも独立に出ている。その監査は、合格パッチの 31.08% を、テストが弱いために通っただけの「疑わしい合格」と判定した³。しかも OpenAI は、汚染とテストの欠陥が独立ではない証拠も見つけたと書いている。課題文に無い細部までテストが要求するとき、訓練で問題を見たモデルはその細部を知っているぶん通りやすい、というのだ²。上下どちらへの誤差も、モデルの能力とは無関係にスコアを動かす。

ベンチマークの陳腐化。固定された問題集は、公開された瞬間から識別力を失い始める。みなが同じテストに向かってチューニングすれば、テストは飽和し、上位陣の差は誤差やノイズと区別できなくなる。ストラザーンが法則の直後に挙げた例も、この現象である。ある成績が「取れて当たり前」になるほど、その成績は個々の力量を見分ける道具として劣化していく¹。SWE-bench Verified でも、OpenAI の発表時点で最高性能の伸びは直近6か月で 74.9% から 80.9% へと鈍っており、同社は「残る失敗はモデルの限界を映しているのか、それともデータセット自体の性質を映しているのか」と問うている²。残るのは、上位どうしのわずかな差を性能の優劣として掲げる宣伝文句であり、その差は現実の何も保証しない。

汚染を抑える評価の実例と、その限界

「テストで強い」と「現場で役に立つ」のあいだに谷があるかどうかを、本稿の出典は直接測っていない。測っているのは、テスト側の数字がその問いに答えられなくなっていく過程のほうだ。

問題を継続的に更新して汚染を構造的に抑える設計の評価は実在する。LiveBench は2024年の論文時点で、数学・コーディング・推論・言語・指示追従・データ分析という6分野の問題を毎月更新すると公表していた⁶。もっとも、HuggingFace で誰でも取れる6分野の問題セットは、2026年9月時点でも2025年4月から動いていない。一方で運営は、その配布とは別に問題の差し替えや追加を続けており、変更履歴には2026年1月までに5回の更新が並ぶ。2025年11月の更新は、ベンチマークの飽和と汚染への対処を目的に掲げている。リポジトリの説明は最新リリースの問題がすべては HuggingFace に出ていないと断っており、更新の間隔も毎月ではない⁶。

非公開の問題で測る held-out の評価にも実例はある。OpenAI は、専門家が非公開で書き起こした課題を訓練された評価者が採点する方式を挙げ、費用はかかるが真の能力の伸びを測るにはますます必要になっている、と述べている。乗り換え先についても具体的で、当面は SWE-bench Pro の公開分割を報告しているという。完全ではないが汚染は経験的には少ないようで、見つかった例も Verified よりずっとまれで軽く、正解パッチを丸ごと一字一句出せたモデルは無かった、というのが理由だ。同じ記事は、データセットをパスワード保護のもとに置くことと、学習データ側で canary 文字列を厳守することの2つも対策に挙げている²。

汚染そのものも、検出不能というわけではない。更新型・書き換え型・予防型という複数の対策手法が整理されており、白箱・灰箱・黒箱それぞれの透明性レベルに応じた検出手法も存在する。ある調査はこれらを体系的に整理し、より厳密な評価プロトコルの必要性を指摘している。ただし同じ調査は、既存の黒箱検出はヒューリスティックに依存して条件次第で破綻するとも述べており、頑健な検出手法の確立自体をこれからの課題に挙げている。さらに根に近いところでは、汚染と汎化、つまり「思い出している」のか「本当に解けるようになった」のかの曖昧さがなお未解決だとして、両者の区別を今後の研究が重視すべき点に挙げている⁷。少なくとも汚染については、測定を鍛え続ける道筋がある。ただし、その道筋は、選択肢記号の付け替えや採点方法の選び方のような、指標の解き方そのものを突く手口まで自動的に塞ぐわけではない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。