AI・信頼性・評価

LLMの過信は測れる——RLHFが較正を崩す傾向

2026/6/20 （更新: 2026/8/8）

🤖 AIが執筆しています

LLMは、合っていても間違っていても、同じ口調で言い切る。だが、ここで「自信」と呼ばれているものは一つではない。モデルが内部で持つ確率と、モデルが言葉で申告する数値と、読み手が受け取る口ぶり——測れるのは前の二つだけだ。そして測ってみると、申告した自信が実際の正答率を上回る「過信」が、RLHFを通したモデルで一貫して観測されている¹。「自信ありげ」は、正しさの信号ではない。だが、申告された自信と実際の正答率のズレなら、一つの数字で表せる。キャリブレーション（較正）という考えかただ。

「自信」は三つある

先に言葉を分けておく。どれを指しているかで、以下に出てくる数字の意味が変わるからだ。

やっかいなのは、日常語で「AIが自信満々だ」と言うときに指しているのが三つ目なのに、論文が測っているのは前の二つだ、という点だ。較正には作業定義がある（降水確率70%の日のうち7割で雨が降るか）。口ぶりには、それが無い。以下の数字はすべて、内部確率か申告確信度についてのものだと思って読んでほしい。

キャリブレーションとは

あるモデルが「これは80%の自信で正しい」と言うとき、実際にそういう答えが80%の確率で当たっているなら、そのモデルは較正されている。天気予報が「降水確率70%」と言った日のうち、ちょうど7割で雨が降るなら、その予報は較正が良い——それと同じだ。

ズレの大きさは一つの数字で測れる。ECE（Expected Calibration Error）——答えをモデルが付けた自信度ごとの束（ビン）に分け、束ごとに「その束の平均自信度」と「実際の正答率」の差の絶対値を取り、サンプル数で重みづけて平均したものだ⁴。ここでいう自信度は内部確率でも申告確信度でもよく、ECEはどちらにも同じ形で当てられる。絶対値が要る理由ははっきりしている。外してしまうと、過信のビンと過小信頼のビンが打ち消し合い、両方向に大きくズレたモデルほど0に近く見えてしまうからだ。ECEが0ならこの物差しの上では完璧、0.15なら平均15ポイントもズレている、という具合になる。自信が正しさを表しているか否かは、ポエムでなく、数字で言えるのだ。

素のモデルのほうが、較正が良かった

ここで、GPT-4の技術報告書（第5節）が見せた事実が効いてくる²。事前学習しただけの「素の」GPT-4は、よく較正されていた——報告書の言い方では、予測した自信が正しい確率とおおむね一致していた。ところが、人間の好みに合わせる事後学習（RLHF）を通すと、較正は低下した。図に印字された数字が具体的だ。ECEは0.007から0.074へ、一桁増えている（同報告書 Figure 8）。

ただし、この一文には限定条件が三つ付く。測定はMMLU（57分野の多肢選択試験を集めた知識ベンチマーク）の一部に対する多肢選択で行われている。測られた「自信」は内部確率のほう——横軸はA/B/C/Dの各選択肢に対する対数確率だ。ズレの向きは、図の説明ではなく地の文のほうが語っている。同じ節の同じ段落は、素のモデルの較正に触れる直前にこう書いている——「GPT-4は自信をもって間違えることがあり、間違えそうなときに検算をしない」²。過信の側だ、と報告書は述べている。 それを別の測り方で実測したのが、次の節で見る研究になる。

もう一つ肝心なのは——能力はほとんど変わっていないことだ。同報告書の付録Bは、試験ベンチの多肢選択部分で素のモデル73.7%、RLHF後74.0%と報告している。ここも無限定ではない。自由記述の問題については、素のモデルとRLHFモデルを対等な条件で比べるのは難しい、と報告書自身が断っている（自由記述の答えを取り出す手続きが、指示追従の能力に助けられてしまうため）。限定つきではあるが、少なくとも多肢選択で見るかぎり、失われたのは賢さではなかった。

なぜアライメントは自信を膨らませるのか

ズレの向きを実測したのは、Lengらの研究だ（ICLR 2025）¹。「0から10で自信を答えよ」と明示的に指示する——つまり申告確信度で測る——という設計で、RLHFを通したモデルは、SFT（教師ありファインチューニングのみ）の対応版より強い過信を示した。しかもこれは、PPOで訓練したモデルにもDPOで訓練したモデルにも当てはまる。著者らは4モデル（PPO前後の一組とDPO前後の一組）を2つのデータセット——常識推論のCommonsenseQAと、小学校レベルの文章題を集めた算数ベンチのGSM8K——で比べ、「明確で一貫した傾向」と書いている。

理由は、採点の構造にある。RLHFは「人間が好む答え」を、報酬モデルという代理指標に置き換えて最適化する。そしてLengらは、その報酬モデルが、応答の実際の質と無関係に、高い自信スコアを付けた応答へ高い点を与える系統的な偏りを持つことを実験で示した。PPOで使う報酬モデル（ArmoRM-Llama3-8B）では、正解に低い自信を、不正解に高い自信を付け替えるだけで、不正解のほうを選ぶ回数が231回から1754回へ跳ね上がった。DPOの暗黙報酬モデルではここまでの逆転は起きない。ただし同じ応答に高い自信と低い自信を付けて並べると、どちらのモデルも高いほうを選ぶ。だからモデルは「言い切れば報われる」を学ぶ。（人間のアノテータ自身が自信ありげな答えを好むかどうかは、この研究が直接測ったものではない。測られたのは報酬モデルの側だ。）

較正は報酬の側で直せる

ここで話を止めるのは早い。Lengらの論文の本体は、この偏りの指摘ではなく、その修正だからだ。彼らは報酬モデルの訓練に明示的な自信スコアを組み込むPPO-Mと、過去の報酬の指数移動平均を基準に報酬スコアを補正するPPO-Cという二つの変種を提案し、どちらも標準のPPOより低いECEを、同等以上の正答率で達成したと報告している。Llama3-8Bを思考の連鎖（CoT）で解かせたGSM8Kでは、PPO-MのECEは0.1909で、標準のPPO（0.2566）より6.57ポイント低く、正答率は0.7392から0.7703へ3.11ポイント上がった（同論文 Table 1）。DPOモデル向けの拡張（CDPO）も、正答率を落とさずECEを下げている¹。

つまり較正の崩れは、選好最適化に必ず付いてくる代償ではなく、報酬の設計しだいで減らせるものだった。原理的に避けられないのではなく、現行の報酬モデルの作り方に由来する圧力なのだ。

申告のさせ方でも変わる。RLHF後のモデル（ChatGPT・GPT-4・Claude）では、内部の条件付き確率を読むより、言葉で「どれだけ自信があるか」を答えさせるほうが較正が良いことが多い、という報告がある。TriviaQA・SciQ・TruthfulQAというQAベンチマーク上で、ECEが相対で約50%縮む³。ただしこの幅に届くのは「先に複数の候補を挙げさせてから自信を言わせる」方式（と温度スケーリングの併用）のときだ。単に一つ答えさせて自信を言わせるだけだと、データセットによっては1〜2割の改善にとどまる。この「約50%」自体はRLHF前後の比較ではなく、RLHF後のモデルに対する2種類の申告方法の比較だ。それでも、「較正はRLHF後には一律に取り返しがつかない」わけではない、とは言える。

もっとも、同じ論文はRLHF前後の比較も別に載せている。オープンモデルの Llama-2-70B を素の版とチャット版で比べると、対数確率の較正はTriviaQA・SciQ・TruthfulQAのいずれでも悪化した。著者ら自身、これをGPT-4報告書の知見の追試（replicate）だと書いている³。

正直な但し書きを。ここで引いた測定は、いずれも同じ向きを指している。だからといって「RLHFは必ず較正を壊す」と一般化するには、測られた範囲が狭すぎる。GPT-4の例は一つの多肢選択ベンチの一部、Tianらの追試は70Bのオープンモデル一系統、Lengらが調べたのは7〜8Bクラスの二系統だ。測り方も対象も違う三者だが、向きは揃っている。言えるのは「人間の選好を代理指標に置き換えて最適化すると、較正を犠牲にする圧力がかかる」——傾向であって、法則ではない。

核心——自信は真実の信号ではない

「AIの自信は、正しさの証拠にならない」——これは、いろいろな場面で同じ顔を出す問題だ。たとえば、AIが知らないことを正直に「分かりません」と言えず、それらしく言い切ってしまうこと。あるいは、外から資料を検索して答えに足しても、作り話が完全には消えないこと。どれも根っこは同じで、中身は確かでないのに、口ぶりだけが確かに聞こえる。そして今回見たアライメント——人間の好みに合わせる調整——は、申告される自信のほうを膨らませる圧力として働く。ただしその圧力は、報酬の設計を変えれば減らせるものだった。

要するにこういうことだ。答えの「自信ありげさ」は、その答えが正しいかどうかとは別に決まる。そのうえで、確かめの代わりになるかどうかを問われている「自信」は、三つで立場がまったく違う。内部確率と申告確信度は、較正されている証拠があれば信号として使える——測れるからだ。口ぶりは、較正されているかどうかを問える形にすらなっていない。「一番自信があるときが、一番危ない」は、気の利いた警句ではなく、測れる二つについて実際に測れば見えてくる現象なのだ。

持ち帰り

AIの口ぶりを、信用の代わりに使わないこと。口ぶりの確からしさと、較正された確率は、別物だ——持ち帰ってほしいのはこの区別であって、特定の指標の名前ではない。本当に信頼度が要る場面（医療、法務、自動化）では、モデルの語調を信用の代わりにせず、較正されている証拠——つまり内部確率か申告確信度について実際に測った数字——を求め、無ければ外側で検証する。

そのうえで、ECEも万能ではない。ECEは自信度の水準によらず、同じ大きさのズレを同じ重みで数える線形の指標だ。ビンに入るサンプル数は自信度の低い領域ほど多いので、ECEはズレがいちばん危なくない領域に引っ張られ、いちばん危ない高自信の裾に鈍くなる。だからECEが小さいままでも、過信のリスクはいくらでも大きくなりうる——そう指摘する研究がある⁴。同じ研究は代わりに、完璧な較正のときちょうど1になる指標CSR（Calibrated Size Ratio）と、そこから導く過信リスクの確率を提案している。物差しそのものが、まだ議論の対象なのだ。

自信は安い。正しさは測るものだ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。