In Silico

AI・信頼性・評価

LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響

2026/6/20 （更新: 2026/10/13）

🤖 AIを使用して執筆

  • キャリブレーション
  • LLM
  • RLHF
  • ECE
  • GPT-4
  • 報酬モデル
  • PPO
  • DPO
  • 過信
  • 内部確率
  • 申告確信度
  • 口ぶり
  • 対数確率
  • 事前学習
  • MMLU
  • 温度スケーリング
  • CSR
  • GSM8K
  • TriviaQA
  • CommonsenseQA
  • Llama-2-70B
  • AUC
  • Brierスコア
  • SFT
目次
背景・問い・要点
背景

LLMは、合っていても間違っていても、同じ口調で言い切る。だが、ここで「自信」と呼ばれているものは一つではない。モデルが内部で持つ確率、モデルが言葉で申告する数値、読み手が受け取る口ぶりの三つがある。自信と実際の正答率のズレは、キャリブレーション（較正）という考えかたで一つの数字に表せる。人間の好みに合わせる事後学習（RLHF）がこのズレをどう変えるかで、自信を正しさの信号として使えるかが決まる。本稿は、GPT-4の技術報告書と、Lengら・Tianらの測定を例に取る。

問い

LLMの三つの「自信」のうち、どれならキャリブレーションを測れて、RLHFを通すとキャリブレーションはどう変わるのか。

要点

内部確率と申告確信度はキャリブレーションを測れる。測ると、RLHFを通したモデルでは、自信が実際の正答率を上回る過信が一貫して観測される12。報酬モデルが高い自信スコアを好む偏りが実測されており、著者らはそれが過信を説明しうると見る。この偏りは報酬の設計を変えれば減らせる。RLHF後のモデルが自分から出す口ぶりのキャリブレーションは、本稿が引いた研究の測定の外にある。

モデル・例示

自信90%の答えが7割しか当たらなければ、ズレは20ポイント

※ この節の数値は説明のための仮定で、測定値ではありません。

モデルがいくつかの質問に答え、答えごとに自信を付けたとする。自信90%を付けた答えが100個あり、そのうち70個が当たった。自信20%を付けた答えも100個あり、そのうち30個が当たった。キャリブレーションが良ければ、自信90%の答えは9割、自信20%の答えは2割当たるはずだ。「降水確率70%」と言った日のうち7割で雨が降る予報を、キャリブレーションが良いと言うのと同じ考えかたである。

この二つの組（ビン）では、90%のビンが20ポイントの過信、20%のビンが10ポイントの過小信頼になっている。ズレの大きさを一つの数字にしたのがECE（Expected Calibration Error）である。ECEは、答えをモデルが付けた自信度ごとのビンに分け、ビンごとに「そのビンの平均自信度」と「実際の正答率」の差の絶対値を取り、サンプル数で重みづけて平均したものだ3。ここでいう自信度は内部確率でも申告確信度でもよく、ECEはどちらにも同じ形で当てられる。

二つのビンに当てると、ECEは(100×0.20＋100×0.10)÷200＝0.15になる。絶対値を外すと(100×0.20−100×0.10)÷200＝0.05で、過信と過小信頼が打ち消し合い、ズレが3分の1に見えてしまう。ECEが0ならこの指標の上では完璧、0.15なら平均15ポイントズレている、という具合になる。

キャリブレーションの信頼性ダイアグラム（概念図） 横軸はモデルが付けた自信、縦軸は実際の正答率。対角線は「自信＝実際」の完璧なキャリブレーション。上の曲線は対角線に近くキャリブレーションが良い状態、下の曲線は対角線より下に垂れ下がり、高い自信を付けるほど実際の正答率が追いつかない「過信」を示す。どちらの曲線も概念を説明するための形であり、特定のモデルの実測値ではない。 ⚠ 概念図：数値は実データではなく、傾向を示すイメージ 0 50% 100% 0 50% 100% モデルが付けた自信 実際の正答率 過信の幅 完璧なキャリブレーション（自信＝実際） よくキャリブレーションされた例 過信した例
キャリブレーションの良し悪しは一枚で見える。対角線（モデルが付けた自信＝実際の正答率）に沿っていればキャリブレーションが良い。下に垂れるほど「言うほど当たっていない」＝過信だ。
これは概念図であり、曲線の形は傾向を示すイメージで、論文の実測値ではない。（作図：AI）

「自信」は三つある

先に言葉を分けておく。どれを指しているかで、以下に出てくる数字の意味が変わるからだ。

呼び名何を指すか（本稿が引いた研究での定義）
内部確率モデルが各選択肢に割り当てる確率そのもの。GPT-4の技術報告書のキャリブレーションプロットは、A/B/C/Dそれぞれに対するモデルの対数確率を横軸に取っている1
申告確信度「0から10で自信を答えよ」のように、モデルに言葉で言わせた数値。Lengらは0〜10のスケールで申告させ2、Tianらは出力トークンとして自信を吐かせ、数値の代わりに「Almost certain」「Likely」のような決まった言語表現から選ばせる方式も試している（表現は123人への調査で確率へ写し、そのキャリブレーションも測った）4
口ぶり断定的な語調、ためらいの無さ、言い切りの強さ。読者が「自信ありげ」と感じるのはこれだ。本稿が引いた研究は、RLHF後のモデルについては、決まった表現を選ばせた場合（Tianら）までしか測っておらず、モデルが自分から出す語調そのもののキャリブレーションは測っていない

やっかいなのは、日常語で「AIが自信満々だ」と言うときに指しているのが三つ目なのに、論文が主に測っているのは前の二つだ、という点だ。キャリブレーションには作業定義がある（降水確率70%の日のうち7割で雨が降るか）。RLHF後のモデルについて、本稿が引いた研究で口ぶりの側にこの作業定義が当てられているのは、上の決まった表現の場合だけだ。RLHFを通していない雑談用の対話モデルでは、Mielkeらが、TriviaQAの質問への応答に添えた疑いや確信の言い回しを正誤と照らし、当たりそうにない答えにも確信を示す過信の側に外れていると報告している5。以下の数字はすべて、内部確率か申告確信度についてのものだと思って読んでほしい。

素のモデルのほうが、キャリブレーションが良かった

ここで、GPT-4の技術報告書（2023年3月・第5節）が見せた事実が効いてくる1。事前学習しただけの「素の」GPT-4は、よくキャリブレーションされていた。報告書の言い方では、予測した自信が正しい確率とおおむね一致していた。ところが、人間の好みに合わせる事後学習（RLHF）を通すと、キャリブレーションは低下した。図に印字された数字が具体的だ。ECEは0.007から0.074へ、一桁増えている（同報告書 Figure 8）。

ただし、この一文には限定条件が三つ付く。測定はMMLU（57分野の多肢選択試験を集めた知識ベンチマーク）の一部に対する多肢選択で行われている。測られた「自信」は内部確率のほうで、横軸はA/B/C/Dの各選択肢に対する対数確率だ。ズレの向きは、図の説明ではなく地の文のほうが語っている。同じ節の同じ段落は、素のモデルのキャリブレーションに触れる直前に「GPT-4は自信をもって間違えることがあり、間違えそうなときに検算をしない」と書いている1。過信の側だ、と報告書は述べている。

図そのものは、もう少し細かいことを言っている。事後学習後のプロットで正答率が自信に届かない状態、つまり過信が現れるのは、自信0.4以上のビンだ。0.1〜0.3の低いビンでは向きが逆で、正答率のほうが自信を上回っている1。過信のビンと過小信頼のビンが同じ図に並ぶので、差を符号つきで平均すると両者が打ち消し合う。ECEが差の絶対値を取るのは、こういう形が実際に出るからだ。この過信のほうを別の測り方で実測したのが、次の節で見る研究になる。

もう一つ肝心なのは、能力がほとんど変わっていないことだ。同報告書の付録Bは、試験ベンチの多肢選択部分で素のモデル73.7%、RLHF後74.0%と報告している。ここも無限定ではない。自由記述の問題については、素のモデルとRLHFモデルを対等な条件で比べるのは難しい、と報告書自身が断っている（自由記述の答えを取り出す手続きが、指示追従の能力に助けられてしまうため）。限定つきではあるが、少なくとも多肢選択で見るかぎり、失われたのは賢さではなかった。

なぜアライメントは自信を膨らませるのか

ズレの向きを実測したのは、Lengらの研究だ（ICLR 2025）2。Lengらは「0から10で自信を答えよ」と明示的に指示した。つまり申告確信度で測っている。この設計で、RLHFを通したモデルは、SFT（教師ありファインチューニングのみ）の対応版より強い過信を示した。しかもこれは、PPOで訓練したモデルにもDPOで訓練したモデルにも当てはまる。著者らは4モデル（PPO前後の一組とDPO前後の一組）を常識推論のCommonsenseQAで比べ、「明確で一貫した傾向」と書いている。著者らは付録の予備実験でも同じ向きを確かめており、小学校レベルの文章題を集めた算数ベンチのGSM8Kを含む5つのデータセットが並ぶ（本文と合わせて計6つ）。

著者らが指す理由は、採点の構造にある。RLHFは「人間が好む答え」を、報酬モデルという代理指標に置き換えて最適化する。そしてLengらは、その報酬モデルが、応答の実際の質と無関係に、高い自信スコアを付けた応答へ高い点を与える系統的な偏りを持つことを実験で示した。PPOで使う報酬モデル（ArmoRM-Llama3-8B）では、人間に選ばれた側の応答に低い自信を、選ばれなかった側に高い自信を付け替えるだけで、選ばれなかった側を報酬モデルが選ぶ回数が231回から1754回へ跳ね上がった。DPOの暗黙報酬モデルではここまでの逆転は起きない。ただし同じ応答に高い自信と低い自信を付けて並べると、どちらのモデルも高いほうを選ぶ。操作されたのは応答に付けた自信スコアという数値だけで、語調ではない。著者らは、報酬モデルが高い自信スコアを好むこの系統的な偏りが、RLHF後のモデルに見られる過信を説明しうる、と見ている。（人間のアノテータ自身が自信ありげな答えを好むかどうかは、この研究が直接測ったものではない。測られたのは報酬モデルの側だ。）ここまでは申告確信度の側の機構だ。

内部確率の側については、Tianらが序論で一つの機構を示唆している。強化学習の目的が最も好まれる答えに確率質量を寄せ、ありうる答えの相対頻度に合わせなくなるためかもしれない、というものだ4。

キャリブレーションは報酬の側で直せる

ここで話を止めるのは早い。Lengらの論文の本体は、この偏りの指摘ではなく、その修正だからだ。彼らは報酬モデルの訓練に明示的な自信スコアを組み込むPPO-Mと、過去の報酬の指数移動平均を基準に報酬スコアを補正するPPO-Cという二つの変種を提案し、どちらも標準のPPOより低いECEを、同程度の正答率で達成したと報告している（提案者自身による評価である）。Llama3-8Bを思考の連鎖（CoT）で解かせたGSM8Kでは、PPO-MのECEは0.1909で、標準のPPO（0.2566）より6.57ポイント低く、正答率は0.7392から0.7703へ3.11ポイント上がった（同論文 Table 1）。ただし同じTable 1で2モデル×2プロンプト×6データセットの24組を数えると、ECEはPPO-Mが23組・PPO-Cが24組で標準のPPOより低いのに対し、正答率はPPO-Mで11組・PPO-Cで13組が標準のPPOを下回る（下回り幅は最大2.8ポイント）。DPOモデル向けの拡張（CDPO）も、Mistral-7Bの2プロンプト×6データセットの12組中11組で標準のDPOよりECEが低いが、正答率は4組で下回る（下回り幅は最大1.3ポイント、同論文 Table 4）2。

つまりキャリブレーションの崩れは、選好最適化に必ず付いてくる代償ではなく、報酬の設計しだいで減らせるものだった。原理的に避けられないのではなく、現行の報酬モデルの作り方に由来する圧力なのだ。

申告のさせ方でも変わる。RLHF後のモデル（ChatGPT・GPT-4・Claude）では、内部の条件付き確率を読むより、言葉で「どれだけ自信があるか」を答えさせるほうがキャリブレーションが良いことが多い、という報告がある。TriviaQA・SciQ・TruthfulQAというQAベンチマーク上で、同論文が二乗誤差で定義するECE（差の絶対値で定義するECEとは別の指標）が、相対で約50%縮むことが多い4。ただしこの幅に届くのは「先に複数の候補を挙げさせてから自信を言わせる」方式（と温度スケーリングの併用）のときだ。単に一つ答えさせて自信を言わせるだけだと、GPT系の2モデルでもデータセットによっては1〜2割の改善にとどまり、Claude-1とClaude-2ではSciQで逆にECEが悪化する（同論文 Table 3・4）。この「約50%」自体はRLHF前後の比較ではなく、RLHF後のモデルの内部の条件付き確率と申告確信度の比較だ。それでも、「キャリブレーションはRLHF後には一律に取り返しがつかない」わけではない、とは言える。

もっとも、同じ論文はRLHF前後の比較も別に載せている。オープンモデルの Llama-2-70B を素の版とチャット版で比べると、対数確率のキャリブレーションはTriviaQA・SciQ・TruthfulQAのいずれでもECEで悪化した（図の説明は「おおむね（generally）悪化させる」と留保している）。著者ら自身、これをGPT-4報告書の知見の追試（replicate）だと書いている4。

ここで引いた測定は、いずれも同じ向きを指している。だからといって「RLHFは必ずキャリブレーションを壊す」と一般化するには、測られた範囲が狭すぎる。GPT-4の例は一つの多肢選択ベンチの一部、Tianらの追試は70Bのオープンモデル一系統、Lengらが調べたのは7〜8Bクラスの二系統だ。加えて、GPT-4の数字を測ったのは、そのモデルを作った当人であり、報告書が測定について書いているのは図の説明にある骨格までで、部分集合の選び方や問題数は書かれていない1。この一本の向きを外から支えているのは、別のモデルで独立に追試したTianらだ。測り方も対象も違う三者だが、向きは揃っている。LengらとTianらはどちらも、この向きの先行研究としてGPT-4報告書とKadavathら（2022）を挙げている24。言えるのは「人間の選好を代理指標に置き換えて最適化すると、キャリブレーションを犠牲にする圧力がかかる」ということまでで、これは傾向であって法則ではない。

ECEは高い自信の側のズレに鈍い

ECEは自信度の水準によらず、同じ大きさのズレを同じ重みで数える線形の指標だ。ある研究は、自信55%での5ポイントのズレと自信95%での5ポイントのズレは同じ重さの失敗ではないと述べ、ECEが小さいままでも過信のリスクはいくらでも大きくなりうると指摘する3。同じ研究は代わりに、完璧なキャリブレーションのときちょうど1になる指標CSR（Calibrated Size Ratio）と、そこから導く過信リスクの確率を提案している。この研究はまた、ビンに入るサンプル数は自信度の低い領域ほど多いので、ECEはズレがいちばん危なくない領域に引っ張られ、いちばん危ない高自信の裾に鈍くなるとも書く。もっとも、この研究が実データで試したのはXGBoostで作った分類器（UCIのデータセット・CIFAR-10・MNIST）で、LLMは含まれない。Lengらの測定では、RLHF後のモデルの申告確信度はむしろ自信の高いビンに集まっていた2。ただし、ECEの限界そのものは新しい指摘ではない。Tianらも、ECEは標準的で解釈しやすい尺度だが自信の弁別力をまったく捉えられないと書き、「二値分類で常に50%と答えるランダム推測器はECEが完璧になる」という反例を挙げて、AUCとBrierスコアを併記している4。評価指標そのものが、まだ議論の対象なのだ。

出典5件

  1. OpenAI「GPT-4 Technical Report」arXiv:2303.08774, 2023. https://arxiv.org/abs/2303.08774 — 第5節の図8で、MMLUの一部でECEが0.007から0.074へ悪化（横軸は各選択肢の対数確率）。付録Bの多肢選択は73.7%→74.0%。査読を経ない自社測定で、部分集合の選び方や問題数は書かれていない。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  2. Leng ほか「Taming Overconfidence in LLMs: Reward Calibration in RLHF」ICLR, 2025. https://arxiv.org/abs/2410.09724 — RLHF後の過信を6データセットで示し、報酬モデルの自信スコアへの偏りを実測、補正するPPO-M・PPO-C・CDPOを提案。要旨の6.44はPPO†との差。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  3. Martin-Maroto ほか「Beyond ECE: Calibrated Size Ratio, Risk Assessment, and Confidence-Weighted Metrics」arXiv:2605.01796, 2026. https://arxiv.org/abs/2605.01796 — 未査読。ECEの式と、高自信の裾に鈍いという指摘、代替のCSRを示す。 ↩ ↩2

  4. Tian ほか「Just Ask for Calibration」EMNLP, 2023. https://arxiv.org/abs/2305.14975 — 言葉の自信のほうがキャリブレーションが良いことが多いと報告。ECEは二乗誤差で定義。Llama-2-70Bで対数確率のキャリブレーションの悪化を追試。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  5. Mielke ほか「Reducing Conversational Agents’ Overconfidence Through Linguistic Calibration」TACL 10, 2022. https://arxiv.org/abs/2012.14983 — Redditで事前学習しBlended Skill Talkで微調整したBlenderBotの確信表現は過信側と報告。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。