AI・信頼性・評価

ハルシネーションの原因と対策：なぜ起き、どこまで減らせるか

2026/6/20 （更新: 2026/10/13）

🤖 AIを使用して執筆

「真偽」というデータを持っていない

事前学習でモデルが最適化しているのは、単純化すれば「次のトークンとして、もっともらしいものを出す」ことだ。事後学習(RLHF等)は人間の選好を上書きするが、「真である」という独立した信号を足すわけではない（誤り自体は減らしうる¹）。モデルの内部には、参照すべき事実の台帳も、「これは知らない」と判定する真理値テーブルもない。あるのは、膨大なテキストから推定した「このコンテキストの続きとして、こういう文字列はどれくらいありそうか」という確率分布だけだ¹。

だから正しい答えもハルシネーションも、モデルから見れば同じ操作の産物でしかない。どちらも「それらしい続き」の出力であり、モデルは両者を確実に切り分ける内部の真理基準を持たない（あるのは弱い不確かさの信号どまりだ）。流暢さと正しさが別の軸であることは、自然言語生成の分野で広く整理されてきた論点でもある²。モデルがよどみなく自信たっぷりに書いた文が間違っていることは、バグではなく仕様の帰結だ。しかもこの「弱い不確かさの信号」は、思うより頼りにならない。Simhi らは、モデルが普段は同じ問いに正しく答えられるのに、ちょっとした言い換えのあとでは確信たっぷりに間違った答えを返すという食い違いを報告している³。こうした誤りが全ハルシネーションに占める割合は0.3〜2.1%にとどまるが、それは知識があるのに誤る例そのものが全体の2〜8%と少ないためで、その中では16〜43%が高確信だと原典は書く³。同論文が用いた七つのプロンプト設定のうち六つは、綴り誤りを混ぜる先行研究のやり方を離れ、実際の利用者のやりとりに近い自然な文面として著者らが新たに設計した³。そのうち五つについては、ジェイルブレイク型の文面より有意に中立だと受け取られることを小規模な注釈者評定が確かめている³。

有用さと混同は同じ機械から出る

ここが非自明な点だ。モデルが訓練データに無い質問へ気の利いた答えを返せるのは、丸暗記ではなく「埋める」能力、つまり一般化のおかげだ。観測していないものを、近傍のパターンから補完する。この補完がたまたま事実と一致すれば「賢い」と呼ばれ、外れれば「ハルシネーション」と呼ばれる。中身は同じ処理だ。

だから「ハルシネーションを一つ残らず消して有用さは残す」という注文は、補完で答えを作るかぎり虫が良い。補完を完全に止めれば、残るのは学習データを丸写しするだけの参照表であって、未知の問いに答えられる言語モデルではない。本稿の解釈では、両者は片方だけを消せる種類の対立ではなく、同じ能力の二つの現れ方である。この形を定量的に測った出典は挙げていない。

ただし ¹ 自身も、誤らないモデルとして「学習データを丸写しする自明なモデル」を挙げ、それは密度推定に失敗すると書いている。同論文は関連研究として、妥当な文字列だけを出すことと言語の幅を捉えることの両立が、次トークン予測を含む広いクラスのモデルでは大半の場合に不可能だと示した理論研究も挙げている⁴。元資料から支持も反証もできないハルシネーションは常に誤りとは限らず、外部の正しい事実に由来していれば背景知識を呼び出して生成文の情報量を高めるので有用でありうる、という整理もある²。同サーベイは、追加情報が検証できない点を理由に、多くの文献がこれを慎重に扱うとも書いている。¹ が下界を導く主経路は「近傍から補完しようのない恣意的な事実」についての誤りで、補完の外れそのものではない。ただし Kalai らは、表現力不足による誤り（§3.3.2「Poor models」）のほか、§3.4 で分布シフト、つまり訓練分布から大きく外れた入力に由来する誤りも要因として挙げている。

原因は二つあり、片方は避けがたく片方は選べる

とはいえ、ここまでは「ゼロにできない」という理論の話であって、「割合を下げられない」という話ではない。この事前学習段階の誤り率の下界を導いた、OpenAI の Kalai らとジョージア工科大の Vempala による2025年の論文は、ハルシネーションの原因を二段に分ける¹。

• 事前学習（statistical）：もし「偽の文」と「真の文」を見分けられないなら、統計的な圧力だけで、ある割合の誤りは必然的に生まれる。ハルシネーションは二値分類の誤りとして発生する。論文は、先行研究が誕生日のような恣意的な事実について示した下限を導き直し、プロンプトと「分かりません」を含む形へ広げている。事前学習後のハルシネーション率は、学習データに一度しか現れない事実の割合を下回れない。誕生日の事実の20%が学習データに一度しか出てこなければ、ベースモデルは誕生日の少なくとも20%でハルシネーションすると期待される。
• 事後学習・評価（incentive）：けれど、モデルがしつこくハルシネーションし続けるのは、評価が当てずっぽうに報酬を与え続けるから。こちらは宿命ではなく、私たちの選択だ。

そのうえで同論文は、「ハルシネーションは不可避だ」という見方を明示的に退けている。「ハルシネーションが避けがたいのはベースモデルに限る」という見出しの段落を立て、宿命論を唱えた先行研究を名指ししたうえで、固定の質問応答データベースと計算機を備え、それ以外は「分かりません」と答える系なら誤らずに済むことを根拠に挙げる。ただし同論文は、誤らないモデルはキャリブレーションされないはずだ（Corollary 1）とも書いており、棄権には代償が付く¹。この反例は答えることをやめた系であり、補完で答え続けるモデルの誤りが消えることを示すものではない。確信のない補完だけを抑える方向には大きな余地があるが、先に見たとおり、確信度そのものが当てにならない場合には、この方向も取りこぼす。事前学習の段階で生じる床（ベースモデルの誤り率はゼロにはならない）と、現状の運用で動かせる高さ（割合）は、分けて捉えるべきだ。前者を理由に「LLMは本質的にハルシネーションするもの、仕方ない」で止めてしまうと、自分の手で直せる部分を見逃す。

二値採点は、分からない問いでも言い切るモデルを育てる

同論文の核心は、一文で言い切れる。言語モデルは「良い受験者」になるよう最適化されている。そして良い受験者は、分からない問題で当てずっぽうを書く。

4択の試験で、受験者が答えを知らない問題に出会ったとする。採点が「正解は1点、誤答も空欄も0点」なら、空欄の得点は0点である。適当にマークすれば4分の1の確率で当たるので、得点の期待値は0.25点になる。この採点の下では、知らない問題でも何か書くのが得になる。採点を「正解は1点、誤答は1/3点の減点、空欄は0点」に変えると、当てずっぽうの期待値は 1/4 × 1 − 3/4 × 1/3 = 0点になり、空欄と並ぶ。誤答の減点をそれより大きくすれば、当てずっぽうしかできない問題では空欄のほうが得になる。採点の規則を変えるだけで、同じ知識の受験者にとって得な振る舞いが入れ替わる。

主要なベンチマークの多くは、答えが合っていれば1点、外れていれば0点。論文が調べた10件のうち9件が二値採点で、棄権に部分点はまったくない。唯一の例外も、1〜10段階の採点基準ゆえに「分かりません」がハルシネーション入りの平凡な回答より低く採点されうる、と論文は注記している。そして「分かりません」は、誤答とまったく同じ0点として扱われる。すると、モデルにとって合理的な振る舞いは確信がなくても、それらしい答えを言い切ることだ。論文はこれを、自らかぎ括弧つきで「不確実な応答を罰する「流行」（this “epidemic” of penalizing uncertain responses）」と呼ぶ。ハルシネーションが続くのは性格の欠陥ではない。与えた採点ルールへの最適応答だ。

ここで効いてくるのは、指標が目標になった瞬間、それは良い指標でなくなるという、グッドハートの法則として広く引かれる言い方だ⁵。その実例がこれだ。「ベンチマークのスコア」という指標が目標になった結果、モデルはスコアを上げる最短経路、すなわち自信たっぷりにハッタリをかますことを学んだ。私たちは「正しさ」だけを測っているつもりで、知らない問いでも「言い切る度胸」にまで報酬を与えていた。

口調の自信を、そのまま確度として読むことはできない。二値の採点が言い切りに報酬を与えているぶん、確信ありげな言い方は「そう言い切るのが得だ」という戦略を映している面がある。ただし、口ぶりの自信がまったくの無情報だというわけでもない。Zongらは、モデルに自己申告させた確信度が言い換えに対して安定で、トークン確率に照らしてもそれなりにキャリブレーションされていたと報告している⁶。危ういのは「言い切りが強いほど正しい」と素朴に読み替えるほうだ。

採点を変えて選べるのは、棄権と誤答の曲線上の動作点

論文の提案は、新しい「ハルシネーション専用ベンチマーク」を足すことではない。そんなものを脇に作っても、主要なリーダーボードが二値採点のままなら、モデルは相変わらず当てずっぽうに最適化される。提案は支配的な既存ベンチマークの採点を変えることだ。具体的には、「分かりません」を誤答より高く評価し、自信ある誤答を無解答より強く罰する。ただし論文が自分の新規性だと書いているのは、罰則を置くこと自体ではない（それは先行研究で研究済みだと認めている）。信頼度の閾値を設問の指示文に明記することのほうだ。論文が挙げている文面はこうだ。「確信が t を超えるときだけ答えよ。誤答は t/(1−t) 点の減点、正解は +1 点、「分かりません」は 0 点である」（t は 0.5・0.75・0.9 が自然な値として挙がる）。

これは技術の問題というより、何を測り、何に報酬を与えるかという社会技術的な選択だ。論文はインドの JEE・NEET・GATE、米国 MAA の AMC、かつての SAT・AP・GRE を、誤答に罰則を置く実在の試験として挙げ、そこでは採点方式が指示文に明記され、受験者が閾値を意識していると書いている。

では、モデルも受験者と同じように動くのか。論文の Nature 掲載版は、これを4つのフロンティアモデル（Gemini 3 Pro、GPT-5、Grok 4、Claude Opus 4.5）とSimpleQAの4,326問で試している⁷。採点を指示文に書くと、1例を除いて、モデルは閾値が高いほど多く棄権した。それでも、誤答1問につき3点や9点を引く採点では、対策を入れない素の回答は4モデルとも得点がマイナスで、全問「分かりません」と答えたほうが高い得点になった。掲載版がこの実験で確かめたのは、採点がハルシネーション対策の採用を後押しするかどうかだ。二度答えさせて食い違えば棄権する、という対策は、正答率だけの採点では正答も減らすので採り入れにくい。採点を指示文で明かし、誤答に罰則を置くと、どの罰則でもこの対策が素の回答を上回り、採り入れる後押しになる。罰則0の採点では棄権させずに二つの答えの良いほうを選ばせる形に変えており、それでも素の回答をわずかに上回った。なお原典は、これがモデル間を比べるための統制された評価ではないと断っている。

さらに、棄権への報酬を変化させると「棄権率とハルシネーション率」の間にはっきりしたトレードオフの境界線が現れたと、先に挙げたZongらのプレプリント（I-CALM）が報告している⁶。ただし原典によれば、その境界線の形そのものは、報酬をどう変えても変わらない。報酬の言い方はモデルを安定した曲線の上で動かしているだけだ。ならば逆に、報酬の指定でその上の動作点を選べる、と当の段落は締めくくっている。能力が上がった証拠と読むなという釘は、そこではなく結論の節に打たれている。得られた利得は調整可能な境界線上の移動として解釈すべきであって、強制的に答えさせたときの事実性が改善した証拠ではない、と原典は書いている。採点の変更で買えるのは動作点の選択であって、曲線の外側ではない。そしてハルシネーションの低下は答える割合（カバレッジ）を手放すことで支払われている。なおこれはGPT-5 miniをPopQAで試した主設定でのプロンプトのみの介入であり、効果の大きさはモデルやデータセットによって変わるとされる。

ただし、この処方箋は単純ではない。KARL は、「正解+1／棄権0／誤答−1」という提案と同じ型の静的な三値報酬で強化学習すると、学習の早い段階で棄権が急増して正答率が落ち込むと報告している。この現象を KARL は「棄権のわな」と呼ぶ。原典の散文はこれを「しばしば全問棄権に至る不可逆な崩壊」と書くが、原典自身が示す学習曲線（Llama-3.1-8B・図2(b)）では棄権は8割台半ばを頂点に5割台まで下がり、正答率も初期値近くまで戻っている⁸。学習の初期に「誤答と棄権しか出ない」群が分布を支配し、棄権の報酬が誤答の報酬を少しでも上回るかぎり、棄権の優位が構造的に立ってしまうからだ。罰則を強すぎないよう加減すれば避けられる、という類の話ではない。これはベンチマークの採点表そのものではなく、その採点則で強化学習したときの学習力学の話だが、採点を変えるとは最終的に何かをその採点で最適化することなので、留保としての効き目は残る。もっとも原典は、このわなを行き止まりではなく設計課題として扱っている。KARL 自身の答えは二段構えだった。第一段では知識境界を探り、学習データの半分に「正解だけ+1、誤答も棄権も0」という固定の二値報酬をかける。誤答と棄権しか出ない群の勾配を消す安全策だと原典は書く⁸。残りのデータと、続く第二段の全データには、同じ問いへの複数回答の内訳からモデルの知識境界をその場で推定して切り替える報酬を使う。警告の中身は「棄権に報酬を与えるな」ではなく、「棄権に報酬を置いた固定の採点表だけで最適化するな」である。

さらに、「分かりません」と言うべき理由には少なくとも二種類ある。一つは答えを知らない場合、もう一つはその問い自体に答えがない場合だ。単一の自信度しきい値だけでこの二つを見分けようとすると、拾える正答が大きく減る。Wagnerの2026年のプレプリントは、2Bから14Bの指示調整済みモデル5本（3系統）でこの二軸を測っている。8Bのモデルでは、単一しきい値だと同じリスク基準の下で正答の31%（テスト分割の正答可能問題16問中5問）しか拾えないのに対し、二つの軸を分けて判定すると75%（同12問）まで拾えたという。14Bについて原典の散文は二軸方式だけがその基準を満たしたと書くが、同じ論文の表（Table 4）では、問いが答えを持つかだけで判定する方式にも14Bで認証の印が付いている（拾えた正答の割合は二軸方式の0.47に対し0.35）。14Bで認証を逃したのは、単一の自信度しきい値と、二つの信号を一本のスカラーに融合する方式だった⁹。ただし公平に言えば、その融合方式は 8B では 0.81 と、二軸方式の 0.75 を上回っている。原典自身が「最強の対抗馬に対して率直に述べる」と前置きして書いていることだ。二軸に分ける利点は最大カバレッジではなく、「答えられない問いに答えた率」と「間違って答えた率」を別々に保証できることのほうにある。原典の主張も「軸を分けよ」ではない。「二つの軸のどんなスカラー結合も効かないとは主張しない。単独の軸ではどちらも足りないと主張する」。

「棄権に報酬を」は正しい方向だが、実装を誤ればもっともらしい別の失敗を生む。同じ論文が、その実例を測っている。モデルに「前提を確認せよ」と素直に指示すると、健全な前提と誤った前提を区別できないまま両方に噛みつき、Llama-3.1-8B では健全な問いの57%を誤って否認した。隠れ状態の線形プローブで同じ指示の発火先を絞ると、誤って否認した健全な問いは14%に下がり、否認のうち正しいものの割合はおよそ3倍になった。その代わり、誤った前提を否認できた割合は74%から42%に下がった⁹。

ではどう設計するか

事後学習によって、モデル自身の側でも割合は下げられる。原典はさらに、当て推量ではなく棄権に報いるよう評価の採点方式を変えれば、ハルシネーションの抑制を妨げる障壁を取り除きうると処方する¹。ただし原典が誤らない系として示すのは、固定の質問応答データベースと計算機の外ではすべて「分からない」と返す系であって、補完で未知の問いに答える言語モデルではない。そして I-CALM の報告に従うなら、プロンプトで棄権への報酬を指定する介入で動くのは棄権と誤答の曲線上の位置で、曲線そのものではない⁶。だから現実的な解はモデル側の低減に、アーキテクチャの側での封じ込めを重ねることにある。この発想は古くからある。信頼できない部品は、それ自体を完璧にしようとせず、周囲で封じ込める。これは、故障し得る部品を信頼境界の内に閉じ込め、独立した層を重ねる多層防御（defense-in-depth）と同じ構えだ。言語モデルという「確率的に外す部品」を封じ込める箇所は、部品のどこを扱うかで分けると、入力・出力・受け取り方の三つになる。

• 入力を差し替える（根拠づけ） — モデル自身の記憶ではなく、検索や外部ツール・データベースで取得した一次情報に答えを根拠づける（RAG やツール呼び出し）。ただし取得元自体が誤り・古い・矛盾していることはあり、根拠づけは確実性ではなく確度を上げる手段だ。限界は取得の質だけではない。¹ は、二値で採点するかぎり、検索が確信ある答えを返さない場面では当て推量に報いる構造が残ると指摘し、計算違いのような内在的な誤りには検索が効かないこともあるとも書いている。
• 出力を検証可能にする — 主張を、出典・引用・計算過程・コードといった後から照合できる単位に落とさせる。真偽の判定を、生成の外側へ移せる形にする。ただし、この「照合できる単位」自体をモデルが捏造しうることには注意がいる。Dahl らは法律分野で、当時の最上位モデルでも判例についての検証可能な質問に虚偽の法的情報を返す頻度が高いと報告している¹⁰。この測定が使ったのは実在する判例だけで、存在しない判例を作り出す誤りは含まれていない。同論文はオンライン付録で架空の判例による存在確認だけを別に試しており、何でも実在すると答えるモデルと、実在するものまで否定するモデルに分かれたと報告する。照合可能にすることは検証を容易にするが、照合対象そのものの実在確認は依然として要る。
• 受け取り方を変える — 流暢さを正しさの証拠として扱わない。自信ある語り口は、むしろ検証の必要性を上げる信号だと見なす。

要するに、ハルシネーションはモデル単体の内側で根絶する問題ではなく、そのモデルを組み込むシステムの側で封じ込める問題だ。真偽の判定を持たない機械に、判定の足場を周囲から与える。その設計に切り替えた瞬間に、「いつ完璧に直るのか」という問いは消える。ハルシネーションは、モデルの側だけで直し切ることを当てにせず、付き合い方を設計するものだからだ。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。