In Silico

AI・信頼性・評価

RAGでハルシネーションは防げる？減っても消えない理由

2026/6/20 （更新: 2026/10/11）

🤖 AIを使用して執筆

  • RAG
  • LLM
  • 法務AI
  • Lexis+ AI
  • Westlaw
  • Ask Practical Law AI
  • GPT-4
  • RAGTruth
  • CiteCheck
  • ハルシネーション
  • 検索拡張生成
  • 根拠検証
  • 根拠ずれ
  • 引用
  • 二値採点
  • 事前登録
  • 微調整
  • 信頼度
  • 判例
  • スタンフォード
  • GPT-4o
  • DeepSeek-v3
  • Llama-2-13B
  • F1
  • 語スパン
  • 自動化バイアス
目次
背景・問い・要点
背景

ベンダーの宣伝や導入記事は、「RAG（検索拡張生成）を使えば、AIは根拠に基づいて答えるからハルシネーションしない」と語ることが少なくない。理屈は分かる。モデルに勝手に喋らせるのではなく、関連文書を検索して渡し、それを根拠に答えさせる。もっとも、「RAGならハルシネーションしない」は検証を経た定説ではない。

根拠をつければ誤りは消える、という期待は二つの前提に立っている。検索が正しい文書を取ってくること、そしてモデルがその文書を正しく読むことだ。どちらかが崩れれば、根拠つきの答えでも誤りは残りうる。しかも引用の付いた答えは確かそうに見えるので、残った誤りに読み手が気づけるとは限らない。

本稿は、RAGでハルシネーションを回避したと訴求する法務AI3製品を、スタンフォードのチームが実測した論文を例に取る。

問い

根拠文書を検索して与えれば、ハルシネーションは消えるのか。消えないなら、残った誤りはどんな形をしているのか。

要点

RAGはハルシネーションを減らすが、消しはしない。RAGで回避したと訴求した法務AI3製品でも、回答の17〜33%がハルシネーションを含んでいた。 残った誤りには実在の判例を引きながら中身を誤るものがあり、論文はそれを丸ごとの捏造より微妙で見つけにくいと書く。引用が主張を本当に支持しているかを確かめる手間は、RAGが肩代わりしない。

モデル・例示

誤りが半分になっても、出典の実在確認をすり抜ける

※ この節の数値は説明のための仮定で、測定値ではありません。

同じ100問を、素のモデルと、検索した文書を根拠に答えるモデルに解かせるとする。素のモデルは40問を誤り、その多くは存在しない出典を挙げる。検索を足したモデルの誤りは20問に減る。うち10問は、検索が正しい文書を取れず、手元にない情報を推測で埋めた誤りだ。残る10問は、正しい文書を手にしながら、その中身を読み違えた誤りである。

出典が実在するかだけを確かめる検査は、存在しない出典を挙げた素のモデルの誤りを捕まえる。一方、検索を足したモデルは、取ってきた文書を引用として付けるとしよう。すると推測で埋めた10問も、読み違えた10問も引用先は実在し、この検査はどれも捕まえない。この20問を捕まえるには、引用先を開いて、主張がそこに書いてあるかを照合するしかない。

誤りは半分になった。それでも5問に1問は誤っており、その誤りはすべて出典の実在確認をすり抜ける。

「ハルシネーションフリー」を、実際に測る

スタンフォードのRegLab／HAIのチーム（Magesh ら1、査読版は Journal of Empirical Legal Studies 2025）は、RAGを使えばハルシネーションしないという訴求を検証した。対象は、RAGを根拠にハルシネーションを回避したと訴求する法務AIの主力製品。法律は、引用の正確さが死活問題の領域だ。ただし原典自身は、法律の問いは一つの明確な答えを持たないことが多く、文書の関連性も字面だけでは決まらないとして、法務では検索が特に難しいと断っている。

どう測ったか。 事前登録した設計で、202問の法律クエリを各製品に投げ、法律家が回答を一つずつ人手で採点した。この202問は実務のログからの抽出ではない。一般的な法律調査（80問）に、管轄・時点に依存する問い、誤った前提を含む問い、事実照会を組み合わせて手作りしたベンチマークである。論文はこれを脆弱性を洗い出すための事前登録データセットと位置づける一方、成否を予見せず、実際の法律調査の場面を代表するよう設計したとも明記している。チームが数えた誤りは二種類である。①法そのものを誤って述べる（不正確）か、②法は正しく述べても、引用した出典が実際にはその主張を支持していない（根拠ずれ）かである。回答がこのどちらかを含めば、チームはハルシネーションと数えている。

結果として、評価した製品はいずれもRAGを使ってなお、ハルシネーションしていた。

公平に言えば、原典は法務のRAGが汎用のGPT-4よりハルシネーションを減らしうると結論している。数字の上では43〜88%が17〜33%へ下がる。ただしこれはモデルも構成も異なる別々の製品・研究の数字の並置で、RAG単独の効果として切り出したものではない。また、この改善の一部は答えないことで買っている。論文自身は図の説明で、Westlaw と Ask Practical Law は素のGPT-4より応答数が少なく、実際に返した回答が有意に信頼できるわけではない、と書いている。応答した分だけで揃えて比べても、Westlaw と Ask Practical Law を有意に下回るのは Lexis+ AI だけだ。

原典は、Westlaw の回答が最も長い（拒否を除く平均350語。Lexis+ AI は219語、Ask Practical Law AI は175語）ぶん反証できる命題が多く、誤りを一つでも含む確率が上がると自ら断っている。限界として、202問という標本は先の Large Legal Fictions などの評価に比べて小さいとも書いている。

問題は「改善」ではなく、「回避した」と言い切る訴求のほうにあった。6回に1回〜3回に1回は、まだ間違える。原典はこの計測をもとに、提供元の訴求は誇張されていると結論している。なお LexisNexis の「hallucination-free」は引用リンクについての訴求だが、原典はそれも、実在の文書にリンクしているという最も狭い意味でしか成り立たないと書いている。17〜33%が数えているのは回答の誤りであって、リンク先の実在ではない。（測定は2024年前半の製品版に対するもの。数字は製品更新で動くが、「回避したと謳われたものを測れば残っていた」という検証の構図は古びない。）

なぜ、根拠をつけても消えないのか

検索やRAGを足したモデルでハルシネーションが減ることは、複数の研究が示してきた3。では、なぜ消えないのか。失敗は主に三つの場所から漏れる。

  1. 検索が外す。正しい根拠が検索結果に入ってこなければ（あるいは答えがそもそもコーパスに無ければ）、モデルは答えを控えないかぎり、手元にない情報を推測で埋めることになる。RAGはモデルに検索結果を与えるが、その内容の正しさは保証しない。
  2. 根拠があっても、読み違える。これが厄介だ。スタンフォードの研究が数えた誤りには、存在しない判例を捏造するものだけでなく、実在する判例を引きながら、その判旨を誤って述べる／無関係な権威を引くものが含まれていた。正しい文書を手にしていても、モデルはそれを自分の答えに都合よく要約できてしまう。
  3. 採点（インセンティブ）は変わっていない。そもそもモデルは、「自信ありげな答え」を高く評価する採点のもとで訓練されている、という指摘がある。主要なベンチマークの多くは正解にだけ加点し、誤答も「分かりません」も同じ0点なので、当てずっぽうのほうが期待値で得になる3。原典自身は、この論点をRAGに名指しで当てている。検索を足したモデルでも同じ観察は成り立ち、検索が確信のある答えを返せなかった場面では、二値の採点がなお当て推量に報いる、と原典は書いている3。RAGは、モデルに自信を持つ材料を増やす。けれど筆者の推論では、確信が増えるほどには、正しさは増えない。根拠が傍らにあるぶん、口調はかえって断定的になりやすい。
RAGの流れと、ハルシネーションが残るパイプライン上の二か所（概念図） 質問→検索→根拠文書→生成→回答という流れの図。本文が挙げる三つの漏れ口のうち、パイプライン上に立つ二か所を描く。第一に検索が正しい根拠を取れない（またはそもそも存在しない）と、モデルは答えを控えないかぎり推測で埋める。第二に、正しい根拠を手にしても読み違えたり都合よく要約したりして作話が残る。三つ目の要因（訓練時の採点インセンティブ）は図の外にある。 ※ 概念図（流れを示す図解） 質問 検索 根拠文書 生成 回答 ① 検索が外す 正しい根拠が取れない／そもそも無い → 答えを控えなければ推測で埋める ② 根拠を読み違える 実在の文書を、都合よく要約／誤読 → 引用つきの作話が残る
RAGは「検索→生成」の橋を架けるが、パイプライン上ではハルシネーションが二か所から漏れる。根拠が取れないとき（①）と、取れても読み違えるとき（②）である。三つ目の要因（訓練時の採点）は図の外にある。
※ 概念図（フロー）（作図：AI）

RAGは、失敗を「見つけにくく」する

ここに、「ハルシネーションフリー」という言い方では見えない逆説がある。素のモデルが何もないところから事実を捏造すれば、勘の良い人は「出典は？」と疑える。けれどRAGは、失敗するとき実在の文書を引用しながら、それを微妙に誤って述べる。引用がついていて、根拠ありげで、文章は流暢。「根拠がある」という見た目そのものが、検証をサボらせる罠になりうる。RAGはハルシネーションを減らすと同時に、残ったハルシネーションをより上手に偽装する。この比較は筆者の推論である。先の法務AI論文が結論しているのは、法務のRAGは汎用のGPT-4よりハルシネーションを減らしうるが、残るものは大きく、幅広く、陰湿でありうる、というところまでで、節の見出しも「ハルシネーションは陰湿でありうる」としている。そのうえで論文は、実在の判例を引きながら判旨を誤る種類の誤りは「丸ごと捏造するより危険になりうる。より微妙で、見つけにくいからだ」と述べる。比べている相手は丸ごとの捏造で、RAGの有無ではない。同じ段で論文は、こうした誤答に付いた引用は回答の信頼性について利用者を誤らせるだけだとも書き、自動化バイアスの系統的レビューを引いている（測定ではなく論証である）。

「見た目が信頼を押し上げる」ほうも、別の実験で測られている。一般的な質問応答を用いた実験では、引用があるだけで（自己申告の）信頼度が有意に上がり、論文の要旨はそれが無関係な（ランダムな）引用でも起きたと書く。ただし引用の質が効かないわけではない。この実験の論文は本文で、ランダムな引用を含む回答は正しい引用を含む回答より有意に信頼度が低かったとも報告している。効くのは「引用の有無」と「引用の質」の両方で、引用があるだけでも信頼度は上がる。一方で論文は、ランダムな引用が確認された回答と、引用なしの回答を直接比べてもおり、そこでは信頼度に有意な差は無かった（p=0.38）。また、引用を確認した参加者は信頼度が有意に低かった（この実験で「確認」と数えているのは、番号にマウスを乗せて URL を表示させた操作であって、出典を開いて主張と照合したことまでは意味しない）。ただし確認と信頼のこの関係は相関であって、論文が採る枠組みはむしろ逆向きだ。論文は、疑っている人ほど確認しにいく、と読む4。

なお、引用が0本の条件には確認する対象が無いので、「引用が付くと確認をやめるか」は設計上比べられない。一方、論文は本数どうしを比較しており、結果は逆を向いている。引用が5本の群は1本の群より、むしろ有意に確認しやすかった（χ²=21.19, p＜0.001）。引用の見た目が「検証をサボらせる」というのは、この実験で測られた行動ではなく、筆者の推論である。

少なくとも引用の照合については、答えを読むコストより、その引用が主張を本当に支持しているかを確かめるコストのほうが高くつく1。RAGは生成を「根拠っぽく」見せるが、その検証の手間を肩代わりはしてくれない。

引用を機械で照合する検出器も、支持していない引用を見逃す

引用の確認は人手の目視だけでなく、工程に組み込むこともできる。生成後に「引用された文が出典に実在し、その主張を支持しているか」を機械照合する根拠検証（groundedness check）を一段挟む形である。ただし、この機械照合も万能ではない。

引用が主張を本当に支持しているかを自動判定するタスクは、それ自体が難しい研究課題だ。ある中国語RAG向けデータセットでの検証は、最新のLLMを使ってもこのタスクで高い精度には達しなかったと報告している（対象は中国語のRAGシステムである）。落ちるのは片側で、弱いのは「支持していない」引用を見抜く側だ。GPT-4o でも負例に対する正答率は 71.6% にとどまり、DeepSeek-v3 は 39.4% で、支持していない引用の 6 割を通してしまう5。もっとも同じ論文は、負例を補った訓練データで小型モデルを微調整すれば十分な性能に届くとも報告している。つまり、買ってきたLLMに素で判定させるのが危ういのであって、専用に仕立てる道は開いている。ただしその「届いた」は同じデータセットのテスト分割上の話で、論文自身が、訓練したモデルを他のテストセットで評価しておらず汎化性能は未確認だと限界に挙げている5。英語でも同じ形の結果が出ている。RAGTruthでは、GPT-4-turboにそのまま判定させると回答単位の平均F1が63.4%にとどまり、RAGTruth自身の訓練データで微調整したLlama-2-13Bが78.7%で最良だった6。加えて、筆者の推論では、文書単位で「引用元は実在する」と確認するだけでは粗すぎる。実在の文書に紛れ込んだ細かい誤りを、文書単位の照合は見逃しうる。実際、粒度は独立の難所として測られている。RAGTruthの微調整モデルの平均F1は、誤りが回答のどの語の範囲（語スパン）にあるかまで特定させ、人手の注釈との重なりで採点すると52.7%まで下がる6。根拠検証は検証の質を底上げするが、それ自体を無検証で信頼していい仕組みではない。

訂正（2026-06-21）: 汎用LLMの法律質問のハルシネーション率の上限を「82%」→「88%」に修正した（出典 Large Legal Fictions, arXiv:2401.01301 の報告値は58〜88%）。本筋（RAGは減らすが消さない）に変わりはない。

出典6件

  1. V. Magesh ほか「Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools」2024. https://arxiv.org/abs/2405.20362 — 回避を訴求する法務AI3製品を202問で測り17〜33%。確認には引用先を読み、権威を評価し主張と照合する必要があるとする。 ↩ ↩2

  2. M. Dahl ほか「Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models」J. Legal Analysis, 2024. https://arxiv.org/abs/2401.01301 https://doi.org/10.1093/jla/laae003 — 無作為の連邦判例について問うと58%（GPT-4）〜88%（Llama 2 13B）。 ↩

  3. A. T. Kalai ほか「Why Language Models Hallucinate」2025. https://arxiv.org/abs/2509.04664 — 誤答も無解答も0点の二値採点が当てずっぽうに報いるとし、検索やRAGがハルシネーションを減らすという先行研究を挙げつつ、この観察はRAGを備えたモデルにも成り立つと明記する。 ↩ ↩2 ↩3

  4. Y. Ding ほか「Citations and Trust in LLM Generated Responses」AAAI 39(22), 2025. https://arxiv.org/abs/2501.01303 https://doi.org/10.1609/aaai.v39i22.34550 — 引用だけで信頼度が上がり（要旨は無関係でも上がるとする）、無関係な引用は正しい引用より低い。確認済みランダム引用は引用なしと差なし。5本は1本より確認しやすかった。 ↩

  5. Z. Xu ほか「CiteCheck: Towards Accurate Citation Faithfulness Detection」2025. https://arxiv.org/abs/2502.10881 — 中国語RAGの引用判定で負例の正答率は GPT-4o 71.6%、DeepSeek-v3 39.4%。負例で補う微調整で小型モデルが届くが、汎化は未評価。 ↩ ↩2

  6. C. Niu ほか「RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models」ACL, 2024. https://arxiv.org/abs/2401.00396 — 回答単位F1は GPT-4-turbo 63.4%・微調整78.7%、スパン単位52.7% ↩ ↩2

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。