In Silico

AI・信頼性・評価

LLM要約はどこまで信用できる？落とした内容が見えない理由と使い分け

2026/6/27 （更新: 2026/10/11）

🤖 AIを使用して執筆

  • LLM要約
  • 自然言語処理
  • LLM
  • CAMS
  • SummHay
  • NLI
  • 非可逆圧縮
  • 誤り信号
  • 幻覚
  • 忠実性
  • 但し書き
  • 抽象型要約
  • 網羅
  • ポインタ
  • 確信度
  • トリアージ
  • JPEG
  • MP3
  • チェックサム
  • 圧縮率
  • 元文書
  • コンプライアンス
  • 平衡正解率
  • 含意関係
  • RAG
  • SummaC
目次
背景・問い・要点
背景

「とりあえずLLMに要約させる」は本当に便利で、長い文書の要約は日々の仕事の一部になった。まず要約を読み、必要なら原文に戻る。そういう読み方をする人は多い。

要約は、元の文書から情報を捨てて短くする非可逆圧縮である。捨てること自体は要約の本質で、問われるのは、何をどれだけ捨てたかが読み手に見えるかどうかだ。画像や音声の圧縮なら、捨てた度合いは圧縮率という数字で見え、通信なら壊れたデータは検査で見つかって送り直される。

自然言語処理の研究は、要約が原文にない内容を作る問題と、拾うべき要点を落とす問題の両方を測ってきた。ただしその測定は研究の評価の場で行われるもので、ふだん要約を読む人の手元の出力に付いてくるものではない。

問い

標準的なLLM要約は、何を落としたかを読み手に知らせるのか。知らせないなら、どこまでなら使ってよいのか。

要点

標準的なLLM要約には、何をどれだけ落としたか・歪めたかを知らせる誤り信号が付かない。 但し書きを一行落とした要約と、要点を捉えた要約は、読み手から同じ顔に見える。だから線は精度の高低だけでなく、落ちた一文が行動を変えるかで引き、要約は元文書の代わりではなく、根拠の段落を開くための目次として使う。ただしその照合では、別の段落にある但し書きの欠落は拾えない。この信号の欠如は要約に必然ではなく、忠実性の自動推定も原文への紐づけも、まだ標準で付いていないだけだ。

モデル・例示

但し書きを一つ落とした要約は、落とさない要約と読み手から区別できない

※ この節の数値は説明のための仮定で、測定値ではありません。

十二段落の運用手順書を、二通りに要約するとする。手順書の第3段落は「古いログは毎週このスクリプトで消す」と書き、第9段落は「ただし監査期間中のサーバーでは実行しない」と書いている。

要約Aは五文で、第3段落と第9段落の両方の内容を含む。要約Bも五文で、第3段落の内容は含むが第9段落の但し書きを落とし、代わりに別の段落の補足を一文入れている。どちらも文は整い、言い切りの調子も同じで、何を省いたかを示す印はどちらにも付いていない。

要約Bだけを読んだ人は、監査期間中のサーバーでもスクリプトを走らせる。「スクリプトで消す」の根拠を要約に聞けば第3段落が返り、第3段落を開けばその記述が正しいことは確かめられる。それでも第9段落は開かれないので、落ちた但し書きは見つからない。

要約には「誤り信号」がない

要約は非可逆圧縮だ。元の文書から情報を捨てて短くする。見落とされているのは、現状の標準的なLLM要約には、その圧縮に誤り信号がないという点だ（非可逆であること自体は要約の本質だが、「何をどれだけ歪めたか」を測れないのは要約ツールの側の問題である）。

画像や音声の非可逆圧縮（JPEGやMP3）でさえ、情報を捨てた度合いは圧縮率という数字で見える。ネットワークなら、チェックサムが合わなければ再送される。だがLLM要約の標準的な出力には、何をどれだけ落としたか・歪めたかを知らせる数字も信号も伴わない。出力はいつも流暢で、自信に満ちている。決定的な但し書きを一行落とした要約と、完璧に要点を捉えた要約は、読み手から見てまったく同じ顔をしている。

隣接する問題は測られている。2020年の Maynez らは、当時の抽象型要約モデル（LLMではない）の出力を人手評価し、その7割超に原文と矛盾する・原文にない内容を作る「幻覚」がかなりの量で含まれると報告した1。ただしこの比率は機械に固有の欠陥を指すものではない。同じ表で人手執筆の参照要約は76.9%と最良モデル（73.1%）を上回っている。明らかに機械に偏るのは原文と矛盾する型で、その割合は人手の7.4%に対しモデルは16.9〜19.9%だった。そしてこれが測っているのは作られた内容であって、落とされた内容ではない。

欠落の側を測る試みもある。SummHay という評価課題は、拾うべき要点を既知にした合成の文書群を作り、長コンテキストの LLM と 50 の RAG 系に質問つきの要約を書かせた。要点の網羅だけを見ると、検索器と要約モデルの組み合わせによって36.2%から83.9%まで開き、関連する文書を正しく与えれば上位の系は人手の推定値（74.5%）を上回った。網羅と出典の正しさを合わせた得点では、同じ条件で人手の推定値（56.1%）を上回ったのは o1-preview の1系だけだった2。後述する CAMS は、複数情報源が食い違う事例を集めた245件のデータセットで、出典を引かせたend-to-end型のLLM要約でさえ、文書ごとに異なるとして注釈された事実の41%しか拾えず、情報源間の食い違いにいたっては18%しか表に出さないと報告している3。CAMS の報告では、表に出なかった残りはたいてい単一の合意値として黙って潰される。

しかも厄介なのは、流暢さと自信の強さが、その正しさを何も保証しないことだ。閉じた質問応答では、モデルが正解を「知っている」場合でさえ、入力のわずかな揺れで誤った内容を高い確信度で述べてしまう現象が報告されており、確信の強さを信頼性の代理指標として使うことの危うさが指摘されている4。ただし同論文は緩和策も併せて提案しており、著者ら自身はそれを「最適には程遠い」と断っている4。要約で同じことが起きるかは、本稿が引く範囲では測られていない。

そして「落としたかどうか」を確かめる最も確実な方法は、元文書に当たり直すことだ。それは要約を使う意味を消し去る。要約に落としが無いことまで確かめようとした瞬間、要約は不要になる。

もっとも、この「信号がない」状態は要約という操作に必然のものではない。自動で忠実性を推定する研究は実際に進んでいて、要約と原文の含意関係をNLIモデルで判定し矛盾を検出する手法は、6つの矛盾検出データセットをまとめた平衡正解率で74.4%を達成したと報告されている（2022年・LLM 以前の要約モデル出力での測定）5。この精度は完璧ではないが、無ではない。さらに踏み込んで、要約の各文を原文の該当箇所に構造的に紐づけ、検証を「その箇所を開くだけ」にまで単純化する手法も提案されている（CAMS の著者自身は忠実性を保証はせず「促す」にとどまると断っている）63。標準的なLLM要約に「歪み」の信号がないのは、要約が原理的に検証不能だからではなく、今のところそれが標準搭載されていないからだ。

安全に使える要約と、気づかずに誤る要約

だから精度の高低だけでは線を引けない。引くべき線は「落ちた一文が行動を変えるか」だ。

安全に使える場面は、取りこぼしのコストが小さいところに限られる。大量の文書を捌くトリアージ、全体の雰囲気の把握、「これは精読する価値があるか」の判断。ここでは要約は索引として働く。読む側へ誤れば、次のステップで元文書を開くので誤りに気づける。読まない側へ誤った文書は誰も開かないので、この回復は働かない。

気づかないまま火傷するのは逆の場面だ。意思決定、契約・コンプライアンスの確認、医療や設定値の手順がそれにあたる。これらは落ちた一つの但し書きが取るべき行動を反転させる領域である。「ただし本番環境を除く」「ただし同意がある場合に限り」。この種の条件は、文書全体のごく一部の文字数しか占めない。つまり結論を支配するにもかかわらず、分量としては最初に削られてもおかしくない側にある。要約の流暢さは、その欠落を完璧に覆い隠す。

ポインタとして使う

実用上の結論は単純だ。要約を元文書の代替として使うな。元文書へのポインタとして使え。

要約を読んだら、行動を左右する主張については必ず「どの段落が根拠か」を要約自身に出させ、そこだけ原文に当たる。全文を読み直さずに済むのは、要約に残った主張の根拠を確かめる範囲までである。別の段落にある但し書きが落ちていても、この照合では拾えない。要約の役割を「答え」から「目次」に格下げするだけで、要約に残った主張の誤りに対しては安全マージンが生まれる。要約が嘘をついても、開くべきページの見当はつく。ただしポインタ自体も要約の出力であり、指し先が外れていることはある。行動を反転させうる領域では、根拠の段落だけでは足りず、適用範囲や例外を定めた箇所まで原文で読むしかない。

出典6件

  1. J. Maynez ほか「On Faithfulness and Factuality in Abstractive Summarization」ACL, 2020. https://aclanthology.org/2020.acl-main.173/ — LLM以前の要約モデルで幻覚は73.1〜79.3%、参照要約も76.9%。モデルに偏るのは原文と矛盾する型（人手7.4%、モデル16.9〜19.9%）。 ↩

  2. P. Laban ほか「Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems」EMNLP, 2024. https://aclanthology.org/2024.emnlp-main.552/ — 要点既知の合成文書群で、質問つき要約を網羅と出典で採点。合算で人手推定56.1を超えたのは o1-preview（58.2）だけ。 ↩

  3. S. Guan「Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization」arXiv, 2026. https://arxiv.org/abs/2606.23989v2 — UBS AG の単著・査読前・被引用0（2026-10）。原文に紐づける手法。忠実性は保証せず促すと断る。 ↩ ↩2

  4. A. Simhi ほか「Trust Me, I’m Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer」Findings of EMNLP, 2025. https://arxiv.org/abs/2502.12964 — 閉じた質問応答で、正解を知るモデルが小さな摂動で高確信の誤答を出すと報告。緩和策も示す。 ↩ ↩2

  5. P. Laban ほか「SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization」TACL, 2022. https://aclanthology.org/2022.tacl-1.10/ — 要約と原文の含意関係をNLIで判定して矛盾を検出し、6データセット平均の平衡正解率74.4%を報告した。 ↩

  6. A. Slobodkin ほか「Attribute First, then Generate: Locally-attributable Grounded Text Generation」ACL, 2024. https://aclanthology.org/2024.acl-long.182/ — 先に原文の該当箇所を選び、それを条件に生成して、その箇所を出力の細かな出典にする手法。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。