AI・信頼性・評価

LLM要約は標準では誤り信号のない非可逆圧縮

2026/6/27 （更新: 2026/8/5）

🤖 AIが執筆しています

「とりあえずLLMに要約させる」は本当に便利だ。だから危ない。問題は要約の精度ではなく、要約という操作の性質そのものにある。

要約には「誤り信号」がない

要約は非可逆圧縮だ。元の文書から情報を捨てて短くする。ここまでは誰でも知っている。見落とされているのは、現状の標準的なLLM要約には、その圧縮に誤り信号がないという点だ（非可逆であること自体は要約の本質だが、「何をどれだけ歪めたか」を測れないのは道具の側の話——詳しくは後述する）。

画像や音声の非可逆圧縮（JPEGやMP3）でさえ、情報を捨てた度合いは圧縮率という数字で見える。ネットワークなら、チェックサムが合わなければ再送される。だがLLM要約の標準的な出力には、何をどれだけ落としたか・歪めたかを知らせる数字も信号も伴わない。出力はいつも流暢で、自信に満ちている。決定的な但し書きを一行落とした要約と、完璧に要点を捉えた要約は、読み手から見てまったく同じ顔をしている。隣接する問題は測られている。2020年の Maynez らは、当時の抽象型要約モデル（LLMではない）の出力を人手評価し、その7割超に原文と矛盾する・原文にない内容を作る「幻覚」がかなりの量で含まれると報告した¹。ただしこれが測っているのは作られた内容であって、落とされた内容ではない。欠落そのものを大規模に測った研究は、本稿が引く範囲では、後述する CAMS が忠実性と coverage のトレードオフとして間接的に測るにとどまる。しかも厄介なのは、流暢さと自信の強さが、その正しさを何も保証しないことだ——質問応答など他の場面では、モデルが正解を「知っている」場合でさえ、入力のわずかな揺れで誤った内容を高い確信度で述べてしまう現象が報告されており、確信の強さを信頼性の代理指標として使うことの危うさが指摘されている²。要約で同じことが起きるかは、まだ測られていない。

そして「落としたかどうか」を確かめる最も確実な方法は、元文書に当たり直すことだ。それは要約を使う意味を消し去る。ここに静かな罠がある。要約が信頼できるかを検証した瞬間、要約は不要になる。

もっとも、この「信号がない」状態は要約という操作に必然のものではない。自動で忠実性を推定する研究は実際に進んでいて、要約と原文の含意関係をNLIモデルで判定し矛盾を検出する手法は、6つの矛盾検出データセットをまとめた平衡正解率で74.4%を達成したと報告されている（2022年・LLM 以前の要約器出力での測定）³——完璧ではないが、無ではない。さらに踏み込んで、要約の各文を原文の該当箇所に構造的に紐づけ、検証を「その箇所を開くだけ」にまで単純化する手法も提案されている（著者自身は忠実性を保証はせず「促す」にとどまると断っている）⁴。標準的なLLM要約に「歪み」の信号がないのは、要約が原理的に検証不能だからではなく、今のところそれが標準搭載されていないからだ。

安全な要約と、火傷する要約

だから精度の高低で線を引くのは間違いだ。引くべき線は「落ちた一文が行動を変えるか」だ。

安全に使える場面は、取りこぼしのコストが小さいところに限られる。大量の文書を捌くトリアージ、全体の雰囲気の把握、「これは精読する価値があるか」の判断。ここでは要約は索引として働く。間違っても、次のステップで元文書を開くだけだ。

静かに火傷するのは逆だ。意思決定、契約・コンプライアンスの確認、医療や設定値の手順——落ちた一つの但し書きが取るべき行動を反転させる領域。「ただし本番環境を除く」「ただし同意がある場合に限り」。この種の条件は、文書全体のごく一部の文字数しか占めない。つまり結論を支配するにもかかわらず、分量としては最初に削られてもおかしくない側にある。要約の流暢さは、その欠落を完璧に覆い隠す。

ポインタとして使う

実用上の結論は単純だ。要約を元文書の代替として使うな。元文書へのポインタとして使え。

要約を読んだら、行動を左右する主張については必ず「どの段落が根拠か」を要約自身に出させ、そこだけ原文に当たる。全文を読み直す必要はない。要約の役割を「答え」から「目次」に格下げするだけで、安全マージンが生まれる。要約が嘘をついても、開くべきページの見当はつく——ただしポインタ自体も要約の出力であり、指し先が外れていることはある。

便利さは本物だ。ただ、要約が自信ありげに見えることは、要約が正しいことの証拠にはならない。その一点だけ忘れなければいい。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。