AI・信頼性・評価

モデル崩壊の引き金は合成データでなく『置き換え』運用

2026/7/16 （更新: 2026/8/9）

🤖 AIが執筆しています

データの壁と、合成データという誘惑

大規模モデルは、web上の人間が書いた文章を食べて育ってきた。だが、質の高い公開テキストの供給は有限で、増え続けるモデルの需要にいずれ追いつかなくなるとの見通しが語られてきた。そこで誘惑が生まれる。モデル自身に大量のデータを生成させ、それで次のモデルを訓練する。理屈のうえでは、データは無限に湧く。

問題は、その「自家中毒」が何を引き起こすかだ。2024年前後、この問いに正面から答える研究が両方向から出た。片方は「壊れる」と言い、もう片方は「壊し方しだいだ」と言う。両者は矛盾していない——条件が違う。

実データを置き換えて再帰訓練すると、尾が消え、自信満々に誤る

崩壊を最も鋭く示したのが、Shumailov らの Nature 論文だ¹。彼らは VAE・混合ガウス・LLM のいずれでも、モデル生成データを無差別に使って再帰的に訓練すると不可逆な欠陥が生じ、元データ分布の尾が消えることを示した。まれな事象・少数派の表現がまず失われ、世代を重ねるほど出力は平均的で退屈な中心へ縮む。

2025年の研究は、この崩壊が知識の層でも起きると突く²。Keisha らの「知識崩壊」は三段階で進み、表面の流暢さは保たれるのに、事実の正確さが劣化する。モデルは自然で説得力のある口ぶりのまま、中身を間違える——「自信満々に誤る（confidently wrong）」。これは、モデルが「わからない」と言えずに答えを出してしまう失敗と地続きで、合成データの反復がそれを増幅しうる、という警告だ。しかも彼らが実データを75%・50%残した条件でも、崩壊は消えず時期が遅れるだけだった。

実データに貯め込み・混ぜれば、崩壊しない

だが崩壊は宿命ではない。Gerstgrasser らは、崩壊の条件を切り分けた³。各世代の合成データで実データを「置き換える」と崩壊に向かうが、合成データを元の実データに「貯め込む（accumulate）」と崩壊は起きない——モデルの大きさ・アーキテクチャ・ハイパーパラメータを変えても、この結果は保たれたという。ただし確かめられたのは同論文が扱った規模の範囲で、フロンティア級の事前学習で検証されたわけではない（COLM 2024 採択）。線形モデルの理論解析でも、データを累積すればテスト誤差は反復回数に依らない有限の上限に収まる。つまり崩壊は、合成データそのものの罪ではなく、「実データを捨てる」運用の罪だった。

より実務に近い証拠が、Kang らの系統的研究だ⁴。事前学習で、言い換え（rephrased）合成データを約1/3、実webを2/3で混ぜると、実webだけの場合と比べ、大きなデータ予算のもとで同じ検証損失に到達するまでが5〜10倍速くなったという。確かめられたのは1億〜30億パラメータのモデルを最大2000億トークンで訓練した範囲で、検証損失は The Pile の14ドメインと Wikitext-103 で測っている。見通せる範囲では劣化も出ていない（EMNLP 2025 採択）。最適な合成比率はモデルとデータ予算に依存し、経験的に約30%へ収束したという。ただし彼らも、教科書調に生成したデータは実データを多く混ぜても下流で高い損失を招き、モデル崩壊と整合する劣化が出ると併記する——混ぜても、作り方を間違えれば毒になる。

この食い違いをどう読むか

AI不利側：Shumailov らが不可逆な崩壊を示したのは実データを置き換えて再帰する設定で、彼ら自身、各世代に元データの10%を残せば劣化はわずかだったと報告している（ただしその条件でも劣化はする）¹³。置き換えを前提にした結果を、そのまま合成データ一般の話に広げることはできない。AI有利側：Gerstgrasser の「貯め込めば安全」は、累積する分だけデータ量が膨らみ続ける前提で、無限には貯め込めない。Kang らの「5〜10倍速く」も言い換え合成・特定比率での話で、教科書調に生成すれば実データを多く混ぜても下流性能の損が出うるうえ、測ったのは1回きりの事前学習（n=1）で、世代を重ねる動態そのものではない⁴。どちらも、額面より狭く読むべきだ。

対立して見える二つの結果は、片方が置き換えを、もう片方が蓄積を測っている。測っているものが違うだけで、指している先は一つだ——崩壊を決めるのは「合成データを使うか否か」ではなく「どう使うか」である。置き換えれば尾が消え、実データを貯め込めば防げる。ただし一定比率で混ぜるだけでは、崩壊は遅れても止まらない²。長期的には、まれな事象や少数派の表現（分布の尾）を守れているかが、静かな崩壊の分かれ目になる。

そして、ここまでの結論はいずれも現段階の合成データの作り方での話だ。崩壊を示した研究も回避を示した研究も、「合成データ一般」ではなく特定の生成・混合のやり方を測っている——実際、生成の仕方（言い換えか教科書調か）や比率しだいで結果は大きく変わり⁴、ドメイン特化の合成訓練は崩壊への耐性を高めうる²。つまりこれらは、合成データが原理的に不可能だという証明ではなく、いまの作り方での限界を写したものだ。この境界がどこまで動くかは、ここで見た研究の範囲では答えが出ていない。Shumailov らは置き換え再帰での劣化を「不可逆」と呼んでおり¹、生成手法が進めば「置き換え」に近い運用でも崩壊を抑えられるのかは、今後の実験待ちだ。現時点で安全側に振れる答えが「貯め込み・混ぜ・検証する」だ、というのが正確な言い方になる。

実務で何を見るか

崩壊が最も激しいのは、各世代の合成データで実データを置き換えて再帰訓練したときだ。実データを累積すれば同じ壊れ方はしないが、一定比率で混ぜるだけなら崩壊は遅れて訪れる²。

• 実データを「置き換え」ない。 合成データは実データに足すもので、捨てて入れ替えるものではない³。人間データのアンカーを保持する。
• 混合比は、特定の数字でなく「実データのアンカーを残すこと」で管理する。 Kang らの設定では合成が約1/3だった⁴が、最適比は、測る指標と条件で動く。Niklaus らが総トークン量を21Bに固定して合成比率を10%から90%まで10刻みで振ると、下流スコアは30%を超えても落ちず、60〜80%で頭打ちになった⁵。著者らが自らの結果を Kang らと「整合的」と呼ぶのは純合成より混合が優るという点についてであって、最適比の数字についてではない——スイープの 60〜80% は Kang の約1/3とむしろずれている。両者に共通するのは、純合成に振り切らないことだけである。
• 流暢さでなく、事実で測る。 崩壊は口調に出ないことがある²。流暢さだけを見ず、事実の正確さ・分布の尾（まれな事象・少数派）を狙って評価する。
• 検証を挟む。ただし、何を基準に選ぶかまで見る。 生成データを鵜呑みにせず、フィルタや検証で品質を担保してから混ぜる。合成の作り方しだいで下流性能は変わる⁴。ただしフィルタは無条件の安全策ではない——Qiao らは、選別が手元の分布に近い標本を優先して残す結果、全体としては重要な尾の峰を刈ってしまい、崩壊を防ぐ側から促す側に転じうると報告する（参照できる実データが断片的・希少なとき）。彼ら自身の対策は、生データを共有せず複数拠点から代理の参照分布を作ることだ⁶。

「合成データでAIが壊れる」は、半分正しく、半分ミスリードだ。モデル崩壊は実在する。ただし引き金は、合成データを使うことではなく、実データを手放すことにある——捨てれば速く、比率で薄めれば遅く訪れる。だから恐れて避けるのでも無検証で流し込むのでもなく、貯め込み・混ぜ・検証して使う——その区別を守るかぎり、合成データは壁ではなく資源になる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。