In Silico

AI・信頼性・評価

拡散LLMは大域的な計画に強く、局所的な対応づけに弱い

2026/7/20 （更新: 2026/8/9）

🤖 AIが執筆しています

※ 概念図（対比）・作図：AI（数値は出典より） 自己回帰：左から右へ一語ずつ 品質は高い・ただし逐次で遅い 拡散LLM：全体を並列に埋めて仕上げる 速い・ただし別の弱点 肯定①：速さは実測されている Mercury Coder Mini 1109トークン/秒（H100）・Copilot Arena 品質2位タイ/速度1位（Mini） 肯定②：規模でも並び始めた LLaDA 8B は LLaMA3 8B と同等（文脈内学習）、逆順補完で GPT-4o超え 否定①：順序に沿う推論で不安定 文脈内線形回帰を安定して学べず（経路探索・Sudokuでは自己回帰が失敗） 否定②：多様だが、文法が揺れる 統制比較（復号設定は非対称）：自己回帰は流暢だが反復的、拡散は多様だが文法の乱れ 得意分野はタスクの形で分かれる——大域的な計画か、局所的な束縛か
※ 概念図（対比）・作図：AI。数値は出典より。「一語ずつ」対「並列に埋める」——速さと得意分野のトレードが違う。
要点

いまのLLMはほぼすべて自己回帰（autoregressive）——文章を左から右へ、一語ずつ紡ぐ方式だ。この土台に、初めての本格的な対抗馬が出てきた。拡散LLM（diffusion LLM）は、画像生成で成功した拡散モデルの発想を言語に持ち込み、文全体を並列に埋めて仕上げる。Inception Labs の Mercury Coder は 1秒あたり1109トークンという桁違いの速度で品質同等を掲げ1、LLaDA は8B規模で 文脈内学習では LLaMA3 8B に並んだ2。だが乗り換えの話ではまだない。入力と出力を精密に対応づける課題では学習が不安定になり3、統制比較では多様だが文法が揺れる生成が出る4。速さは本物。得意分野を分けるのは順序の有無ではなく、大域的な計画・制約充足か、局所的な束縛かだ3。

「一語ずつ」への、初めての本格的な対抗馬

GPT も Claude も Gemini も、中身は自己回帰だ。次の一語を予測し、それを文脈に足してまた次を予測する。品質はこの積み重ねが支えるが、宿命として逐次——前の語が決まらないと次に進めず、長い出力ほど時間がかかる。

拡散LLMは順番を捨てる。マスクだらけの文から始めて、全体を並列に少しずつ埋めていき、数回の反復で文章を完成させる。画像の拡散モデルがノイズから絵を起こすのと同じ発想だ。一度に多くのトークンを確定できるので、原理的に速い。問題は「言語でそれが本当に成立するか」だった——2025〜26年、答えが実測で出始めた。

速さは実測、規模でも並び始めた

Mercury Coder（Inception Labs）は商用規模で提供される拡散LLMだ。第三者計測（Artificial Analysis）では、H100上で Mini が1109トークン/秒、Small が737トークン/秒——速度最適化された既存モデル比で最大10倍の速さを、同等品質のまま出したとされる1。ただし論文の測定方法は一様ではない。比較対象の既存モデルの速度は AA が計測した商用APIの中央値だが、Mercury 自身は「我々のカスタムサービングエンジン上のデプロイ」を著者らが評価している(§3.2.1)。Table 1 で AA 由来を示す * が付くのも HumanEval と LiveCodeBench の2列だけで、Speed 列には付かない——要旨だけが throughput ごと AA に帰属させて読める書き方になっている。開発者が実際にコード補完を使う Copilot Arena では、Mini が品質2位タイ・速度1位（平均レイテンシ25ms、GPT-4o Mini の約4倍速）に入った。デモの数字ではなく、運用の土俵での成績だ。

規模の壁も崩れ始めた。LLaDA はマスク拡散を8Bパラメタまでスケールさせ、文脈内学習で LLaMA3 8B と同等の成績を報告した2。象徴的なのは「逆転の呪い」——「AはBである」を学んだモデルが「BはAである」を答えられない、自己回帰の悪癖だ。順序を固定しない拡散LLMはここに強く、逆順の詩の補完では GPT-4o を上回った（45.6% 対 34.3%）と報告する。ただし順方向では逆に大きく劣っており（51.8% 対 82.7%）、論文の主眼は優越そのものではなく、方向を変えたときの落差が小さいことにある。左から右という縛りを外すこと自体が、特定の能力になっている。

揺れるのは、順序ではなく「対応づけ」の側だ

揺れる場所は、直感とは違うところにあった。Wang らは、マスク拡散LLMの学習の安定性を統制実験で調べた3。標準のランダムマスク方式が安定して学べなかったのは、文脈内の線形回帰——20組の実演から潜在の線形写像を推定し、続くクエリに当てる課題——のように、入力と出力を精密に対応づけることが要るタスクだった。逆に Sudoku（大域的な制約充足）と星形グラフの経路探索（依存が Goal→Start と逆流し、前向きの生成順と矛盾する計画課題）では、失敗するのは自己回帰の側である——経路探索で自己回帰は学習損失こそ下がるがテスト精度は 1/d の当てずっぽうに留まり、拡散側は ≈100% に達する。同じ論文は、ブロック単位の局所性を持たせた学習方式を対策として提案している。∴ 著者らが名指しする軸は「順序があるか」ではなく、大域的な計画・制約充足か、局所的な束縛かという反転だ——全体を見渡せる拡散は前者に、局所性を制限した自己回帰は後者に向く3。

生成の質にも同じ形のトレードが出る。Vicentino は、データ（TinyStories 5000万トークン）・学習ステップ・バッチ・系列長・ハード（H100 80GB）をそろえて自己回帰とマスク拡散を比べた4。自己回帰は流暢だが反復的（99.8%の出力が同じ語で始まる）。拡散は多様（5語の書き出しの93.4%がユニーク）だが、ときどき文法が乱れる。ただし統制は完全ではない。双方向注意とタイムステップ条件づけの分、拡散側はパラメタが31.6%多く（123.6M 対 162.7M）、論文自身が限界として「観測された差の帰属を難しくする」「パラメタ数をそろえた実験は今後の課題」と書いている。復号の設定も両者で異なり、反復ペナルティが掛かっているのは拡散側だけだ（自己回帰は nucleus p=0.9・温度0.8、拡散は信頼度ベースの unmask に温度アニーリング1.2→0.5と反復ペナルティ1.3）——多様性の差の一部は復号側に由来しうる。規模も5000万トークン・シード1本で、フロンティア規模の結論ではない。

この報告を、どう割り引くか

数字の多くは各陣営の自己報告かプレプリントだ。Mercury の「同等品質」は主にコーディング用途で測られており、汎用の推論・長文でも同じかは別問題1。速度の比較にも罠がある——拡散の「1ステップで多トークン」を自己回帰の「トークン/秒」と直接比べると過大評価になるため、総出力トークン÷総時間でそろえる必要がある。LLaDA は NeurIPS 2025 に採択されており査読を通っているが、「同等」の範囲は文脈内学習中心で、全面的な互角ではない2。否定側の統制比較は誠実だが、小規模でパラメタ数が31.6%ずれ、シードは1本4。トレーナビリティの結果もタスクを選んだ統制実験だ3。

「一語ずつ」の独占が終わったことは、もう争点ではない。速さで殴り込む対抗馬は実運用に入っている。残る争点はどちらが上かではなく、手元の仕事が大域的な計画なのか、局所的な束縛なのかだ。コード補完のように穴が並列に埋まる仕事なら、拡散側の速さはそのまま効く。制約を全体で解く仕事——依存が前向きの生成順と逆流する計画のような——でも、いまのところ拡散に分がある。逆に、入力と出力を精密に対応づける仕事では自己回帰の側が安定している3。モデルを選ぶ作業が、タスクの依存構造を見極める作業に変わりつつある。

出典4件

  1. Inception Labs（Samar Khanna, Siddhant Kharbanda ほか）, “Mercury: Ultra-Fast Language Models Based on Diffusion”（arXiv:2506.17298, 2025年6月17日公開・査読前）。Transformer上の拡散で複数トークンを並列予測する商用規模の拡散LLM（論文の表現は “commercial-scale”。「商用初」に相当する記述は確認できず、Inception Labs 自社として初の大規模拡散モデル群と位置づけている）。Mercury Coder は H100 上で Mini 1109トークン/秒・Small 737トークン/秒——ただし Table 1 で AA 由来を示す * は HumanEval・LCB の2列のみで Speed 列には無く、§3.2.1 は Mercury 側を自社サービングエンジン上で評価したと書く。AA 計測と明記されているのは比較対象モデル側の速度である——を示し、速度最適化されたフロンティアモデル比で最大10倍の速度・同等品質を掲げる。速度は比較対象値が AA 計測・Mercury 側が自社計測。開発者の実利用の場である Copilot Arena では Mini が品質2位タイ・速度1位（平均レイテンシ25ms）。評価は主にコーディング用途。https://arxiv.org/abs/2506.17298 ↩ ↩2 ↩3

  2. Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li, “Large Language Diffusion Models”（LLaDA, arXiv:2502.09992, 2025年2月14日公開。v3〈2025年10月18日〉の1頁目に NeurIPS 2025 採択が刷られている＝査読済み）。マスク拡散LLMを8Bパラメタまでスケールし、文脈内学習で LLaMA3 8B と同等の成績を報告。順序を固定しない生成の利点として、自己回帰が苦手とする「逆転の呪い」に強く、逆順の詩の補完タスクで GPT-4o を上回ったとする（Table 4: 逆方向 45.6 対 34.3）。ただし同じ表の順方向では 51.8 対 82.7 と大きく劣っており、論文が主張するのは全面的な優越ではなく方向間の一貫性（順・逆で成績が大きく崩れないこと）である。拡散LLMが規模の壁を越えうる側の一次証拠。https://arxiv.org/abs/2502.09992 ↩ ↩2 ↩3

  3. Yuxiang Wang, Yu Xiang, Baojian Zhou, Qifang Zhao, Keyue Jiang, Yanghua Xiao, Xiaoxiao Xu, “On the Trainability of Masked Diffusion Language Models via Blockwise Locality”（arXiv:2604.24832, 2026年4月27日公開・査読前）。マスク拡散LLMの最適化は自己回帰より大幅に不安定になりうると統制実験で示す。標準のランダムマスク方式が安定して学べないのは文脈内の線形回帰（局所的な束縛）で、経路探索では学習分散こそ大きいもののテスト精度は拡散側が ≈100%、自己回帰は 1/d の当てずっぽうで失敗する。Sudoku でも自己回帰は失敗する。著者らが名指しする軸は順序の有無ではなく「大域的な計画・制約充足には全体を見渡せる拡散、局所的な束縛には局所性を制限した自己回帰」という反転（paradigm inversion）——拡散LLMの弱点がタスクの依存構造と結びついている側の一次証拠。https://arxiv.org/abs/2604.24832 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  4. Caio Vicentino, “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison”（arXiv:2603.22075, 2026年3月23日公開・査読前）。学習データ（TinyStories 5000万トークン）・学習ステップ・バッチ・系列長・ハード（H100 80GB）をそろえて比較。ただし完全な統制ではなく、拡散側はパラメタが31.6%多い（123.6M 対 162.7M）——論文自身が limitation 2 で「観測された差の帰属を難しくする」と認めている。復号設定も非対称で、反復ペナルティは拡散側のみ。乱数シードは1本。自己回帰は流暢だが反復的（99.8%の出力が同じ語で始まる）、マスク拡散は多様（5語の書き出しの93.4%がユニーク）だが文法の乱れが出る。ただしトークン水準の多様性の差は小さく、Distinct-4 は自己回帰が上回ると論文は断っている。学習効率はほぼ同等（拡散が壁時計で+4.7%）。小規模の統制実験であり、フロンティア規模への外挿は開いた問い。https://arxiv.org/abs/2603.22075 ↩ ↩2 ↩3

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。