In Silico

AI・信頼性・評価

拡散言語モデルとは？自己回帰との違い、速さ、得意と苦手

2026/7/20 （更新: 2026/10/14）

🤖 AIを使用して執筆

  • 拡散言語モデル
  • LLM
  • 自己回帰
  • マスク拡散
  • Mercury Coder
  • LLaDA
  • Gemini Diffusion
  • Copilot Arena
  • Jigsaw
  • Scatter
  • 帰納バイアス
  • 生成順序
  • 文脈内学習
  • 逆転の呪い
  • 制約充足
  • 経路探索
  • 学習の安定性
  • スループット
  • Sudoku
  • 拡散モデル
  • LLaMA3 8B
  • GPT-4o
  • H100
  • Inception Labs
  • Google DeepMind
  • Artificial Analysis
目次
背景・問い・要点
背景

いま出回っている文章生成AI（LLM）は、ほとんどが同じ作り方をしている。単語をひとつ決め、それを手がかりにして次のひとつを決める。この繰り返しで文章を伸ばしていく方式を、自己回帰（autoregressive）と呼ぶ。前の語を踏まえて次を選ぶぶん出来上がりは整うが、ひとつ決まるまで次へ進めないので、返答の速さには上限がつく。

この自己回帰に対して、作り方そのものが違う方式が現れた。拡散LLM（diffusion LLM）は、画像生成で使われてきた拡散モデルの考え方を言語に持ち込んだもので、語を伏せた（マスクした）箇所をまとめて予測する処理を繰り返して、文章を仕上げていく。一度に多くを決められるのだから速くなるはずだ、という見込みは前からあった。2025年から2026年にかけて、商用サービスと研究の両側から実測が出はじめた。返答を待つ時間がそのままコストになる用途なら、この速さは検討に値する。本稿は、企業と研究者が公開した測定を例に取る。

問い

拡散LLMは自己回帰の置き換えになるのか、それとも仕事によって向き不向きが分かれるのか。分かれるなら、何がその線を引くのか。

要点

置き換えの話ではまだない。得手不得手を分ける線を引くのは、生成の順序が仕事の依存構造と噛み合うかどうかだ。 そう報告したのは Wang らだ。三つの統制課題で、小さなモデルを両方式でゼロから学習させて比べ、生成順序は実装の細部ではなく、モデルが何を学びやすいかを決める前提、つまり意味のある帰納バイアスだと結論している。全体を見渡す計画や制約充足の課題では自己回帰が失敗し、局所的な対応づけが要る課題では、マスクをランダムに置く標準のマスク拡散の学習が安定しなかった1。速さのほうは実測が出ている。Mercury Coder の Mini は 1秒あたり1109トークンを示す。品質も同等だと Inception Labs は主張する2。規模でも、LLaDA が8B規模で文脈内学習では LLaMA3 8B に並ぶと報告した3。ただし自然言語の課題全般で並ぶかは課題ごとに割れている。LLaDA が反復を減らして測った付録の比較でも、Google DeepMind が実験公開した Gemini Diffusion の自己申告の表でも、同等と後れが混在する34。

モデル・例示

百語の返答を、順に書く場合と伏せ字から埋める場合

※ この節の数値は説明のための仮定で、測定値ではありません。

百語の返答を作るとする。順に書く方式は、一語決めるたびにモデルを一回通すので、百回通す。伏せ字から埋める方式は、百語ぶんの伏せ字から始め、一回通すごとに何語かを確定させる。一回に一語ずつなら百回で、順に書く方式と回数は変わらない。一回に四語ずつなら二十五回で済む。回数を減らすほど速くなるが、同じ一回で確定した四語は、互いの中身を見ないまま決まる。

決める順番そのものが効く場面もある。地図の上で、入口から出口までの道順を書き出す問題を考える。分かれ道のどちらが出口へつながるかは、出口の側から辿らないと分からない。順に書く方式は、一歩目を書く時点で、まだ書いていない出口側を見られない。伏せ字から埋める方式は、出口に近い側を先に確定させ、そこから一歩目を決めてよい。逆に、表の各行に、その行の入力に対応する答えを一つずつ書き込む問題では、各行の答えはその行の入力だけで決まる。こちらでは、先を見られないことは不利にならない。伏せ字から埋める方式は、練習のたびに伏せる位置を変える。そのため練習の多くは手がかりの乏しい順序に割かれ、行の順に書くという一つの手順に集まらない。

「一語ずつ」への、本格的な対抗馬

GPT も Claude も Gemini も、中身は自己回帰（autoregressive）だ。一語ずつの積み重ねが品質を支えるが、宿命として逐次である。

拡散LLM（diffusion LLM）は順番を捨てる。マスクだらけの文から始めて、全体を並列に少しずつ埋めていき、反復を重ねて文章を完成させる。反復の回数は設定で決まり、減らせば速く、増やせば品質が上がる。問題は「言語でこの作り方が本当に成立するか」だった。

速さは実測、規模でも並び始めた

Mercury Coder（Inception Labs）は商用規模で提供される拡散LLMだ（報告は2025年6月公開のプレプリント）。論文の要旨は、Artificial Analysis（AA）の独立評価に基づくとして、H100上で Mini が1109トークン/秒、Small が737トークン/秒に達し、速度最適化された既存モデル比で最大10倍の速さを同等品質のまま出したと書く2。ただし品質を測った土俵は主にコーディング用途で、論文は汎用の推論や長文で同等かを測っていない。速度の比べ方も一様ではない。比較対象の既存モデルの速度は、AA が複数の配信事業者にまたがって測った商用APIの中央値である。Mercury のほうは自社のサービングエンジンで配信した API の値で(§3.2.1)、Figure 1 の AA の図には、比較対象と同じコーディング用の負荷（入力約1,000トークン）の軸の上に載っている。つまり比較の片側は事業者の中央値、もう片側は開発元自身の単一の配信である。

開発者が実際にコード補完を使う Copilot Arena では、Mini が品質2位タイ・速度1位（平均レイテンシ 0.25 秒、GPT-4o Mini の 0.84 秒の約 3.4 倍速）に入った。デモの数字ではなく、運用の土俵での成績だ。

商用側は Inception Labs だけではなく、Google DeepMind も実験公開の Gemini Diffusion を出している。同社の頁は自己申告の数字として、オーバーヘッドを除く生成速度 1479 トークン/秒と Gemini 2.0 Flash-Lite との比較表を刷る。その表では、コードの 6 指標のうち 5 つでほぼ同等、SWE-Bench Verified（単発の編集だけの評価）では後れ、数学の AIME 2025 では上回り、科学問答・推論・多言語では後れを取る4。

規模の壁も崩れ始めた。LLaDA（NeurIPS 2025 に採択された査読済み論文）はマスク拡散を8Bパラメタまでスケールさせ、文脈内学習で LLaMA3 8B と同等の成績を報告した3。ただしこの同等のうち生成で答えさせた課題は、生成長と反復回数をともに 1024 に置く設定、つまり 1 回の反復で 1 トークンずつ確定する設定で測られており、論文自身も速いモデルの提案を目的とはしないと明記している。同じ論文が付録で反復回数を減らして測った比較では、GSM8K と Math では同等の成績で 1.5 倍・1.8 倍のスループット、MBPP では LLaMA3 8B に後れを取る。

象徴的なのは「逆転の呪い」である。逆転の呪いは、「AはBである」を学んだモデルが「BはAである」を答えられない、自己回帰の悪癖を指す。順序を固定しない拡散LLMはここに強く、逆順の詩の補完では GPT-4o を上回った（45.6 対 34.3。同じ表で Qwen2.5-7B Instruct の 38.0 も上回る）と報告する。課題の実体は中国古典詩の対句496組で、ある句を与えて前の句を答えさせる。プロンプトも中国語である。ただし順方向では逆に大きく劣っており（51.8 対 82.7）、論文の主眼は優越そのものではなく、方向を変えたときの落差が小さいことにある。なお同じ論文は別の節で LLaDA が数学と中国語のタスクで優位だとも書いており、この一件は「逆転の呪いへの強さ」と「中国語での優位」が交絡しうる設定で測られている。（原典の表は指標名も単位も書いておらず、評価は Allen-Zhu と Li の先行研究のプロトコルに従うとだけ記している。ここでは % を付けずに原典の数字のまま引いた。）左から右という縛りを外すこと自体が、特定の能力になっている。

崩れる側は、課題の依存構造で入れ替わる

崩れる場所は、直感とは違うところにあった。Wang らは、マスク拡散LLMの学習の安定性を統制実験で調べた（2026年4月公開・査読前）1。標準のランダムマスク方式が安定して学べなかったのは、文脈内の線形回帰のように、入力と出力を精密に対応づけることが要るタスクだった。文脈内の線形回帰は、20組の実演から潜在の線形写像を推定し、続くクエリに当てる課題である。崩れが出たのは、入力の次元を 10・15・20 と変えたうちの 20 の設定で、次元 10 ではどの方式も同じくらいの成績だった。原典が「局所的な束縛」と呼ぶこの課題は文脈内学習の合成版で、上で LLaDA が自然言語ベンチマークで LLaMA3 8B に並んだ文脈内学習と同じ語だ。ただし測ったのは、原典の構成表で約 400 万〜3,000 万パラメータの小さなモデルの学習安定性であって、能力の一般命題ではない。

逆に Sudoku（大域的な制約充足）と星形グラフの経路探索（依存が Goal→Start と逆流し、前向きの生成順と矛盾する計画課題）では、失敗するのは自己回帰の側である。経路探索で自己回帰は学習損失こそ下がるがテスト精度は 1/d の当てずっぽうに留まり、拡散側は ≈100% に達する。もっとも標準のマスク拡散の学習は初期値に左右され、シードを変えた 8 回の学習では、解き方を見つける回と停滞する回に分かれた。Sudoku の落差はさらに大きく、自己回帰の正答率は 0%、双方向に見渡せる拡散側はほぼ完全に解く。原典はこの差を「実験中もっとも極端に分かれた結果」と呼ぶ。著者らは全モデルのパラメタ数をそろえ、いずれもゼロから学習させてこの比較を取った。

同じ論文は対策として Jigsaw と Scatter を提案するが、その中身は「ブロック内で自己回帰生成を強制し、ブロック間では拡散的な反復精錬を残す」というものだ。つまり両者は、左から右の順序を各ブロックの内側にだけ戻す設計で、ブロックの並びを左から右に進める既存の多くのブロック設計とは役割が逆になっている。ただし、どちらか一方で三つの課題がすべて直るわけではない。Jigsaw が線形回帰の安定性と Sudoku を、Scatter が経路探索での計画の強みをそれぞれ担う。したがって、著者らが名指しする軸は、大域的な計画・制約充足か、局所的な束縛かという反転である。全体を見渡せる拡散は前者に、見る範囲を局所に絞った自己回帰や Jigsaw は後者に向く。著者らは、生成順序をその構造に合わせて選ぶ帰納バイアスと位置づけている1。

優劣は、課題の側で割れる。Wang らの三課題では、課題が大域的な計画なのか、局所的な束縛なのかで、失敗する側が入れ替わった。同じ論文は先行研究の総括として、自然言語の推論ベンチマークでは拡散LLMがしばしば自己回帰に後れを取ると書き、それを仮説の動機に置いている1。

出典4件

  1. Wang ほか「On the Trainability of Masked Diffusion Language Models via Blockwise Locality」arXiv, 2026（査読前）. https://arxiv.org/abs/2604.24832 — 小規模モデルの合成課題で、計画は自己回帰が、局所の束縛はマスク拡散が崩れ、経路探索でも拡散の学習が揺れる。 ↩ ↩2 ↩3 ↩4

  2. Inception Labs「Mercury: Ultra-Fast Language Models Based on Diffusion」arXiv, 2025（査読前）. https://arxiv.org/abs/2506.17298 — H100 で Mini 1109 トークン/秒（AA の計測・自社エンジンでの配信）、Copilot Arena で品質2位タイ・速度1位。 ↩ ↩2

  3. Nie ほか「Large Language Diffusion Models」NeurIPS 2025（arXiv:2502.09992）. https://arxiv.org/abs/2502.09992 https://proceedings.neurips.cc/paper_files/paper/2025/hash/48b383b24230e0e6e649d9c98dae4d8c-Abstract-Conference.html — 8B のマスク拡散が文脈内学習で LLaMA3 8B と同等（生成長・反復とも1024）。逆順の詩の補完で GPT-4o を上回り、順方向では大きく劣る。 ↩ ↩2 ↩3

  4. Google DeepMind「Gemini Diffusion」モデル紹介頁（2026-09-20 閲覧）. https://deepmind.google/models/gemini-diffusion/ — 自己申告で生成速度 1479 トークン/秒。Flash-Lite 比でコードは SWE-Bench Verified を除きほぼ同等、AIME 2025 で上回り、GPQA Diamond などで後れる。 ↩ ↩2

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。