In Silico

AI・信頼性・評価

LLMの量子化で精度はどこまで落ちる？8bitと4bitの違い

2026/7/31 （更新: 2026/10/10）

🤖 AIを使用して執筆

  • 量子化
  • LLM
  • FP8
  • INT8
  • INT4
  • W8A8
  • W4A16
  • GPTQ
  • AWQ
  • BNB-nf4
  • vLLM
  • Llama-3.1
  • Qwen-2.5
  • Command R+
  • PTQ
  • QAT
  • RULER
  • OneRuler
  • MATH-500
  • 精度低下
  • ロングコンテキスト
  • コンテキスト長
  • 自動指標
  • 人手評価
  • 知識蒸留
  • 重み
  • 活性化
  • 推論能力
  • 日本語
  • メモリ
目次
背景・問い・要点
背景

学習を終えたモデルを実際に動かして応答を返す段になると、費用の中心はメモリと計算に移る。これを下げる標準的な手段が量子化だ。数値の精度を落として、モデルが占めるメモリと必要な計算を減らす操作をいう。16bit で持っていた数値を 8bit や 4bit に落とせば、同じハードウェアでより大きなモデルを、より安く配信できる。落とし方（方式）は一つではない。どこを何ビットにするかも、どう丸めるかも、複数のやり方がある。精度は少し落ちる。問題は「少し」がどれくらいかで、公開済みの集計ベンチマークは、8bit ならほぼ無損失と読める数字を出している。ただしその数字は、多くのモデル・方式・タスクを平均したものだ。既定の精度を決める側が見たいのは、その平均ではなく、自分が載せるモデル・自分が流し込む入力の長さ（コンテキスト長）・自分が返す言語での落ち方である。

問い

数値精度を落としたとき、精度はどこで、どれくらい落ちるのか。ビット数だけで決まるのか、それともモデル・方式・コンテキスト長・言語で割れ方が変わるのか。公開済みの測定で確かめる。

要点

落ち方はビット数だけでは決まらない。8bit は集計の平均ではほぼ無傷だが常に安全とは限らず、4bit になると方式とモデルとコンテキスト長と言語の組み合わせしだいで、平均では数%どまりのものから半分以上を失うものまでばらける1。 8bit 側は、大規模な評価が Llama-3.1 ファミリー全スケールで FP8 を実質ロスレスだと結論し2、長いコンテキストを流し込んで測り直しても低下は1%に満たない1。日本語では評価方法でも割れる。4bit で自動指標なら数%に収まる低下が、現実に近いプロンプトを人手で評価すると一桁大きくなる3。3bit 以下の領域では、学習後量子化だけでは劣化した推論能力を戻せないことが多く、2bit では量子化を意識した学習が要る。ただしそれを調べた研究自身は、一段上の 4bit ならほぼロスレスだと測っている4。

モデル・例示

平均の低下が数%でも、一つの課題で半分を失うことがある

※ この節の数値は説明のための仮定で、測定値ではありません。

同じ 4bit の量子化方式を二つ、十個の評価課題で比べるとする。九個は短い入力の課題で、どちらの方式でも精度の低下は 1% ずつだったとする。残る一個は長い入力の課題で、一方の方式は 3%、もう一方は 50% 落ちたとする。

十課題の平均を取ると、前者は (9×1 + 3) ÷ 10 = 1.2%、後者は (9×1 + 50) ÷ 10 = 5.9% になる。どちらも平均では数%の低下に収まる。

長い入力の課題だけを見ると、後者は精度の半分を失っている。配信するワークロードがその課題に近いなら、後者を選んだときの損失は 5.9% ではなく 50% である。

この計算から分かることは二つある。

  1. ビット数が同じでも、方式が違えば落ち方は違う。
  2. 平均の低下が小さいことは、どの課題でも小さいことを意味しない。平均は、少数の課題での大きな崩れを薄める。

8bitは集計ベンチではほぼ無傷だった

まず表記を揃える。量子化とは、重みや活性化をより少ないビット数で表し、メモリ量と計算量を削る操作を指す。W8A8 や W4A16 という書き方は、重み（Weight）と活性化（Activation）をそれぞれ何ビットで持つかを表す。W8A8 なら重みも活性化も8bit、W4A16 なら重みは4bitで活性化は16bitのまま、という意味だ。FP8 は8bitの浮動小数点形式、INT8 や INT4 は整数形式を指す。

Kurtic ら（Red Hat AI＝vLLM の主要な貢献企業であり、Llama-3.1 の量子化チェックポイントの提供元）は vLLM 上で Llama-3.1 ファミリー全スケールを対象に、50万件を超える評価を回した。結果は形式ごとに分かれる。FP8（W8A8-FP）は全モデルスケールで実質ロスレス。W8A8-INT は、よく調整すれば精度低下 1〜3% にとどまる。この論文は ACL 2025 に採択されている2。

独立に、Mekala らはロングコンテキストタスクで同じ問いを測った。約9,700件のテスト事例、64Kトークン以上の長い入力と長い出力、量子化方式は FP8・GPTQ-int8・AWQ-int4・GPTQ-int4・BNB-nf4 の5つ、モデルは Llama-3.1（8B, 70B）と Qwen-2.5（7B, 32B, 72B）の5つ。ここでも 8bit は評価全体の平均で精度を保ち、方式別の低下は FP8 0.8%・GPTQ-int8 0.2% だった1。ただし平均の内側には逆転もある。制約付き物語生成（CS4）では FP8 が有意に 1.8% 落ち、GPTQ-int4 と AWQ-int4 は落ちなかった1。同じ研究は、GPTQ-int8 の Llama-3.1 70B が NoCha で 11.1% 落ちた一方、RULER と OneRuler では同程度の低下が出なかったとも書く1。8bit なら常に安全、と読める結果ではない。EMNLP 2025 採択の査読付き論文である。

タスクの形も、並べたモデルも、測った研究チームも違う。それでも 8bit については同じ判定が出た。8bit を既定の候補に置く根拠は、この二本の平均で揃う。ただし Mekala らは、量子化モデルを配備する前に課題ごとの評価が要ると結論している1。

4bitの安全性はワークロードの性質だ

4bit から先は、同じ資料を読んでも判定が一つに定まらない。Kurtic らのベンチマークでは、W4A16-INT は 8bit に匹敵する競争力を示した2。一方 Mekala らのロングコンテキストタスクでは、4bit 系の平均低下は AWQ-int4 1.8%・GPTQ-int4 2.7%・BNB-nf4 6.9% で、最大 59% を失ったのは BNB-nf4 が Llama-3.1 70B の OneRuler を解いたときだった1。

どちらも実測値だが、食い違いの正体は「タスクの長さ」だけではない。Kurtic らもロングコンテキストは測っている（RULER を 4K〜128K で回し、量子化モデルは平均で 98% 以上のスコアを回復したと報告する）。違いは二つある。一つ目は方式である。Kurtic の W4A16-INT は GPTQ 系で、Mekala の平均では 2.7% だ。だが同じ GPTQ-int4 が RULER では Llama-3.1 8B で 21.2% 落ちている。Mekala は GPTQ-int4 と BNB-nf4 を「一貫して振るわない2方式」として並べており、GPTQ 系が安全側というわけではない。59% を出した BNB-nf4 を Kurtic は試していない。二つ目は集計の粒度である。Mekala ら自身が、Kurtic は単一の集計スコアしか報告しておらず、それが長い入力での落ち込みを覆い隠しうると指摘している。

ここから引き出せる実務上の帰結は一つ。4bit が安全かどうかは、ビット数だけでは決まらず、選んだ方式と自分のワークロードに左右される。とりわけ BNB-nf4 について、Mekala らは HuggingFace や vLLM で 4bit の既定になっている方式だと書き、落ち込みの実務上の意味は大きいとしている1。短い入力の分類や生成で 4bit が通ったからといって、ロングコンテキストの要約や文書横断の処理で同じ結果になるとは限らない。同じ資料の中に、長い出力を求める物語生成（CS4）で 4bit の GPTQ-int4 と AWQ-int4 が落ちず 8bit の FP8 が落ちた課題と、長い入力で 59% を失った課題の両方がある。

同じ4bit方式でも、モデルが変われば結果が変わる

崩れ方はモデルにも依存する。Mekala らの実験では、同じ OneRuler を同じ BNB-nf4 で解かせて、Llama-3.1 70B が 59% 低下する一方、規模の近い Qwen-2.5 72B は 0.6% 向上した1。前節で挙げた 59% は、この割れ方の最も極端な例である。方式もパラメータ規模も揃えたのに、片方は崩れ、片方はむしろ伸びる。タスクを横断して平均しても、Llama-3.1 70B の低下は 32% 残る。

同じ研究は、入力が英語以外の言語だと、この劣化はさらに悪化する傾向があるとも報告している。原典は、長入力の検索課題で、それらの言語での低下が英語の最大5倍に達しうると書く1。方式名だけを根拠にした「この量子化なら通る」という一般化は、この二つの観測の前では成り立たない。検証すべき単位は、方式ではなく方式とモデルと入力の組み合わせになる。

4bitの日本語では、自動指標が被害を過小評価する

日本語でモデルを配信する側にとって、いちばん実務的な数字はここから出てくる。Marchisio ら（Cohere）は多言語モデルの量子化の影響を、自動ベンチマーク・LLM-as-a-Judge・人手評価の3系統で測った。その測定では、被害は言語によって偏る。自動指標では非ラテン文字の言語が最も強く落ち、人手評価での最大落差はフランス語の −16.6% だった3。

日本語について、Marchisio らは4bit（W4-g、103B の Command モデル）で、自動タスク平均の低下が 1.7% であるのに対し、現実的なプロンプトでの人手評価では 16.0% の低下を報告している。自動指標は、この条件下では被害を大幅に過小評価する。ただし 8bit の行は一様ではない。同じ人手評価で日本語は 7.4% 向上したが、原典はそれを「奇妙なことに」と書き、4bit では −16.0% へ落ちると続ける3。なお 1.7% は自動スコアの相対変化、16.0% は人手の勝率から導いた値で、測定方法が異なる。 また、数学的推論のような難しいタスクほど速く劣化する3。

自動ベンチマークの集計で評価を締めているかぎり、この 16.0% は計測に現れない。日本語を評価に足せば見える、という話ではない。1.7% のほうも日本語の自動タスク平均であり、原典が対比しているのは言語ではなく評価方法（自動指標と人手評価）である。利用者が見ている劣化と、手元の数字が食い違う。論文本体は、この結果の条件を、重みのみ 4bit（グループ単位スケーリングの GPTQ）、103B の Command R+、社内評価スイートと明記している。この論文は Findings of EMNLP 2024 に採択されている。

推論能力は戻せる。ただし学習が要る

劣化が最も速い推論能力について、回復の道筋を系統的に調べた研究がある。用語を分けておくと、PTQ（学習後量子化）は訓練済みモデルを後から低ビット化する手法、QAT（量子化を意識した学習）は低ビット化した状態で学習し直す手法だ。

Lv ら（清華大・Huawei ほか）は、推論モデルを低ビット化するのに効く要素を4つ挙げる。ここまでの三本と違い、この一本だけは査読を経ていない4。一つ目は知識蒸留を主目的に据えることである。蒸留は SFT でも RL でも頑健な学習信号になる。二つ目は PTQ を QAT の初期値に使うことである。PTQ を初期値にすると、精度と計算量の両方が改善する。三つ目は、適切な初期化があれば RL も引き続き有効だという点である。四つ目は PTQ と QAT のキャリブレーションドメインを揃えることである。揃えると収束が速まり、最終精度も上がることが多い4。

効果の大きさとして示されたのは、Qwen3-0.6B の 3bit（W3G128）で、著者らの Reasoning-QAT ワークフローが MATH-500 の GPTQ を 44.53 ポイント上回ったという結果だ。ただし 44.53 は、原典が測った 3 モデルのうち最小のモデルの値である。同じ 3bit の MATH-500 で、GPTQ に対する上積みは 1.5B で 8.20 ポイント、4B で 3.40 ポイントに縮み、4B では GPTQ だけでも 90.07（BF16 は 95.33）を保った4。2bit 領域でも性能を一貫して回復するとしている（ただし Qwen3-0.6B では BF16 との差が 25.8 ポイント残る）。2bit では 4B でも GPTQ の MATH-500 が 4.80 に崩れ、学習で 78.27 まで戻る4。回復の効き方はタスクで割れる。著者らは限界節で、学習データが数学中心のため「コーディングや科学といった他の推論タスクへの領域横断的な汎化は限定的なまま」と自ら書いており、同じ Qwen3-0.6B の 3bit では LiveCodeBench が BF16 の 12.94 に対し 1.87 にとどまる。戻っているのは主に数学だ4。

実務的に読むべき含意は明確で、3bit 以下まで落とすなら、推論能力の劣化は回復可能だが後処理だけでは足りないことが多く、2bit では「学習」が要る。原典が調べたのは W3G128 と W2G128 の2設定で、同じ論文は 4bit（W4G128）を「タスク横断でほぼロスレス」と測っている。Kurtic らも推論モデル（DeepSeek-R1-Distill の 1.5B〜70B）を測っており、W4A16-INT の回復率は 1.5B の 93.5% を除いて 97.2〜99.5% だった2。PTQ が足りなくなるのは、その一段下からだ。3bit 以下に落とした推論モデルの精度が足りないとき、量子化パラメータの調整で埋まる幅には限りがある。

出典4件

  1. Mekala ほか「Does quantization affect models’ performance on long-context tasks?」EMNLP, 2025. https://arxiv.org/abs/2505.20276 — 5方式・5モデルを64Kトークン超の入力で比べる。要旨は 32% を同一課題の値と書くが、本体の Figure 11 はタスク横断平均とする。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10

  2. Kurtic ほか「“Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization」ACL 2025. https://arxiv.org/abs/2411.02355 — Llama-3.1 全スケール50万件超の評価で FP8 を実質ロスレスとする。推論モデルの回復率は表4。 ↩ ↩2 ↩3 ↩4

  3. Marchisio ほか「How Does Quantization Affect Multilingual LLMs?」Findings of EMNLP, 2024. https://arxiv.org/abs/2407.03211 — 103B の Command R+ の重みを4bitにし、日本語で自動指標1.7%に対し人手評価16.0%の低下を報告する。 ↩ ↩2 ↩3 ↩4

  4. Lv ほか「What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study」arXiv, 2026. https://arxiv.org/abs/2601.14888 — 査読前。3bit 以下の推論モデルを QAT で戻す手順を調べる。各モデルの数値は表3。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。