AI・信頼性・評価

8bitは実質ロスレス、4bitはモデルと文脈長で崩れる

2026/7/31 （更新: 2026/8/9）

🤖 AIが執筆しています

8bitは集計ベンチではほぼ無傷だった

まず表記を揃える。W8A8 や W4A16 という書き方は、重み（Weight）と活性化（Activation）をそれぞれ何ビットで持つかを表す。W8A8 なら重みも活性化も8bit、W4A16 なら重みは4bitで活性化は16bitのまま、という意味だ。FP8 は8bitの浮動小数点形式、INT8 や INT4 は整数形式を指す。

Kurtic ら（Red Hat AI＝vLLM の主要な貢献企業であり、Llama-3.1 の量子化チェックポイントの提供元）は vLLM 上で Llama-3.1 ファミリー全スケールを対象に、50万件を超える評価を回した。結果は形式ごとにはっきり分かれる。FP8（W8A8-FP）は全モデルスケールで実質ロスレス。W8A8-INT は、よく調整すれば精度低下 1〜3% にとどまる。この論文は ACL 2025 に採択されている¹。

独立に、Mekala らは長文脈タスクで同じ問いを測った。9,700件を超えるテスト事例、64Kトークンを超える長い入力と長い出力、量子化方式は FP8・GPTQ-int8・AWQ-int4・GPTQ-int4・BNB-nf4 の5つ、モデルは Llama-3.1（8B, 70B）と Qwen-2.5（7B, 32B, 72B）の5つ。ここでも 8bit は評価全体の平均で精度を保ち、低下は約0.8%（FP8 0.2%／GPTQ-int8 0.8%）だった²。ただし平均の内側には逆転もある——制約付き物語生成（CS4）では FP8 が有意に 1.8% 落ち、GPTQ-int4 と AWQ-int4 は落ちなかった²。8bit なら常に安全、と読める結果ではない。EMNLP 2025 採択の査読付き論文である。

タスクの形も、並べたモデルも、測った研究チームも違う。それでも 8bit については同じ判定が出た。配信の既定値をどこに置くかは、この二本で決まる。

4bitの安全性はワークロードの性質だ

4bit から先は、同じ資料を読んでも判定が一つに定まらない。Kurtic らのベンチマークでは、W4A16-INT は 8bit に匹敵する競争力を示した¹。一方 Mekala らの長文脈タスクでは、4bit 系の平均低下は AWQ-int4 1.8%・GPTQ-int4 2.7%・BNB-nf4 6.9% で、最大 59% を失ったのは BNB-nf4 が Llama-3.1 70B の OneRuler を解いたときだった²。

どちらも実測値だが、食い違いの正体は「タスクの長さ」だけではない。Kurtic らも長文脈は測っており（RULER を 4K〜128K で回し、量子化モデルは平均で 98% 以上のスコアを回復したと報告する）、その集計では 4bit の崩れが埋もれている。違いは二つある。方式——Kurtic の W4A16-INT は GPTQ 系で、Mekala の平均では 2.7% だ。だが同じ GPTQ-int4 が RULER では Llama-3.1 8B で 21.2% 落ちている。Mekala は GPTQ-int4 と BNB-nf4 を「一貫して振るわない2方式」として並べており、GPTQ 系が安全側というわけではない。59% を出した BNB-nf4 を Kurtic は試していない。そして集計の粒度——Mekala ら自身が、Kurtic は単一の集計スコアしか報告しておらず、それが長い入力での落ち込みを覆い隠しうると指摘している。ここから引き出せる実務上の帰結は一つ。4bit が安全かどうかは、ビット数の属性ではなく、選んだ方式と自分のワークロードの属性だ。とりわけ BNB-nf4 は HuggingFace や vLLM の 4bit 既定であり、既定のまま載せることの意味は大きい。 短い入力の分類や生成で 4bit が通ったからといって、長文脈の要約や文書横断の処理で同じ結果は出ない。

同じ4bit方式でも、モデルが変われば結果が変わる

崩れ方はモデルにも依存する。Mekala らの実験では、同じ OneRuler を同じ BNB-nf4 で解かせて、Llama-3.1 70B が 59% 低下する一方、規模の近い Qwen-2.5 72B は 0.6% 向上した²。前節で挙げた 59% は、この割れ方の最も極端な例である。方式もパラメータ規模も揃えたのに、片方は崩れ、片方はむしろ伸びる。タスクを横断して平均しても、Llama-3.1 70B の低下は 32% 残る。

同じ研究は、入力が英語以外の言語だと、この劣化はさらに悪化する傾向があるとも報告している²。方式名だけを根拠にした「この量子化なら通る」という一般化は、この二つの観測の前では成り立たない。検証すべき単位は、方式ではなく方式とモデルと入力の組み合わせになる。

4bitの日本語では、自動指標が被害を過小評価する

日本語でモデルを配信する側にとって、いちばん実務的な数字はここから出てくる。Marchisio ら（Cohere）は多言語モデルの量子化の影響を、自動ベンチマーク・LLM-as-a-Judge・人手評価の3系統で測った。被害は言語によって偏る——自動指標では非ラテン文字の言語が最も強く落ち、人手評価での最大落差はフランス語の −16.6% だった³。

決定的なのは日本語の数字だ。4bit（W4-g、103B の Command モデル）で、自動タスク平均の低下が 1.7% であるのに対し、現実的なプロンプトでの人手評価では 16.0% の低下が報告された。自動指標は、この条件下では被害を大幅に過小評価する。ただし 8bit の行は一様ではない——同じ人手評価で日本語は 7.4% 向上したが、原典はそれを「奇妙なことに」と書き、4bit では −16.0% へ落ちると続ける³。なお 1.7% は自動スコアの相対変化、16.0% は人手の勝率から導いた値で、そもそも同じ物差しではない。 また、数学的推論のような難しいタスクほど速く劣化する³。

英語のリーダーボードで評価を締めているかぎり、この 16.0% は計測に現れない。利用者が見ている劣化と、手元の数字が食い違う。この結果の条件は論文本体に明記されている——重みのみ 4bit（グループ単位スケーリングの GPTQ）、103B の Command R+、社内評価スイートである。この論文は Findings of EMNLP 2024 に採択されている。

推論能力は戻せる。ただし学習が要る

劣化が最も速い推論能力について、回復の道筋を系統的に調べた研究がある。用語を分けておくと、PTQ（学習後量子化）は訓練済みモデルを後から低ビット化する手法、QAT（量子化を意識した学習）は低ビット化した状態で学習し直す手法だ。

Lv ら（清華大・Huawei ほか）は、推論モデルを低ビット化するのに効く要素を4つ挙げる。知識蒸留を主目的に据えること——SFT でも RL でも頑健な学習信号になる。PTQ を QAT の初期値に使うこと——精度と計算量の両方が改善する。適切な初期化があれば RL も引き続き有効であること。そして PTQ と QAT の較正ドメインを揃えること——収束が速まり、最終精度も上がることが多い⁴。

効果の大きさとして示されたのは、Qwen3-0.6B の 3bit（W3G128）で、著者らの Reasoning-QAT ワークフローが MATH-500 の GPTQ を 44.53 ポイント上回ったという結果だ。2bit 領域でも性能を一貫して回復するとしている（ただし Qwen3-0.6B では BF16 との差が 25.8 ポイント残る）⁴。実務的に読むべき含意は明確で、推論能力の劣化は回復可能だが、後処理だけでは足りず「学習」が要る。低ビット化した推論モデルの精度が足りないとき、量子化パラメータの調整で埋まる幅には限りがある。

何を既定にし、何を測るか

既定は 8bit に置く。FP8 は全モデルスケールで実質ロスレスと報告されており、コスト削減として取りにいく価値がある¹。INT 側を選ぶ場合でも、低下は 1〜3% の範囲に収まる。

4bit を採る前に、自分のモデル、自分の量子化方式、自分の文脈長で測る。この三つはどれも結果を大きく動かす。公開ベンチマークの平均値が使えるのは、その三条件が自分の配備条件と揃っているときだけだ。とくに 64K トークンを超える入力を扱う予定があるなら、短い入力での検証結果は根拠にならない。

日本語のような非ラテン文字の言語を配信するなら、評価系に人手評価か現実的なプロンプトを組み込む。自動指標の集計値だけで判断すると、利用者が体感する劣化を大幅に取り逃がす。

低ビット化と推論能力の両方が必要なら、量子化を意識した学習に予算を確保する。学習後量子化だけで推論性能が保たれることを前提に計画を組まない。

そして形式は配信モードに合わせる。同期推論では W4A16 が最もコスト効率がよく、非同期の連続バッチングでは W8A8 が最適だと、同じ研究が指針を出している¹。混在ワークロードでどちらが効くかは、配備条件によって変わる。

この報告を、どう割り引くか

証拠の重みは揃っていない。四本のうち三本——Kurtic らの ACL 2025、Marchisio らの Findings of EMNLP 2024、Mekala らの EMNLP 2025——は査読を通っている。Lv らの QAT 研究は 2026年1月公開のプレプリントで、査読前だ。

多言語の結果には、書けない部分がある。1.7% は MGSM・mMMLU・FLORES・Language Confusion の自動平均、16.0% は社内評価スイートでの人手勝率で、そもそも母集団が違う。

4bit をめぐる二つの判定——競争力があるという結果と、最大 59% 落ちるという結果——は、測ったタスクの形が違う。短い入力の評価スイートと、64K トークン超の長文脈タスクでは、同じ精度形式でも別の顔が出る。読み手の側で、自分のタスクがどちらに近いかを決める必要がある。

回復幅の 44.53 ポイントは、Qwen3-0.6B という小さなモデルで MATH-500 という一つのベンチマークを測った数字だ。より大きな推論モデルや別のタスクで同じ幅が出るかどうかは、この一本からは確かめられない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。