タグ: ローカル推論

transformersがGGUFをggmlカーネルで実行：従来との違いと制約 2026/10/2
2024年からGGUFを展開して読めたtransformersが、ggmlカーネルまで取り込み、モデル定義だけを手元に残す設計を、作り手の記事から読む。対応範囲の狭さ、量子化による精度低下、カーネルがあるだけでは速さと安定が決まらないことの三つの代償も確かめる。