タグ: 推論

vLLMはモデル定義を機種別と機種非依存の二本に分け始めた 2026/10/7
vLLMの作り手は、最先端のGPUで最速を出すためにモデル定義を機種ごとに分け、演算の融合を手で書く方針を示した。並行して、移植性を保つ機種非依存の定義も組み始めた。二つのRFCとPyTorchのブログから、変わる点と、古いGPUや独自のアクセラレータの利用者が払う代償を整理する。
vLLMの文章透かしの仕組み：SynthIDとの違いと、検出に要る鍵 2026/10/3
vLLM v0.30.0は文章の透かしをサンプリングの段に入れ、起動時の設定で使えるようにした。transformersに入ったSynthID Textと並べ、作り手が測った速度と多様性の変化、検出に要る鍵と設定、効かない場面を整理する。