タグ: 性能

トークナイザの高速化はどこで効く？専用コードとBPEキャッシュ 2026/10/3
トークナイザの高速化を、分割の段の専用コードとBPEの段のキャッシュに分け、それぞれがどの規則とどの入力で効くかを、tokenizers v1とgigatokenの作り手の資料から読む。