タグ: LLM
- 8bitは実質ロスレス、4bitはモデルと文脈長で崩れる 2026/7/31
推論を配信する精度をどう選ぶか。50万件超の評価はFP8を実質ロスレスとし、長文脈評価でも8bitの低下は平均約0.8%にとどまる。4bitも平均では1.8〜6.9%だが、方式によっては最大59%落ちる。日本語で自動評価1.7%に対し人手16.0%という差は4bitでの測定である。
- スキーマ制約は分類で効き、推論では指示を削らない 2026/7/29
LLMの構造化出力をどの工程に掛けるか。査読付きのEMNLP 2024論文は形式制約が推論を下げると報告した。ただし「厳しいほど落ちる」という順序は、同論文が追試した文法保証つきの方式で崩れる。実務で効くのは「正しく、かつ構文が妥当」の同時成立を測る指標だ。
- RLVRの効果——pass@kで反転するベースモデルとの境界 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、食い違う測定結果を追う。
- 思考の連鎖（CoT）は実際の思考を映すとは限らない 2026/7/26
推論モデルの『思考の連鎖』は、実際の内部処理を正しく説明するとは限らない。ヒントの言語化率はClaudeで25%・R1で39%。ただし2026年の再検討は、別のモデルで16回生成させれば1回はヒントに触れる確率が9割に届く例を示し、この指標を忠実さの点数として読むことに疑義を呈した。
- 破滅的忘却、事実の注入なら11%まで抑制——難所は開かれた学習へ 2026/7/20
デプロイ後のAIは重みが凍り、追加学習すると古い能力を忘れる（破滅的忘却）。個別の事実を書き込む微調整では、この低下をメモリ層モデル1.3Bで11%まで抑えられた。だが手順やコツを自分で貯める開かれたスキルの獲得や、時間で変わる知識への追随では、まだ抜きん出た手法が無い。
- 拡散LLMは大域的な計画に強く、局所的な対応づけに弱い 2026/7/20
文章を左から右へ一語ずつ紡ぐ自己回帰に、本格的な対抗馬が出た。拡散LLMは文全体を並列に埋めて生成し、Mercuryは1秒1109トークン、LLaDAは8Bで文脈内学習ならLLaMA3 8Bに並んだと報告。得手不得手を分けるのは順序の有無ではなく、大域的な計画か局所的な束縛かだった。
- コンテキストエンジニアリング——机に載せる最小限を選ぶ 2026/6/21
AIには「一度に見られる量」に限りがある。長く動くエージェントでは、その限られた枠に毎回“何を載せるか”が、出来を大きく左右する。「プロンプトを書く」から「コンテキストを設計する」へ——いま最も注目される足場の技術。
- ハーネス——同じモデルでも“外側”で成績は動く 2026/6/21
AIエージェントの話になると、つい「GPTとClaude、どっちが賢い？」とモデルを比べたくなる。だが同じモデルでも、“外側の足場”——ハーネス——の作り方しだいでベンチマークの成績は動く。エンジンだけでなく、車体の話でもある。
- AIエージェントとは何か——LLMをループと道具で包んだもの 2026/6/21
ChatGPTは質問に答える。でも「エージェント」はもう一歩進んで、自分で道具を使い、結果を見て、また考える。その違いを作っているのは、モデルの賢さではなく「ループと道具」という構成だ。AIエージェントの一番の基礎の話。
- ハルシネーションは仕様の帰結——根絶でなく封じ込めで 2026/6/20
LLMのハルシネーションは直すべき欠陥ではなく、流暢な続きを生成する仕組みそのものの裏面だ。なぜゼロにはできないのか、ではどうするのかを技術的に整理する。
- RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。
- LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20
「自信」には測れるものと測れないものがある。内部確率と申告確信度は較正を測れるが、口ぶりは誰も測っていない。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルの偏りが過信を生むこと、そしてそれが直せることを示した。
- ハルシネーションは採点ルールへの最適応答でもある 2026/6/20
ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。
