タグ: LLM

vLLMはモデル定義を機種別と機種非依存の二本に分け始めた 2026/10/7
vLLMの作り手は、最先端のGPUで最速を出すためにモデル定義を機種ごとに分け、演算の融合を手で書く方針を示した。並行して、移植性を保つ機種非依存の定義も組み始めた。二つのRFCとPyTorchのブログから、変わる点と、古いGPUや独自のアクセラレータの利用者が払う代償を整理する。
vLLMの文章透かしの仕組み：SynthIDとの違いと、検出に要る鍵 2026/10/3
vLLM v0.30.0は文章の透かしをサンプリングの段に入れ、起動時の設定で使えるようにした。transformersに入ったSynthID Textと並べ、作り手が測った速度と多様性の変化、検出に要る鍵と設定、効かない場面を整理する。
推論モデルは安全性が落ちる？拒否が両方向にずれる実態と防ぎ方 2026/8/31
考えてから答える推論モデルは、指示に従うよう調整済みのモデルを訓練し直して作られることが増えている。2026年の信頼性監査は、推論の後段学習で安全な拒否や偏りの回避が既定では保たれないと報告した。崩れ方は拒否の両方向のずれで、訓練の内側で手当てできるという報告もある。
医療QAでLLMの思考連鎖を壊すと？30種の摂動で見た忠実性 2026/8/31
医療QAの設問と思考連鎖を30種の摂動で壊す監査は、設問の編集をCoTが記録せず答えも動かない割合を、オープン11モデル横断で72.9%と報告した。CoT自体を壊しても正答率の変化は中央値でほぼ0ポイント。再注釈197問の98.5%で正解は妥当なまま。査読前。
LLMの自己学習と蒸留の違い：ほぼ解けない問題を伸ばすのはどちらか 2026/8/27
自己学習の伸びを、訓練していないモデルを訓練済みと同じ手続きで測り直した「何も学習していなくても出る数字」に照らした監査がある。その床の上で、ほとんど解けていなかった問題の解答率を押し上げたと言えたのは外の強いモデルから写した蒸留で、自己学習3方式はそう言えなかった。
LLMのモデル移行で何を測り直す？総合点が上がっても後退する項目 2026/8/26
2026年8月18日のプレプリントは、GPT系の3つの移行すべてで、確実に改善した項目と確実に後退した項目が同居すると測った。総合点が7.3ポイント上がった組にも後退側は残る。先行する4月の研究も別のモデル系列で同じ形を報告する。ただし過半の項目は動かず、後者ではその大半が版によらず常に正解か常に不正解の項目である。
LLMの量子化で精度はどこまで落ちる？8bitと4bitの違い 2026/7/31
LLMを量子化して配信するとき、精度はどこで落ちるか。50万件超の評価はFP8を実質ロスレスとし、ロングコンテキスト評価でも8bitの低下は0.2〜0.8%だ。4bitも平均では1.8〜6.9%だが、方式とモデルの組み合わせで最大59%落ちる。日本語で自動評価1.7%に対し人手16.0%という差は4bitでの測定だ。
LLMの構造化出力で精度は落ちる？分類と推論での使い分け 2026/7/29
LLMの構造化出力をどの工程に掛けるか。査読付きのEMNLP 2024論文は形式制約が推論を下げると報告した。ただし「厳しいほど落ちる」という順序は、同論文が追試した文法保証つきの方式で崩れる。実務で効くのは「正しく、かつ構文が妥当」の同時成立を測る指標だ。
RLVRは新しい推論能力を生むか：賛否の論文を測定結果で読み比べる 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、食い違う測定結果を追う。
思考の連鎖（CoT）は本当の理由を書くか？ヒント言及率の限界 2026/7/26
推論モデルの『思考の連鎖』は、実際の内部処理を正しく説明するとは限らない。ヒントの言語化率はClaudeで25%・R1で39%。ただし2026年の再検討は、別のモデルで16回生成させれば1回はヒントに触れる確率が9割に届く例を示し、この指標を忠実さの点数として読むことに疑義を呈した。
破滅的忘却とは？LLMの継続学習の対策と、残る限界 2026/7/20
デプロイ後のAIは重みが凍り、追加学習すると古い能力を忘れる（破滅的忘却）。個別の事実を書き込む微調整では、低下をメモリ層モデル1.3Bで11%に抑えた。手順を自ら貯める開かれたスキルの獲得には抜きん出た手法が無い。時間で変わる知識では、重みを更新する手法の多くも素朴な検索も、過去の出来事を問う設問を大きく落とす。
拡散言語モデルとは？自己回帰との違い、速さ、得意と苦手 2026/7/20
文を左から右へ一語ずつ紡ぐ自己回帰に、本格的な対抗馬が出た。拡散LLMは文全体を並列に埋め、Mercuryは1秒1109トークン、LLaDAは8Bで文脈内学習ならLLaMA3 8Bに並んだと報告。小型モデルの統制実験で得手不得手を分けたのは、生成順序が仕事の依存構造（大域の計画か局所の束縛か）と噛み合うか否かだった。
コンテキストエンジニアリングとは？プロンプトとの違いと圧縮の判断 2026/6/21
AIには「一度に見られる量」に限りがある。長く動くエージェントでは、その限られた枠に毎回“何を載せるか”が、出来を大きく左右する。その采配を設計する技術を、「プロンプトを書く」と対比して整理する。
AIエージェントのハーネスとは？同じモデルで成績が変わる仕組み 2026/6/21
AIエージェントの話になると、つい「GPTとClaude、どっちが賢い？」とモデルを比べたくなる。だが同じモデルでも、ハーネスと呼ぶ“外側の作り”しだいでベンチマークの成績は動く。モデルだけでなく、その周りのソフトウェアの話でもある。
AIエージェントとは？LLMとの違い・仕組み・落とし穴 2026/6/21
ChatGPTは質問に答える。でも「エージェント」はもう一歩進んで、自分でツールを使い、結果を見て、また考える。その違いを作っているのは、モデルの賢さではなく「ループとツール」という構成だ。AIエージェントの一番の基礎の話。
ハルシネーションの原因と対策：なぜ起き、どこまで減らせるか 2026/6/20
LLMのハルシネーションには、事前学習から避けがたく残る誤りと、当てずっぽうに点を与える採点が続けさせる誤りがある。Kalaiらの論文を軸に、補完で答えるモデルが誤りをゼロにできない理由、採点を変えて動かせる範囲、残る誤りをシステムの側で封じ込める設計を整理する。
RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは減らすが、消しはしない。残った誤りには実在の判例を引きながら中身を誤るものがあり、論文はそれが丸ごとの捏造より微妙で見つけにくいと書く。
LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20
「自信」は一つではない。内部確率と申告確信度はキャリブレーションを測れるが、RLHF後のモデルが自分から出す口ぶりそのものは、本稿が引く研究の測定外にある。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルが高い自信を好む偏りを実測し、補正で過信を減らした。

← 全タグ