タグ: 論文解説
- ロボット評価の試行回数は何回必要？成功率の差を1行で検算する 2026/8/17
実機ロボットの成功率は10回前後の試行で報告される（本稿の例では9〜15回）。試行10回だと40ポイントの改善でも95%区間が0をまたぐことがあり、観測された差が同じなら、20回あれば成功回数の内訳によらず立つ。読者が1行で検算できる算術と、試行数だけでは足りない理由。
- RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは減らすが、消しはしない。残った誤りには実在の判例を引きながら中身を誤るものがあり、論文はそれが丸ごとの捏造より微妙で見つけにくいと書く。
- LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20
「自信」は一つではない。内部確率と申告確信度はキャリブレーションを測れるが、RLHF後のモデルが自分から出す口ぶりそのものは、本稿が引く研究の測定外にある。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルが高い自信を好む偏りを実測し、補正で過信を減らした。
