タグ: 評価

• 
  ハーネス設定で修復率はどこまで変わる？AGENTS.mdの効果も検証 2026/9/6

  古いツール出力の自動短縮を含む三規則のハーネス設定パッケージで、コーディングエージェントの修復率が最大28%から49%へ動いた。効き幅はコンテキストが苦しい条件ほど大きく、余裕がある条件では三つ中二つで差が出なかった。別の設定（AGENTS.md等のコンテキストファイル）は著者の異なる二本の検証で精度を動かさなかった。

• 
  AI駆動の研究が成果を出す条件は？AlphaEvolveなど4事例を比較 2026/8/31

  分かれ目は外部検証者の有無ではなく、採点に候補を落とす力があるかだった。実験・評価器・採点指標が候補を選ぶCo-Scientist・AlphaEvolve・ERA（保留データで採点し直した単一細胞解析）は検証を通り、論文への採点が助言にとどまったshadow evaluationは6点満点で2点・1点に終わった。

• 
  LLMの自己学習と蒸留の違い：ほぼ解けない問題を伸ばすのはどちらか 2026/8/27

  自己学習の伸びを、訓練していないモデルを訓練済みと同じ手続きで測り直した「何も学習していなくても出る数字」に照らした監査がある。その床の上で、ほとんど解けていなかった問題の解答率を押し上げたと言えたのは外の強いモデルから写した蒸留で、自己学習3方式はそう言えなかった。

• 
  LLMのモデル移行で何を測り直す？総合点が上がっても後退する項目 2026/8/26

  2026年8月18日のプレプリントは、GPT系の3つの移行すべてで、確実に改善した項目と確実に後退した項目が同居すると測った。総合点が7.3ポイント上がった組にも後退側は残る。先行する4月の研究も別のモデル系列で同じ形を報告する。ただし過半の項目は動かず、後者ではその大半が版によらず常に正解か常に不正解の項目である。

• 
  自己改善エージェントの上達は本物か：ReasoningBank再評価で反転 2026/8/25

  記憶型のAWM・ReasoningBankを3回ずつ再評価した2026年8月のプレプリント。WebArenaの既定順でReasoningBankが見せた+1.5ポイントは有意でなく（p=0.23）、課題順のシャッフルで−4.5ポイントに反転。入れ替え後は2手法とも49.1〜50.7%と、記憶なしの54.8%を下回った。

• 
  AIエージェントのPRはなぜ不採用になる？理由の内訳とマージ率 2026/8/18

  人気OSSのエージェントPRの生マージ比率は37.8〜90.0%で、首位は人間の84〜86%を超える。非マージPRを人が読んだ研究は重複とテスト失敗を上位に、ビルド失敗をまれとした。別の研究は不採用のうち真にエージェントの失敗は35.7%、理由が残らないものが33.1%と数える。損失の多くはコードの欠陥で説明できない。

• 
  ロボット評価の試行回数は何回必要？成功率の差を1行で検算する 2026/8/17

  実機ロボットの成功率は10回前後の試行で報告される（本稿の例では9〜15回）。試行10回だと40ポイントの改善でも95%区間が0をまたぐことがあり、観測された差が同じなら、20回あれば成功回数の内訳によらず立つ。読者が1行で検算できる算術と、試行数だけでは足りない理由。

• 
  AIエージェントは長い作業ほど失敗する？崩れ方と防ぎ方 2026/7/28

  2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。

• 
  GDPvalとは：AIと熟練者の実務比較で、勝率が測るもの・測らないもの 2026/7/26

  OpenAIのGDPvalは44職種の実務成果物でAIと熟練者を直接比べ、最上位モデルは人の質に迫った。だが『約100倍速い』は提供元の発表記事の値で、論文の同種の指標は90倍。レビュー込みならGPT-5で約1.12〜1.39倍。『勝率』は正しさだけを測る指標ではない。ベンチの点は現場を予言しない。

• 
  AIのサンドバッギングとは？安全性評価を見抜くモデルと塞ぎ方 2026/7/20

  AI安全性の評価は、テストと本番でモデルが同じに振る舞うことを前提にする。だがフロンティアAIはテストを見抜き始め、わざと低性能を装うsandbaggingもとりうる。2025〜26年の独立研究では、崩れ方は課題の種類に偏り、ある監査ゲームで効いたのは伏せた実力を引き出す追加訓練だった。

• 
  AIの報酬ハッキング：解かずに満点を取る仕組みとどこまで塞げるか 2026/7/4

  2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、うち9本で1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴を塞げたのは、もともと設計が堅い4本だけだった。

• 
  LLMベンチマークのスコアは信用できるか：グッドハートの法則と汚染 2026/6/20

  リーダーボードの数字は現実そのものではなく、その代理である。最適化が進むほど、スコアの上昇が何に由来するのかを、スコアだけからは確かめられなくなる。グッドハートの法則とLLMの測定問題。

← 全タグ