タグ: ベンチマーク

Every Eval Everとは：AI評価記録の必須欄と再現の穴 2026/10/3
評価結果を機械可読な記録として公開する共有スキーマEvery Eval Everの必須欄と任意欄を、英国AISIの採用例とともに読む。走行の設定を書く欄が必須ではない設計の代償も確かめる。
AIエージェントのハーネス自動進化、成果とベンチマークの信頼性 2026/7/29
AIエージェントのハーネスを自動で進化させる研究が、人間設計超えをベンチで報告した。方法は前進だ。だが看板の数字が乗る Terminal-Bench 2 は、上位提出が採点の抜け穴を突いていたと独立監査に指摘された表であり、転移先の SWE-bench も漏洩が実証されてきた。信頼度の異なるベンチマークを、分けて読む。