タグ: 検証

• 
  倒立振子をLQRと強化学習で比べる：学習コストとLQRの遅延の限界 2026/9/2

  台車の上の棒を、まず自分で（難しい）、次にLQRの自動操縦で（簡単）、最後に強化学習で。後ろの二つを同じ指標で測ると、賢く見える方法も無料ではないと分かる。さらに制御に60ms遅延を足すと自動操縦の「完璧」は崩れ、80msで倒れる。sim2realギャップを指で触る。

• 
  Hugging Face侵入事件、AIエージェントはなぜ侵入したか：経路と防御 2026/9/2

  手違いで解けない評価課題を与えられたエージェント群が、採点の仕組みを知るためにHugging Faceへ侵入した。入口は公開されていた認証情報で、内部への経路はデータセット処理系の二つの欠陥だった。外部の調査3名が現地で6日間検分し、届いた範囲と届かなかった範囲の両方を自ら書いている。

• 
  推論モデルは安全性が落ちる？拒否が両方向にずれる実態と防ぎ方 2026/8/31

  考えてから答える推論モデルは、指示に従うよう調整済みのモデルを訓練し直して作られることが増えている。2026年の信頼性監査は、推論の後段学習で安全な拒否や偏りの回避が既定では保たれないと報告した。崩れ方は拒否の両方向のずれで、訓練の内側で手当てできるという報告もある。

• 
  医療QAでLLMの思考連鎖を壊すと？30種の摂動で見た忠実性 2026/8/31

  医療QAの設問と思考連鎖を30種の摂動で壊す監査は、設問の編集をCoTが記録せず答えも動かない割合を、オープン11モデル横断で72.9%と報告した。CoT自体を壊しても正答率の変化は中央値でほぼ0ポイント。再注釈197問の98.5%で正解は妥当なまま。査読前。

• 
  AI出力の検証はどこまで自動化できる？CIで止める違反と人が見るもの 2026/8/1

  生成もレビューも安くなったが、AI出力は自信満々に誤る。機械が判定できる違反は指示でなく機構ゲートで赤く止め、判定できないものに人手を温存する。確信度を正しさと取り違えない信頼の置き方を、品質を工程に組み込む規律と自動化研究の知見から翻訳する。

• 
  AIエージェントに人の確認が必要な理由：ドメイン知識と責任 2026/7/23

  「最後は人間が見る」に潜む、漠然とした「人間なら質が上がる」という前提。第一線の文書が挙げるのは責任の割り当てと要件整合。要件整合を検証＝品質の土台に戻し、そこにコンテキストに入りきらないドメイン知識を置くと、人手の理由はドメイン知識と責任という二つの中身に分解できる。順位ではなく配置の問題として、線の引き方を辿る。

• 
  AIの数学証明はLeanで確かめれば正しい？保証される範囲 2026/7/20

  AIに数学を『形式的証明つき』でやらせる流れが本物になりつつある。2週・サブスク代約100ドルで13万行、Lean 4の評価基盤には未解決予想も並ぶ。だが機械が保証するのはAIが書いた形式の命題だけで、それが元の主張とズレていれば保証は空になる。その命題が主張と噛み合う率は、素の入力でも最良82%どまりだ。

• 
  AI生成コードのコードレビューは何を見る？目的・危険度・仕様 2026/7/16

  レビューの第一の目的は、欠陥をすべて捕まえることではない。コードベースの健全性を守り、知識と規範をチームへ移すことだ。Googleの研究と、同じ著者が加わった書物はそう報告する。この原則を先に置くと、AI出力の検証も、生成前の仕様設計も、やることは自然に決まる。どちらもAI以前からある規律の話だ。

• 
  シミュレーションの信頼性はどう確かめる？V&Vと検証範囲の外の危うさ 2026/7/4

  「何でもシミュレートできる」という宣伝は、その計算が正しいと誰がどう確かめたのか、という問いを飛ばしている。工学が規格化してきたV&Vの手続き、妥当性確認の範囲の外で使われたコロンビア号のCrater、そしてML代理モデルの弱い基準線まで、シミュレーションの信頼の源泉と限界を辿る。

• 
  AIエージェントはなぜ長い作業で失敗する？成功率の掛け算と評価方法 2026/6/21

  AIエージェントのデモは魔法のようだ。だが実際の長いタスクに乗せると、ぼろぼろ崩れる。一因は、製造業の歩留まりとまったく同じ「掛け算」にある。各ステップ95%でも、20回続けば成功率は4割を切る。シリーズの本丸。

• 
  AIの材料発見はどこまで使えるか：効く段階と過大評価の3例 2026/6/21

  「AIが数十万の新材料を発見」「ロボットが17日で41個合成」という華々しい見出しが続いた。だが専門家が中身を見にいくと、多くは“新しくなかった”。AIが材料探しで本当に効く場所と、見出しが先走る場所を、冷静に切り分ける。

• 
  RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20

  根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは減らすが、消しはしない。残った誤りには実在の判例を引きながら中身を誤るものがあり、論文はそれが丸ごとの捏造より微妙で見つけにくいと書く。

• 
  LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20

  「自信」は一つではない。内部確率と申告確信度はキャリブレーションを測れるが、RLHF後のモデルが自分から出す口ぶりそのものは、本稿が引く研究の測定外にある。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルが高い自信を好む偏りを実測し、補正で過信を減らした。

• 
  脳データのノイズとは？瞬きやドリフトが検出を狂わせる仕組み 2026/6/19

  神経データの信号とノイズを分ける作業は、機械学習以前の問題だ。測定・アーティファクト・解釈のギャップが本当のボトルネックである理由を、触れる合成デモとともに論じる。

← 全タグ