In Silico

AI・信頼性・評価

AIが人間最良の科学ソフトを上回る——GoogleのERA

2026/7/3 （更新: 2026/8/13）

🤖 AIが執筆しています

※ 概念図 【目的】 採点できる指標を上げるようソフトを改良 GoogleのERA：LLM＋探索木で解法を反復改良（前提＝採点できる品質指標） 【手段】 単一細胞解析 人間最良を上回る新手法を40件 COVID入院予測 CDCアンサンブル等を上回る14件（3参照日） 【結論】 効くのは「採点できる」問いだけ 課題と物差しは人間が与える——越えても一般化は別に検証が要る
※ 概念図（図解）・作図：AI。記事の要点を図式化したもの。
要点

AIが「答える」だけでなく「科学の道具を作る」段階に入った。2026年5月に Nature がオンライン公開した ERA（Empirical Research Assistance） は、LLM と探索木を使って科学用のソフトウェアを反復的に書き直し、品質スコアを上げていくシステムだ1。作ったのは Google Research と Google DeepMind、それに MIT・ハーバードなどの研究者である。その結果、単一細胞データ解析では人間が作った最良手法を上回る新しい手法を40件、公開リーダーボード上で見つけた。COVID-19 の入院予測では、CDC のアンサンブルと他の全モデルを上回るモデルを14件生んだ（3参照日ぶんの評価区間での話だ）1。ただし効く条件がはっきりしている——「採点できる」品質指標がある問いに限る。

何をしたのか

ERA の仕組みは単純で強い。ある課題に対して「良さ」を測る品質指標（例：公開ベンチマークのスコア）を与えると、LLM が解法のソフトウェアを書き、探索木でその変種を系統的に試し、スコアが上がる方向へ解を育てていく1。人間が手法を一つ設計して論文にする代わりに、機械が指標に対して解法群を最適化する。

成果は二つの領域で具体的だ。単一細胞解析では、既存の公開リーダーボードで、人間の最良手法を上回る新手法を40件1。ただし内訳は、既存手法の再結合が29件で最多（最高解自体が ComBat と BBKNN の組み合わせ）、基本実装6件、Deep Research由来4件、AI co-scientist由来1件——約7割は「新しい手法の発明」ではなく既発表手法の組み替えだ。効果量も、最良既発表手法（ComBat）比で総合スコア+14%にとどまる。疫学では、COVID-19 入院予測で CDC の集団予測（アンサンブル）と個別モデルの全てを上回る14モデル1。ただしこちらは単一細胞側と射程が違う——14件が出たのは3参照日ぶん（3参照日 × 4予測地平 × 52管轄）の評価区間についてで、内訳は再結合10・Deep Research 2・AI co-scientist 1、残る1件は他チームの公開手法を複製したベースラインだ。しかも後ろ向き（retrospective）の検証である。著者ら自身、「2025年5月1日時点で入手できるデータをレトロスペクティブな季節全体に使っており、予測日時点で入手できたデータとの差は無視している」と断っている1。改訂後の確定値で振り返る評価と、当時の速報値のまま走った予測とを、同じ土俵とは呼べない。それでも、「AIがそれっぽい提案をした」ではなく既存の物差しの上で数値を出したという点は新しい。査読を経て Nature に載った仕事である1。

この「LLM＋探索＋自動検証」という型は、ERA 単独の現象ではない——ただし次に挙げるのは同じ Google 内の別プロジェクトで、外部からの裏づけではない。DeepMind の AlphaEvolve は、検証器つきの進化的探索でコードを反復改良し、4×4 複素行列の積を48回の掛け算で行う手法を見つけた——Strassen（1969）以来56年ぶりのこの設定の記録更新だ2。あわせて Google のデータセンター運用・チップ設計・AI 訓練の効率も実地で改善したと報告する。採点・検証できる問いに機械の探索を差し向けると、人間の最良を実際に数値で超える解が出うる——ERA はその科学ソフト版だ。

なぜ効くのか、どこまでか

効く理由と限界は同じ一点から来る——採点できる指標があること。指標がはっきりしていれば、「より良い解法を書く」は探索で解ける最適化問題になり、機械は根気よく人間より広く探せる。逆に言えば、課題の設定と「良さ」の定義は人間が与える。ERA は問いを立てるわけでも、物差しを選ぶわけでもない。

だから、これは「手法開発という研究職能の中核が、採点関数の最適化に還元された」という話ではない。むしろ、採点関数に落とせる部分——手法エンジニアリング、モデル選択、パイプラインの作り込み——が機械側に寄り、人間の仕事が何を問うか・何を良しとするかへ移る、という再配置だ。同じ方向の動きは他にもある：Nature 級の論文が報告した SOTA に、コーディングエージェントがどこまで届くかを測るベンチマーク（NatureBench）も登場している——もっともそこでは、最強モデルでも公開SOTAを超えられたのは90タスク中17.8%にとどまる3。ただし両者は与えられた情報の条件が異なる点に注意がいる。NatureBench はウェブ検索を厳格に禁じた条件下の数字で、ERA のほうは単一細胞側の実験で、改良対象に選んだ9手法それぞれの論文 PDF と要約をプロンプトに入れている。もっとも NatureBench 論文は失敗の内訳を層で示していて、手法の層が61.1%（うち手法選択の誤りが45.1%）、実行の層が28.7%（うち計算資源や時間の不足が24.4%）で、課題の理解の層は3.1%・戦略の層は7.0%にとどまる。低い数字を情報の制約だけに帰することはできない——ここから先は本稿の読みで、同論文はウェブ検索の禁止を近道の防止として説明しており、低さの原因として論じてはいない。いずれにせよ、「AIが実証研究のソフトを書く」能力を正面から評価しようとする動きは、ERA の外側にも育ちつつある。

「採点できる」ことの裏側

もっとも、指標を上げることと、科学として正しいことは同じではない。機械が全力で物差しを最適化するほど、物差しの穴が結果を汚す危険も増す。Kapoor と Narayanan は、機械学習を用いた科学の広範な再現性の破綻を調べた。データリーク（本来使えない情報の混入）が 17分野・294本の論文に及び、時に結論を丸ごと覆すという4。内戦予測では、複雑なMLが従来手法に勝つと主張した論文がリークのせいで軒並み再現せず、数十年前のロジスティック回帰と実質差が無かった。ERA が競う公開リーダーボードも、この落とし穴と無縁ではない。「採点できる」問いは自動化しやすい反面、その採点自体が抜け道だらけなら、勝ってもそれは指標の穴を突いただけになる。

もう一つは、“正解”の内実だ。ある研究は、AIエージェントが正しいスコアに達しながら、その根拠づけ（メカニズム）は自分の出したデータと矛盾する現象——Correct Answer, Wrong Mechanism——を粒子識別の模擬課題で観測した5。著者の結論はこうだ——シミュレーションに基づく発見という設定では、これらのエージェントは信頼できるコーディング道具ではあっても、開かれた主張を担う科学の共著者としては当てにならない。ただしこれは単著の position paper で、ICML 2026 の AI for Science ワークショップに Spotlight 採択とはいえ non-archival（査読誌・本会議には未収録）、観測された発生率も主要モデルで4/20、追加2モデルの横断調査で3/8——合わせて28件中7件という規模の話である5。ERA の「人間最良を超えた」も指標の上での勝利であって、その先の一般化と機構の妥当性は別に検証がいる——採点できる問いの外側が人間の領分であることを、限定的な観測ながら裏から示す結果だ。

実務で何が変わるか

採点できる仕事と、採点の型にそもそも落ちない仕事。今回の結果が引くのは、その境目の線だ。

出典5件

  1. “An AI system to help scientists write expert-level empirical software”（Nature, 2026年5月オンライン公開, s41586-026-10658-6）。Google Research と Google DeepMind が MIT・ハーバードなどの研究者と開発した ERA（Empirical Research Assistance）＝LLM＋探索木で品質指標を最大化する科学ソフトを生成。単一細胞解析で人間最良を上回る新手法を40件（公開リーダーボード）、COVID-19 入院予測で CDC アンサンブルと全個別モデルを上回るモデルを14件。後者は図3eによれば「3参照日 × 4予測地平 × 52管轄」の3週間ぶんの評価区間についての話で、14件の内訳は再結合10・Deep Research 2・AI co-scientist 1・複製ベースライン1。なお著者42名の所属は Google Research が最多で、Google DeepMind は6名、大学側も MIT・ハーバードのほか McGill・Caltech を含む。https://www.nature.com/articles/s41586-026-10658-6 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  2. Google DeepMind, “AlphaEvolve: A Coding Agent for Scientific and Algorithmic Discovery”（arXiv:2506.13131, 2025年6月公開）。Gemini＋進化的探索＋自動評価器（検証）で、コード/アルゴリズムを反復改良。4×4 複素行列の積を48回の掛け算で行う手法を発見し、Strassen（1969）以来56年ぶりにこの設定の記録を更新。あわせて Google のデータセンター運用・チップ設計・AI 訓練の効率を実地で改善したと報告。ERA と同じ「LLM＋探索＋検証」型が、検証できる問いで人間最良を超えることを示す一次報告——ただし ERA と同じ Google の仕事であり（AlphaEvolve は Google DeepMind、ERA は Google Research が主体）、しかも原文が自ら “In this white paper” と名乗る査読前のホワイトペーパーで、ERA 論文自身が関連研究（ref.14）として引用している。別組織による独立の裏づけではない。https://arxiv.org/abs/2506.13131 ↩

  3. 同じ「AIが実証研究のソフトを書く」能力を測る独立の動きの例——“NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?”（arXiv:2606.24530。査読前のプレプリントである。v2 で GLM-5.2 と MiniMax-M3 の結果を追加）。Nature 系論文の到達点にコーディングエージェントがどこまで届くかを評価するベンチマーク。結果は本記事の主張への反証側でもある——ウェブ検索を厳格に禁じた条件（strict web-search-disabled protocol）で12のエージェント構成を評価し、90タスクで、最強モデルでも公開SOTAを上回れたのは17.8%（効果量 g>0.1 基準）にとどまり、しかも成功の多くは科学課題を馴染みのある教師あり予測問題へ読み替えたことによる、と論文は述べる。ERA が単一細胞側で改良対象の9手法について論文 PDF と要約を与えられていたのとは条件が異なる。https://arxiv.org/abs/2606.24530 ↩

  4. Sayash Kapoor, Arvind Narayanan, “Leakage and the reproducibility crisis in machine-learning-based science”（Patterns 4(9):100804, 2023）。機械学習を用いた科学で、データリーク（訓練に使えない情報の混入）が17分野・294本の論文に及び、時に「複雑なMLが従来手法に勝つ」という結論を丸ごと覆すと報告。内戦予測の再現研究では、ML優位を主張した論文がリークのせいで軒並み再現せず、数十年前のロジスティック回帰と実質差が無かった＝採点指標を最適化しても、指標に抜け道があれば一般化しない側の一次証拠（査読付き）。なお査読前版（arXiv:2207.07048）は同じ箇所を「errors が17分野・329本に及ぶ」と書いており、本数も母集団の語も査読で変わっている。https://doi.org/10.1016/j.patter.2023.100804 ↩

  5. Steven Young Eulig, “Position: Correct Answer, Wrong Mechanism — When AI Scientists Defend General Claims Their Own Data Contradicts”（arXiv:2606.23175, 2026年6月22日公開）。粒子識別の模擬課題28エピソードで、AIコーディングエージェントが正しいスコアに達しながら根拠づけ（メカニズム）は自分の出力と矛盾する現象（Correct Answer, Wrong Mechanism）を観測（主要20件中4件・クロスモデル8件中3件）。「シミュレーションに基づく発見という設定では、信頼できるコーディング道具ではあるが、開かれた主張を担う科学の共著者としては当てにならない」と結論。単著の position paper で、ICML 2026 の AI for Science ワークショップに Spotlight として採択（ただし non-archival＝会議録には未収録）。シミュレーション出力・プロンプト・検証スクリプトは公開されているが、第三者による独立再現は本稿執筆時点で未確認。https://arxiv.org/abs/2606.23175 ↩ ↩2

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。