AI・信頼性・評価

AI駆動の研究が成果を出す条件は？AlphaEvolveなど4事例を比較

2026/8/31 （更新: 2026/10/13）

🤖 AIを使用して執筆

検証を通った側（一）では、湿式実験がノーと言える

Natureが2026年に掲載したCo-Scientistは、Geminiを土台にした複数エージェント構成のシステムで、仮説を生成・批判・改良するループをトーナメント形式で回し、テスト時計算資源を増やすほど、システム自身のElo自動採点が上がる。原典はこのEloについて、自動評価であって独立した正解に基づくものではないと注記している²。本稿がこの論文を引く理由は、掲載誌の格ではなく成果の確認方法にある。著者らは、急性骨髄性白血病に対する新規の薬剤再利用候補と相乗効果のある組み合わせを試験管内で確認した。ただし湿式実験はすべてを通したわけではない。専門家が選んだ新規の候補3件のうち、細胞の生存を抑えたのはKIRA6の1件で、残る2件はMOLM-13細胞でほとんど効果を示さなかった²。肝線維症では、専門家が選んだ上位3件のエピジェネティック標的のうち2件が、ヒト肝オルガノイドで有意な抗線維化活性を示し、細胞毒性は出ていない。薬剤耐性菌が広がる仕組みについては、AIが独立に出した上位仮説が、システムに指示した研究者自身のグループの当時まだ公表されていなかった実験結果と一致した。これは事後の一致であって、AIの出力を新たに湿式で試したものではない²。

本稿の解釈では、これらの成果が崩れなかった理由は、システムの精緻さそのものよりも、成果の先に「ノー」と言える工程が控えていたことにある。その工程とは、培養皿の中の細胞が実際にどう反応するかという、AIの自己評価にも文献の言い換えにも依存しない手続きである。仮説を生成する側がどれほど自信を持って出力しても、実験がそれを否定することはありうる。Co-Scientistの候補はその手続きを経て残った。

検証を通った側（二）では、正しさが証明できる

AlphaEvolveの報告は Google DeepMind 自身による査読前のホワイトペーパーで、原文も冒頭で「In this white paper」と名乗る³。AlphaEvolveは仮説を検証者に預けるのではなく、検証者そのものを計算の中に組み込む。LLMがコードへの変更を直接提案し、評価器が候補ごとに採点し、それを繰り返す進化的なコーディングエージェントである³。数学・計算機科学の複数の問題で、最先端を超える、証明可能に正しいアルゴリズムを報告したとされ、代表例が4×4の複素数値行列を48回の乗算で解く方法で、Strassen（1969年）の方法を再帰的に当てたときの49回を1回下回る。ただし原典は同じ頁の脚注で、49回を下回る乗算アルゴリズムは既に存在すると断っている。それらは行列積テンソルの分解に対応せず、より大きな行列へ再帰的に適用できない。原典はさらに、2元体という特殊な場合ならランク47のアルゴリズムが既にあるとも書いている。56年ぶりに解けたのは、標数0の体でランクを49未満にするという問題である³。48回の方法そのものは、別組織の単著の査読誌論文がハードウェアに実装し、精度を落とさず厳密な結果を得たと報告している。確かめたのは48回で正しく計算できることで、48が最小であることではない⁵。

原典は、Google社内への適用として、データセンターのスケジューリング効率化、ハードウェアアクセラレータの回路設計の簡略化、そしてAlphaEvolve自身を支えるLLMの学習の高速化も報告している³。スケジューリングでは、実配備後の艦隊規模の測定がシミュレータの結果を裏づけ、取り残されていた計算資源を平均0.7%回収し続けていると報告する³。社内適用の3件には、別組織による裏づけは無い。

ここでの検証者は人間の判断ではない。評価器は利用者が書いた評価関数で候補を機械的に採点し、候補を人手なしで自動採点できる問題に絞っているため、出力が正しいかどうかは、文献にどう書かれているかにも、モデル自身がどう自己評価するかにも依存しない。ただし原典は、簡潔さのように評価関数では捉えにくい性質を別のLLMに採点させ、基準を満たさない候補を捨てる仕組みも一部の応用向けに用意している³。原典自身もこの評価器を、コード実行と自動評価で進化を接地させる仕組みだと説明し、それによって土台のLLMが出す誤った提案をその場で落とせると書いている³。本稿の解釈では、AlphaEvolveのように正しさを決める検証者が判断ではなく仕組みであり、しかも候補ごとに回る場合に、成果はそこを通過している。

検証を通った側（三）では、採点できる指標が候補を選ぶ

ERA（Empirical Research Assistance）の論文は、2026年5月にNatureがオンライン公開した。Google主導のこのシステムに、公開ベンチマークのスコアのような品質指標で課題の「良さ」の測り方を渡すと、LLMが解法のソフトウェアを書き、探索木でその変種を系統的に試し、スコアが上がる方向へ解を育てていく⁴。人間が手法を一つ設計して論文にする代わりに、機械が指標に対して解法群を最適化する。ここで候補を選ぶのは指標であり、点の高い変種ほど次の改良の元に選ばれる。

単一細胞解析では、既存の公開リーダーボードで、人間の最良手法を上回る新手法を40件作った⁴。ただし内訳は、既存手法の再結合が29件で最多、基本手法の ERA 実装が6件、Deep Research由来4件、AI co-scientist由来1件である。約7割は「新しい手法の発明」ではなく既発表手法の組み替えだ。最高解（BBKNN の ERA 実装）は数え上げでは基本手法側だが、原典は伸びの一部が ComBat との組み合わせから来たと注記している。効果量も、最良既発表手法（ComBat）比で総合スコア+14%にとどまる。原典は、ベンチマークへの過学習を避けるため、解の選択には別のデータセットを使い、成績は公開ベンチマークの保留データ（holdout）で報告している⁴。候補を選ぶデータと、成績を報告するデータが分かれている。

疫学では、COVID-19 入院予測で CDC（米疾病対策センター）の集団予測（アンサンブル）と個別モデルの全てを上回る14モデルを作った⁴。ただしこちらは単一細胞側と射程が違う。14件が出たのは3参照日ぶん（3参照日 × 4予測地平 × 52管轄）の評価区間についてで、内訳は再結合10・Deep Research 2・AI co-scientist 1、残る1件は他チームの公開手法を複製したベースラインだ。しかも後ろ向き（retrospective）の検証である。著者ら自身、「2025年5月1日時点で入手できるデータをレトロスペクティブな季節全体に使っており、予測日時点で入手できたデータとの潜在的な差は無視している」と断っている⁴。改訂後の確定値で振り返る評価と、当時の速報値のまま走った予測とを、同じ土俵とは呼べない。疫学側の主実験は別にある。同じ後ろ向きの設定で、予測期間ごとに直前6週のデータで ERA を走らせ直してモデルを選び、2024〜25年シーズンを通して週ごとに評価すると、その結果（Google Retrospective）は平均 WIS（加重区間スコア。低いほど良い）26 で CDC アンサンブルの 29 を上回り、参加チームを含む表の首位に立つ⁴。もっとも、同じ Google Retrospective は、14件を数えた3週間の区間ではアンサンブルに届いていない。

問いを立てるのも、評価指標を選ぶのも、ERA ではなく人間の側である。探索に注ぎ込む研究アイデア（論文の要約や文献検索の結果）も外から与えられ、原典は、専門家水準の結果が出るのはそうした外部のアイデアを探索して取り込んだときだと書いている⁴。ERA 論文自身は AlphaEvolve を「精神において近い」としつつ、科学の問題に要るアイデアの探索を持たない点を自分との差として挙げている⁴。

採点できる課題でも、届く範囲はまだ狭い。Nature系の論文が報告した最高性能にコーディングエージェントが届くかを測る NatureBench では、ウェブ検索を禁じた条件で、最強モデルでも公開SOTAを超えたのは90タスク中17.8%、並ぶところまで数えても47.8%だった⁶。ERA は単一細胞側で対象手法の論文要約をプロンプトに入れており、与えた情報の条件は同じではない。10エージェント・900走行のうち、同等に届かなかったか有効なスコアを欠いた走行（67.8%）の内訳は、手法の層が61.1%、実行の層が28.7%で、課題の理解の層は3.1%、戦略の層は7.0%にとどまる⁶。本稿の解釈では、17.8%という低さを情報の条件の差だけに帰することはできない。原典はウェブ検索の禁止を、データや論文を読みに行く近道を防ぐ措置として説明している⁶。

指標が候補を落とすなら、指標の穴もそのまま結果に入る。機械学習を用いた科学の再現性の破綻を広く調べた Kapoor と Narayanan によれば、本来使えない情報が混入するデータリークは 17分野・294本の論文に及び、時に結論を丸ごと覆す⁷。内戦予測では、複雑なMLが従来手法に勝つと主張した論文がリークのせいで軒並み再現せず、数十年前のロジスティック回帰と実質差が無かった⁷。「採点できる」問いは自動化しやすい反面、その採点自体が抜け道だらけなら、勝ってもそれは指標の穴を突いただけになる。

点が正しくても、根拠が正しいとは限らない。粒子識別の模擬課題では、スコアは正しいのに、エージェントが添えた機構の説明が自分の出したデータと矛盾する例が観測されており、観測した研究はこれを Correct Answer, Wrong Mechanism と呼ぶ⁸。著者は、シミュレーションに基づく発見という設定では、これらのエージェントは信頼できるコーディングツールではあっても、開かれた主張を担う科学の共著者としては当てにならないと結論づけている。ただしこれは単著の position paper で、ICML 2026 の AI for Science ワークショップに Spotlight 採択とはいえ non-archival（査読誌・本会議には未収録）、観測された発生率も主要モデルで4/20、追加2モデルの横断調査で3/8である。合わせて28件中7件という規模の話である⁸。単一細胞側の ERA が通ったのは、選ぶのに使わなかった保留データでの採点までである。「人間最良を超えた」は指標の上での勝利で、その先の一般化と機構の妥当性は別に検証がいる。Correct Answer, Wrong Mechanism の著者も、AI が出した一般化の主張は、別の条件で確かめるまで人間の側が暫定として扱うべきだとしている⁸。

検証者が文献から独立していない場所で、文献からの仮説は歪みをどれだけ引き継ぎうるか

ここから先は、五つの一次資料を並べたときに本稿が読み取る線である。近い仕分けは一次資料の側にもある。shadow evaluationの論文は先行研究を「自動で検証できるタスク」と「人間の査読で評価するオープンエンドな研究」に二分し、AlphaEvolveを前者に置いている¹。同じ論文は結果の考察で、生成と検証のあいだの隔たり（generator-verifier gap）を名指し、研究の質を確かに判定できる検証者が在れば強化学習で速く進みうると書いている¹。ただし測っている対象は異なる。一方は文献全体の性質を見積もる分析、もう一方はエージェントに実際の研究課題をやらせた試験であり、この二つを一つの線でつなぐこと自体が本稿の解釈である。

文献に基づく仮説生成を、文献から独立した検証者を持たないまま走らせた場合に何が起きるかを、ある分析が見積もっている⁹。著者は、否定的な結果が学術文献から系統的に欠落する現象を「null result gap」（否定的結果の欠落）としてΔという指標で定式化し、3分野で見積もった。内訳は創薬でΔ≈0.60、心理学でΔ≈0.56、がん生物学でΔ≈0.35である。原典はこれらを、既存の再現率調査から出した桁の目安であって、分野の定数ではないと断っている。そのうえで、検索・生成・自動評価の三段階がそれぞれ肯定的な証拠をどれだけ過重するかを乗数（1.4・1.3・1.2）で置き、その積として増幅指数A∆を2.18と出す。三段目の自動評価はLLMによる採点で、原典はこれも流暢で肯定的な主張を好む偏りを持つとして、増幅の側に数えている。A∆は確率ではなく指数だと原典は断り、より保守的な乗数でも結論は変わらないとする⁹。原典は同じ節で、三段階の偏りは互いに正に相関しているとみられるため、真の増幅はこの指数を上回りうるとも書いている⁹。

ここでいうΔは文献という集団の性質についての推定値であり、2.18倍は三段階パイプラインをモデル化した結果であって、実際に稼働するAI研究システムが誤った結論を出したのを観測した数字ではない。この区別は著者自身が較正上の但し書きとして明記している。単著で、ICML 2026 併設ワークショップの Poster であって本会議の査読論文ではないことも含めて、区別は保持したまま読む必要がある。原典自身も、数学・形式手法・工学の試験系のように反証規範の強い分野ではΔがずっと低いかもしれないとし、増幅の議論は条件つきだと書いている⁹。

著者はこの分析から、確信を持った再発見・幽霊のような裏付けの蓄積・再現の粉飾・確信度のキャリブレーション不良という4種類の統治上の失敗様式を挙げている⁹。同じ懸念は肯定側の一次資料も自ら記している。Co-Scientist の論文は限界として、公開文献への依存が「否定的な実験結果への系統的なアクセス不足」を招くと書いている²。文献という検証されていない集合を土台にする限り、検証者は文献の中身から独立でなくなる。

研究判断そのものを任せた場合、検証者は最後にしか来ない

もう一段先、仮説生成の支援ではなく、研究の進め方そのものの判断をエージェントに委ねたら何が起きるかを、独立した研究者グループが早期に試している¹。手法は「shadow evaluations」と呼ばれ、発表前で未公開の研究課題を用意し、エージェントに同じ問いへ取り組ませたうえで、その課題を実際に手がけた原著者本人に出力を採点させるというものだ。原典は、事後の査読でAI生成論文が通った公開例を2件挙げている。SakanaのAI Scientist-v2はICLR 2025のワークショップの二重盲検査読へ3本を出し、うち1本が採択水準を超えた（事前の取り決めで取り下げ）。IntologyのZochiはACL 2025本会議に採択されたと同社が報告しているが、原典の表によれば、原稿の準備・内部査読・反論には人が関わっている。そのうえで原典は、AI会議の査読は投稿の増加で専門家との照合が崩れ、判定は確率的で、採択だけを報告して失敗した試みを伏せることもできるとして、原著者に採点させる設計を選んだと書く¹。対象はNeurIPS 2026への未発表投稿2件で、著者らはそれぞれに実時間で6日間と、Anthropic APIクレジット3,000ドル分の予算を与えている（両ランとも使ったのは予算の半分未満だった）¹。

結果は総合評価が6点満点中2点と1点、原著者の確信度はそれぞれ5点満点中4点と5点で、報告は両方とも「明確な却下」だったと記す¹。エージェントはエンジニアリング作業そのものは完了させたが、研究上の問いに実質的な進展をもたらせなかった。原典自身も、この結果を「いまのエージェントはAI研究のエンジニアリングはこなせるが、研究の営みの重要な部分では苦戦する」と要約している¹。著者らは5つの失敗様式を挙げる。何が発表に値する水準かについての判断の弱さ、研究設計に欠陥がある場面での創造的な立て直しのなさ、行き詰まった道筋から効果的に引き返せないこと、資源管理の弱さ、そして長時間タスクにおける指示からの逸脱である¹。

ここでの検証者は原著者という人間で、AIの自己評価にも参照した文献にも依存しない立場から採点している。ただし採点者はその論文がAI生成だと知っており、原典はこの非盲検性と、採点者が自分の取った手法のほうを好む可能性を、偏りとして自ら挙げている。そのうえで、エージェントが生成した論文は明白に質が低かったとし、成果物を公開して第三者の判断を求めている¹。つまり外部の検証者は存在した。それでも結果は明確な却下だった。 しかも走行中の検証者も在った。原典は、エージェントに論文を自分のAIレビューと外部のAIレビューツールへ回させ、自分のレビューが一度も採択を返さなかったこと、そのレビューが人間の査読者の指摘の多くを先に挙げていたことを報告している¹。一方でそのレビューの判定は人間の専門家より甘く、専門家が明確に却下した論文に、たいてい「弱い却下」を返していた。判定がもっとキャリブレーションされていれば、エージェントは小刻みな改稿を続けるのでなく方針を変える必要に気づけたかもしれない、と原典は書いている¹。

本稿がこの五本を並べて読み取った線は、ここで向きを変える。効いているのは検証者の有無ではなく、その指摘が候補を落とせるかどうかである。AlphaEvolveでは、評価器が候補ごとに採点してループの内側で落としていく。ERAでは点の高い変種が探索の中で選ばれて残り、単一細胞解析では選ばれた解を選択に使わなかった保留データで採点し直す。Co-Scientistのループの内側にいるのはエージェント同士のトーナメントで、湿式実験はその後に来る。ただし湿式実験は、専門家が選んだ上位3件を試し、2件が残るという粒度である。shadow evaluationの原著者は、六日間が終わったあとに一度だけ読む。原典も似た対比を自ら立てており、先行実験2件と並べて、エンジニアリング作業や検証可能な研究タスクはこなす一方でオープンエンドな研究には詰まる、と結論している¹。もっとも、shadow evaluationの走行にも、先へ進ませない関門は組み込まれていた。原典の設計では、48時間の探索を終えるまで論文を書き始められず、探索が十分だとサブエージェントが判定した場合だけ、それより早く執筆へ進めた。この判定はTabPFNでは2回差し戻したが、Personasでは初回で承認し、42時間を見込んだ探索は5時間で一つの手法にまとまった¹。

ただし同じ失敗様式は、別のモデルとスキャフォールドによる頑健性検査でも再現している¹。対象はプロジェクト2件・1つの学会・1世代のエージェントに限られ、著者ら自身も表題で「早期の証拠」と位置づけている。著者らは限界として、Anthropicの最強モデルは試せなかったことと、失敗はスキャフォールドの限界で説明できるかもしれないという見方を挙げている¹。実験前に予測を答えた共著者側の協力者12名のうち、失敗するならスキャフォールドを強くすれば解決できた欠陥だと見ていたのは3名、そうかもしれないとしたのは8名で、否定したのは1名だった¹。得られた結果を「AIは研究ができない」という一般論に広げるのは、この試験の射程を超える。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。