In Silico

マテリアルズインフォマティクス・材料

MLIP順位表は実用性を保証しない——安定性上位でも崩れうる

2026/7/21 (更新: 2026/8/9) シリーズ「原子をどう計算するか」 第3回 / 全3回

【課題】「安定性で首位級」が、別の軸では最下位級F1首位級のeqV2-Mは熱伝導κで最悪級【手段】順位が報いる量と実務で要る量の差を見る熱伝導・長時間MD・平衡外精度で系統的にずれる
※概念図(課題→手段):順位表のスコアは実務での有用性を保証しない

原子の世界に「万能ポテンシャル」が来た。周期表の広い範囲を1つのニューラルネットで担い、DFT(密度汎関数理論)を桁違いに速く近似する——機械学習原子間ポテンシャル(MLIP, Machine-Learning Interatomic Potential)である。当然、順位表(リーダーボード)ができた。Matbench Discovery がその中心で、モデルたちは「どれだけ正確に安定な新材料を当てられるか」を競っている。

そして2026年、準拠モデル群の上位はごく小さなスコア差でひしめいている——DPA4 の著者らは論文(査読前プレプリント)でそう報告する。「飽和」は本記事の言い方だ。だが同時に、上位のモデルが、熱伝導や長時間MDといった別種のシミュレーションでは崩れることがあるという、居心地の悪い事実が並んでいる。この記事は、その二つが両立する理由を追う。問いはこうだ——リーダーボードのスコアは、そのポテンシャルが「あなたの計算」で使えることを、どこまで保証するのか。

Matbench Discovery が測っているもの——そして測っていないもの

まず、順位が何を意味するかを確かめる。Matbench Discovery の課題は狭く、明確だ。モデルには緩和前の構造だけを渡す。モデルは、その構造が緩和後に凸包より下(E_hull ≤ 0 eV/atom)——つまり熱力学的に安定——になるかを予測する。基準となる凸包は、常に DFT で計算した参照エネルギーから引かれ、モデル自身の予測からではない1。テストは WBM データセットの約21.5万構造(重複除去後)で、うち安定は約3.3万(≈15.3%)。当初の主指標は安定性分類の F1 だった(後述のとおり、のちに複合スコア CPS へ移る)1

ここに、スコアが隠しているものがある。F1 が報いるのは、緩和後の構造の凸包距離——同じ化学系の競合相に対する、平衡点近傍でのエネルギー差——を当てる能力だ。原典はこれを生成エネルギーの回帰と明確に切り分けており、生成エネルギーは「広く回帰の目標に使われてきたが、熱力学的安定性も合成可能性も示さない」と書く。回帰指標では劣るのに分類指標では上回るモデルの実例まで挙げ、「回帰指標だけでは誤解を招きうる」と結論している1。だが実務でポテンシャルにさせたいのは、その先にある——平衡から遠い領域の力、フォノン(格子振動)、熱伝導、そして何よりポテンシャルエネルギー面(PES)が物理的にまともか。安定性 F1 は、そのどれについても保証を与えない。以下では、その断層を見る。

「解けた」のではなく「出し尽くした」——飽和の兆候

まず「解けた側」を公平に見る。準拠(compliant, MP 由来のデータのみで学習)モデルの上位は、僅差でひしめいていた。DPA4 の論文が自ら再現・報告した順位表(同論文が2026年5月25日より前に参照した断面、首位の DPA4-Pro は同論文の提案モデル)から、CPS 上位7モデルをそのまま引く2:

モデル(パラメータ)CPS
DPA4-Pro(20.9M)0.833
EquiformerV3+DeNS-MP(30.3M)0.830
DPA4-Plus(5.4M)0.822
DPA4-Air(2.76M)0.804
eSEN-30M-MP(30.1M)0.797
DPA4-Neo(1.60M)0.781
MatRIS-10M-MP(10.4M)0.778

この7モデルの CPS(複合スコア)は 0.833 から 0.778 の狭い帯に収まる。ただしこの帯は2026年5月25日より前の一枚の断面だ——CPS は複数課題の重みつき合成で、順位表自身が「これは安定した指標ではない。今後さらに課題が追加される。論文で言及するときはベンチマークの版を併記せよ」と警告している3。日付の違う CPS どうしを並べて増減を語ることはできない。うち4つが同論文の提案する DPA4 の各サイズである点は、割り引いて読む必要がある2。順位表を再現した DPA4 の著者らは、論文でこう書いている——「上位の準拠モデルがいま比較的小さな CPS 差で並ぶ以上、固定 MPtrj の Matbench Discovery をこれ以上最適化する実務的価値は、モデルが現状の精度・効率フロンティアに達した段階では限られるかもしれない2。ただし彼らは同じ段落で「これはベンチマークの有用性を損なうものではない」と続け、より広い DFT 学習データを使う非準拠設定へ比較を広げよ、と述べている2。同じ見通しは、Matbench Discovery の作者たち自身が2024年末の改訂版で書き足していた——「この課題が飽和し始めるにつれ、将来の発見ベンチマークは……動的安定性に基づく基準へ拡張されるべきだ」1

では、まだ伸びしろはどこにあるのか。答えの一つは、賢いモデルでなく、多いデータだ。Meta FAIR の OMat24——1億1千万超の DFT 計算からなる巨大コーパス——で事前学習すると、同じ大きさの eqV2-M の F1 が、準拠(MPtrj のみ)の 0.818 から、非準拠の 0.917 へ跳ね上がる4。少なくとも eqV2 では、順位表の天井を押し上げたのはアーキテクチャの変更ではなく、事前学習データの規模だった。ここまでは、MLIP の進歩は本物だ。

首位級が、別の軸では最下位級のとき

問題は、ここからだ。安定性 F1 で首位級の非準拠 eqV2-M(F1 0.917)は、Matbench Discovery が後から足した熱伝導トラック(κ_SRME、0〜2、小さいほど良い)で、κ_SRME 1.77——ほぼ最悪の値を出す。CPS 上位が κ_SRME 0.09〜0.28 に収まるのと、ほぼ一桁の開き3「安定材料を当てる」で首位級のモデルが、「熱をどう伝えるか」では最下位級なのだ。

なぜこの断層が起きるのか。根はひとつ——順位が報いる「平衡点近傍のエネルギー精度」は、実務で効く別の量を保証しない。この一点が、熱伝導・長時間 MD での安定性・平衡から遠い領域の精度という、現れ方の異なる三つの故障モードとして表れる。

① 熱伝導は、力の精度では買えない。 熱伝導率 κ の計算には、PES の2次・3次微分(非調和の力定数)が要る。安定性 F1 が報いる「平衡点近傍のエネルギー」とは別の量だ。Póta らは、Materials Project で学習した基盤ポテンシャル5種で103種の固体の κ を評価した。同じ参照データで学習しても、平均 κ_SRME は MACE-MP-0 の 0.669 から ORB-v1 の 1.786 まで、2.7倍に散らばる(SevenNet 0.761、M3GNet 1.409、CHGNet 1.717)5。最悪値を出したのが、次に見る「直接力」モデル ORB-v1 だった点は覚えておいてよい。その後 Matbench Discovery は、F1 単独の順位から、κ_SRME と構造 RMSD も織り込んだ複合スコア CPS へ主指標を移した。Matbench Discovery の作者たちは、順位表にこう明記している——「この順位は、モデルが材料研究を駆動する総合的能力の完全な姿を与えることはできない3

② 速い「直接力」モデルは、エネルギーを保存しない。 推論を速くするため、一部のモデル(eqV2, ORB など)は力をエネルギーの勾配としてでなく、直接予測する。すると力は保存力でなくなり、エネルギーが保存しない——長い分子動力学(MD)で系が加熱・発散する。Bigi らの「力の暗黒面」(ICML 2025)は、これを定量化した。ある ORB モデルの恒温(NVT)計算は、目標温度を +51 K 上回り、原子種ごとの実効温度も食い違うという、熱力学的に壊れた状態に落ちた6。ドリフトを抑えるために温度制御を強めると、今度は拡散係数が大きくずれる。速さという利点は、そこで相殺されうる6。安定性を当てる能力と、動かして壊れない能力は、別物だ。

③ ポテンシャル面が、系統的に「柔らかすぎる」。 2023年世代の万能 MLIP(M3GNet・CHGNet・MACE-MP-0)は、平衡から遠い領域でエネルギーと力を系統的に過小評価する。学習データが平衡点近傍に偏っているからだ。Deng らはこれを「軟化(softening)」と呼び、測定した——テストした229化合物の9割超でフォノン振動数が過小、移動障壁も表面も欠陥も軒並み低く出る7。決定的なのは、たった1点の追加データで微調整すると直る、という事実だ。誤差が偶然でなく系統的である証拠であり、事前学習の分布が現実の分布とずれている、という一点に帰着する。ただしこの故障モードは世代とともに動く。事前学習データを非平衡側へ広げると弱まり、OMat24 の著者らは同データで学習したモデルで軟化が「劇的に減るか完全に消える」と報告している4。むしろ記事の主題に効くのは、彼らが同時に書いている留保のほうだ——OMat24 だけで学習したモデルの軟化が最も小さく、MPtrj で微調整すると軟化が戻る。順位表に合わせる微調整そのものが、実務で効く性質を削る側に働きうる。

だから「順位」でなく「用途」で選ぶ

これら三つの故障モードに共通するのは、リーダーボードが報いる量と、実務で必要な量が違うという一点だ。安定性 F1 は「発見の入口(この組成は作る価値があるか)」を測る。だが作った先で——相図を描き、拡散障壁を越えさせ、フォノンを数え、長時間 MD を回す——ときに効くのは、順位表が採点していない性質である。

実務側はもう動いている。BASF の MLIPX は、順位表が省く性質(MD 安定性、NEB による障壁、フォノン、状態方程式、相図・プールベ図など)でポテンシャルを横並び評価する道具で、目的をこう明言している——「特定の MLIP が、あなたの研究に適用できるかを見極める8。単一のスコアでなく、タスク適合で選ぶ、という思想だ。

AIエージェントのベンチマークをめぐる議論を追ってきた読者には、見覚えのある構図だろう。分野は違えど、失敗の型は一つ——もっともらしいスコアを、実務の有用性と取り違える

結論はこうだ。万能ポテンシャルの順位は、いま本物の進歩を映している。だがそれは「安定性を当てる」という一面の進歩であって、あなたの計算で使えるかの保証ではない。 1位のポテンシャルを掴む前に、問うべきは一つ——それは、何で1位なのか。そして、そのスコアは、あなたが回す実際のシミュレーションを生き延びるのか。


出典8件
  1. Riebesell, Goodall, Benner ほか10名「Matbench Discovery — A framework to evaluate machine learning crystal stability predictions」arXiv:2308.14920v3。査読版は冠称なしの同題で Nature Machine Intelligence 7, 836–847 (2025), doi:10.1038/s42256-025-01055-1。同誌に正誤表(doi:10.1038/s42256-025-01117-4, 7, 1586)があるが、本文で論じていないモデルを図1〜3と表1から削除したもので、本記事が引く数値には影響しない。緩和前構造から凸包距離(E_hull ≤ 0)を予測する安定性分類課題。テストは WBM の約21.5万重複除去済み構造(安定約3.3万・約15.3%)、当初の主指標 F1。「課題が飽和すれば動的安定性の基準へ拡張すべき」の一文は初版(2023年8月)には無く、2024年12月の改訂版で加わった。 https://arxiv.org/abs/2308.14920 2 3 4

  2. DPA4 論文 arXiv:2606.02419v3(2026)。準拠 Matbench Discovery 順位表を再現し、DPA4-Pro の CPS 0.833/F1 0.859/κ_SRME 0.255(20.9M)等を報告。上位7モデルが CPS 0.833→0.778 の狭帯にひしめく=順位表は本物の accuracy-efficiency フロンティアに到達している一方、「これ以上の最適化は実務的価値が限られるかもしれない」と作者自身が述べる。引いた順位表は Table 1 で、その脚注に accessed before May 25, 2026 とある(論文の投稿は6月だが、断面は5月25日より前)。 https://arxiv.org/pdf/2606.02419v3 2 3 4

  3. Matbench Discovery 公式順位表(モデル一覧、2026年7月25日参照)。eqV2 M(非準拠・学習データ MPtrj + OMat24)は F1 0.917/CPS 0.558 の一方で κ_SRME 1.77。同時点の CPS 上位モデルの κ_SRME は TECE-OAM-RRA-1.0 0.093/EquFlashV2 0.094/EquiformerV3+DeNS-OAM 0.118/GRACE-3L-OAM-L 0.121/eSEN-30M-OAM 0.17、準拠 MPtrj 学習の EquiformerV3+DeNS-MP は 0.275。順位表のトップページも「この順位は、モデルが材料研究を駆動する総合的能力の完全な姿を与えることはできない」と明記する(数値表は /models 側)。順位表は更新され続けるので、数値は参照時点のもの。指標そのものも動く——CPS には「安定した指標ではない…版を併記せよ」との警告が付く。なお準拠モデルは独立した順位表ではなくなり、任意のフィルタ(preset)に変わった。サイトはこのプリセットを「MP 由来のデータのみで学習した、オープンソース・オープンデータのモデル(かつての『準拠』順位表コホート)」と説明しており、既定の表示は学習データの異なるモデルを混ぜて並べる。 https://matbench-discovery.materialsproject.org/ 2 3

  4. Barroso-Luque ら(Meta FAIR)「OMat24」arXiv:2410.12771。1億1千万超の DFT 計算からなるデータセット。準拠(MPtrj のみ)では eqV2-M-DeNS が F1 0.818、同表の準拠首位は eSEN の 0.831(eqV2 系の首位は eqV2-L-DeNS の 0.823)。同じ eqV2-M を OMat24 で事前学習して MPtrj で微調整すると 0.909、MPtrj+sAlex で微調整すると 0.917 になる。跳ね上がりの主因は事前学習データの規模で、MLIP の進歩は実在する。データは CC-BY-4.0。 https://arxiv.org/abs/2410.12771 2

  5. Póta, Ahlawat, Csányi, Simoncelli「Thermal Conductivity Predictions with Foundation Atomistic Models」arXiv:2408.00755。arXiv:2408.00755v5(2025年7月改訂)。phononDB-PBE 由来の103固体で、Materials Project 学習の5モデル(ORB-v1-MPtraj 1.786/CHGNet 1.717/M3GNet 1.409/SevenNet 0.761/MACE-MP-0 0.669)の平均 κ_SRME を測定。v3 までは4モデル・0.664〜1.717 の表だったが、v4 で ORB-v1 が加わり v5 で値が改訂された。同じ参照データで学習しても熱輸送の誤差が2.7倍に散らばることを示す。安定性で首位級のモデルが κ トラックで最下位級になりうる=順位が実用性を保証しない直接証拠。 https://arxiv.org/abs/2408.00755

  6. Bigi, Langer, Ceriotti「The dark side of the forces」arXiv:2412.11569(ICML 2025)。力を直接予測する非保存モデル(eqV2, ORB 等)はエネルギーを保存せず、長い MD で発散する。ある ORB の NVT は目標温度を +51 K 上回り、原子種間で温度が食い違う。速さの利点は、ドリフト抑制のための強い温度制御で相殺されうる。 https://arxiv.org/abs/2412.11569 2

  7. Deng ら「Systematic softening in universal machine learning interatomic potentials」arXiv:2405.07105(査読版は npj Comput. Mater. 11, 9, 2025)。M3GNet・CHGNet・MACE-MP-0 の3モデルで、平衡から遠い領域の力・エネルギーの系統的な過小評価(軟化)を測っている。229化合物の9割超でフォノン振動数が過小。∴ ③の射程は事前学習データが平衡近傍に偏った世代のモデルであって、万能 MLIP 一般ではない——4 は OMat24 で学習すると軟化が大幅に減ると報告している。1点の追加データで直る=誤差は系統的で、学習分布の偏りに起因する。 https://arxiv.org/abs/2405.07105

  8. BASF「MLIPX」。MD 安定性・NEB 障壁・フォノン・状態方程式・相図など、順位表が採点しない性質で MLIP を横並び評価する実務者向け道具。目的は「特定の MLIP が自分の研究に適用できるかを見極める」こと。 https://mlipx.readthedocs.io/

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。