マテリアルズインフォマティクス・材料

機械学習ポテンシャルのベンチマークは何を測る？順位と実用性の差

2026/7/21 （更新: 2026/10/11）

🤖 AIを使用して執筆

Matbench Discovery が測っているものと、測っていないもの

機械学習原子間ポテンシャル(MLIP)の順位表の中心は Matbench Discovery である。まず、その順位が何を意味するかを確かめる。課題は狭く、明確だ。モデルには緩和前の構造だけを渡す。モデルは、その構造が緩和後に凸包より下(E_hull ≤ 0 eV/atom)、つまり熱力学的に安定になるかを予測する。Matbench Discovery は基準となる凸包を、常に DFT で計算した参照エネルギーから引く。モデル自身の予測は使わない¹。テストは WBM データセットの約21.5万構造(重複除去後)で、うち安定は約3.3万(≈15.3%)。当初の主指標は安定性分類の F1 だった（後述のとおり、のちに複合スコア CPS へ移る）¹。

ここに、スコアが測っていないものがある。F1 が報いるのは、緩和後の構造の凸包距離を当てる能力だ。凸包距離とは、同じ化学系の競合相に対する、平衡点近傍でのエネルギー差である。原典はこれを生成エネルギーの回帰と明確に切り分けており、生成エネルギーは「広く回帰の目標に使われているが、熱力学的安定性も合成可能性も直接には示さない」と書く。エネルギーだけを予測するモデル群が分類指標では意外に強いのに回帰指標ではかなり劣ることを示し、MAE・RMSE・R² のような全体の指標は「モデルの信頼性について誤った確信を与えうる」と書いている¹。だが実務でポテンシャルにさせたいのは、その先にある量だ。平衡から遠い領域の力、フォノン(格子振動)、熱伝導、そして何よりポテンシャルエネルギー面(PES)が物理的にまともか。安定性 F1 は、そのどれについても保証を与えない。以下では、その断層を見る。

飽和の兆候は「解けた」ではなく「出し尽くした」

まず「解けた側」を公平に見る。準拠(compliant, オープンソース・オープンデータで、MP 由来のデータのみで学習)モデルの上位は、僅差でひしめいていた。DPA4 の論文がベースラインとして Table 1 に並べた準拠モデルの順位表(同論文が2026年8月1日より前に参照した断面、首位の DPA4-Pro は同論文の提案モデル)から、CPS 上位7モデルをそのまま引く²:

この7モデルの CPS(複合スコア)は 0.842 から 0.778 の狭い帯に収まる。ただしこの帯は2026年8月1日より前の一枚の断面だ。CPS は複数課題の重みつき合成で、順位表自身が「これは安定した指標ではない。今後さらに課題が追加される。論文で言及するときはベンチマークの版を併記せよ」と警告している³。日付の違う CPS どうしを並べて増減を語ることはできない。うち4つが同論文の提案する DPA4 の各サイズである点は、割り引いて読む必要がある²。その順位表を引いた DPA4 の著者らは、最新版で「上位の準拠モデルがいま小さな CPS 差でしか離れていない以上、精度のこれ以上の大きな向上には、固定された MPtrj を超える学習データがおそらく要る」と書いている²。ただし彼らは同じ段落で「準拠設定は依然としてこの比較の適切な土台である」と続け、さらに「この設定の中でも、精度とコストのフロンティアはコストの方向にはまだ開いている」と書く²。ここでいうコストの方向とは、同じ精度をどこまで安い推論・学習で出せるかである。

飽和の認識を、Matbench Discovery の作者たち自身が2024年末の改訂版で「この課題が飽和し始めるにつれ、将来の発見ベンチマークは……動的安定性に基づく基準へ拡張されるべきだ」と書き足していた¹。その改訂版で作者たちは、順位表の指標がエネルギーに偏っていると認め、「このベンチマークの成績だけを上げるためにハイパーパラメータを最適化すると、汎用を意図したモデルに意図しない帰結をもたらしうる」と警告している¹。作者たちは同じ箇所で、熱伝導のベンチマーク(後述の Póta ら)と分子シミュレーションでの MD 安定性の評価を、補完すべき評価に挙げている¹。

では、まだ伸びしろはどこにあるのか。答えの一つは、賢いモデルでなく、多いデータだ。Meta FAIR の OMat24 は、1億1千万超の DFT 計算からなる巨大コーパスだ。これで事前学習し、MPtrj に追加データ sAlex を合わせて微調整すると、同じ大きさの eqV2-M の F1 が、準拠(MPtrj のみ)の 0.818 から、非準拠の 0.917 へ跳ね上がる。微調整を MPtrj だけに揃えても 0.909 に届く⁴。少なくとも eqV2 では、順位表の天井を押し上げたのはアーキテクチャの変更ではなく学習データで、上げ幅の大半は OMat24 による事前学習が担っていた。ここまでは、MLIP の進歩は本物だ。

首位級が、別の軸では最下位級のとき

問題は、ここからだ。安定性 F1 で首位級の非準拠 eqV2-M（F1 0.917）は、Matbench Discovery が後から足した熱伝導トラック(κ_SRME、0〜2、小さいほど良い)で、κ_SRME 1.77 を出す。これは κ_SRME を報告する41モデルのなかの最大値、つまり最悪の値だ。非準拠も含めた既定の表示で CPS 上位7モデルの κ_SRME が 0.09〜0.17 に収まる(2026年9月11日)のと、ほぼ一桁の開きだ³。「安定材料を当てる」で首位級のモデルが、「熱をどう伝えるか」では最下位級なのだ。eqV2-M は力を直接予測するモデルで、OMat24 の著者ら自身が、こうした直接力モデルは高い κ_SRME が示すとおりフォノン予測が苦手だと書いている⁴。

なぜこの断層が起きるのか。安定性 F1 が報いる「平衡点近傍のエネルギー精度」は、実務で効く別の量を保証しない。以下の①熱伝導・②長時間 MD の安定性・③平衡から遠い領域の精度という三つの故障モードは、互いに重なる部分もあるが、どれも F1 の高さでは保証されない。

断りを入れておく。この断層のうち熱伝導は、順位表が既に採点している。 総合スコア CPS は F1 だけでなく κ_SRME に 40% の重みを置く合成で（残りは F1 50%・構造最適化の RMSD 10%）、eqV2-M の CPS が低い位置に落ちるのはそのためだ³。したがって、「順位表が熱伝導を見ていない」のではない。見ているのは熱伝導までで、②と③は CPS の合成の外にある。順位表は2026年6月末から有限温度 MD の課題(CMDS)も別枠で持つが、これは恒温(NVT)軌道の角度分布・振動状態密度・圧力の再現と計算の速さを採点するもので、作者自身が「予備的」と断り、エネルギー保存やドリフトは CMDS に入っていない³。平衡から遠い領域についても、二原子分子のポテンシャル曲線で解離と反発を見る課題が別枠に在るが、これも CPS の外で、③で見る固体の表面・欠陥・移動障壁は扱わない³。

① 熱伝導は、力の精度では買えない。 熱伝導率 κ の計算には、PES の2次・3次微分(非調和の力定数)が要る。安定性 F1 が報いる「平衡点近傍のエネルギー」とは別の量だ。Póta らは、Materials Project で学習した基盤ポテンシャル5種で103種の固体の κ を評価した。同じ参照データで学習しても、平均 κ_SRME は MACE-MP-0 の 0.669 から ORB-v1 の 1.786 まで、2.7倍に散らばる(SevenNet 0.761、M3GNet 1.409、CHGNet 1.717)⁵。同じ表は、この5モデルの安定性 F1 も並べている。ORB-v1 0.763／SevenNet 0.724／MACE-MP-0 0.669／CHGNet 0.613／M3GNet 0.569。F1 で首位の ORB-v1 が κ_SRME では最下位、逆に κ_SRME で首位の MACE-MP-0 は F1 では3番手だ。順位がきれいに反転するわけではない(SevenNet はどちらも2位)が、両端は入れ替わる⁵。Póta ら自身はこの表を「相互作用エネルギーの試験で高精度なモデルが、結晶構造・力・熱力学的性質では不正確でありうる」ことを示すものと読む。ただし逆向きは対称でなく、κ で正確なモデルは(調べた範囲では)エネルギーの試験でも上位に来る、と書き添えている⁵。最悪値を出したのは、次に見る「直接力」モデル ORB-v1 である。その後 Matbench Discovery は、F1 単独の順位から、κ_SRME と構造 RMSD も織り込んだ複合スコア CPS へ主指標を移した。Matbench Discovery の作者たちは、順位表に「この順位は、モデルが材料研究を駆動する総合的能力の完全な姿を与えることはできない」と明記している³。

② 「直接力」モデルは、エネルギーを保存しない。 勾配の逆伝播を省くため、一部のモデル(eqV2, ORB など)は力をエネルギーの勾配としてでなく、直接予測する。すると力は保存力でなくなり、エネルギーが保存しない。長い分子動力学(MD)で系が加熱・発散する。Bigi らの「力の暗黒面」(ICML 2025)は、これを定量化した。ある ORB モデルの恒温(NVT)計算は、目標温度を +51 K 上回り、原子種ごとの実効温度も食い違うという、熱力学的に壊れた状態に落ちた⁶。ドリフトを抑えるために温度制御を強めると、今度は拡散係数が大きくずれる。速さという利点は、そこで相殺されうる⁶。ただし「直接力＝速い」は一律ではない。速さは非保存化の動機であって、結果の保証ではない。同じ論文が同じ水の系(192原子・H100)で測った1ステップの時間は、ORB が 11.9 ms なのに対し eqV2(小)は 1580 ms だった。保存力の MACE(26.9 ms)より遅く、原典は「実務のシミュレーションに使うには高価すぎる」と書く⁶。安定性を当てる能力と、動かして壊れない能力は、別物だ。

③ ポテンシャル面が、系統的に「柔らかすぎる」。 2023年世代の万能 MLIP（M3GNet・CHGNet・MACE-MP-0）は、平衡から遠い領域でエネルギーと力を系統的に過小評価する。学習データが平衡点近傍に偏っているからだ。Deng らはこれを「軟化(softening)」と呼び、測定した。テストした229化合物の9割超でフォノン振動数が過小で、移動障壁も表面も欠陥も軒並み低く出る⁷。決定的なのは、たった1点の追加データで微調整すると直る、という事実だ。ただし原典が示した範囲は限定的で、CHGNet にスカラー1個だけを学習する層を足し、Li₂B₃PO₈ の高エネルギー配置1つ(力の成分1個)で調整して、力の系統的な過小評価が補正される、というところまでである(力 MAE 0.190→0.166 eV/Å)。原典自身、この1ラベルの線形補正を an extreme case と呼び、通常の微調整は桁違いに多くのラベルを使うと書いている⁷。誤差が偶然でなく系統的である証拠であり、事前学習の分布が現実の分布とずれている、という一点に帰着する。ただしこの故障モードは世代とともに動く。事前学習データを非平衡側へ広げると弱まり、OMat24 の著者らは同データで学習したモデルで軟化が「劇的に減るか完全に消える」と報告している⁴。むしろ記事の主題に効くのは、彼らが同時に書いている留保のほうだ。OMat24 だけで学習したモデルはどの次数でも軟化が小さく、著者らはそこから、緩和データ（MPtrj と sAlex）での微調整が軟化をいくらか呼び戻すと示唆している。結果の節を次数ごとに見ると、エネルギーと力の軟化は OAM 版（OMat24 で事前学習し MPtrj と sAlex で微調整）ではっきり減り、eSEN と eqV2 ではほぼ消えた。だがフォノンの軟化は、eSEN の OAM 版でかえって MPtrj 版より大きかった⁴。順位表に合わせる微調整そのものが、実務で効く性質を削る側に働きうる。

順位表の上位が順位表の外の課題でも上位とは限らないこと、また上位でも足りない場合があることは、直接にも測られ始めている。不均一触媒の計算を試す HetCat26(査読前)の著者らは、両方で評価された10モデルについて、Matbench Discovery の CPS は触媒での成績を「弱くしか予測しない」と書き、順位表で上位の PET-OAM-XL が触媒では15モデル中の下位3分の1に入ったと報告している⁸。凸包そのものをモデルのエネルギーで描かせた FP-DeErr(査読前)の著者らは、11モデルにそれぞれ構造緩和まで回させると、22本の組成の線(tie-line)のうち凸包の最下点が DFT と一致したのは3〜10本だったと報告している⁹。最多の10本は DPA4 と GRACE で、この GRACE は順位表の CPS で上位にいる GRACE-3L-OAM-L と同じチェックポイントである⁹。ただしこの一致には、DFT でも安定な中間の化合物が無い線で、モデルも「無い」と答えて両端の最安定相がそろった場合が含まれる。著者らが公開した結果データで数えると、そうした線は22本中9本あり、DFT が中間の化合物を立てる残り13本で最下点の構造まで当てたのは、結果が公開されている7モデル(11モデルのうち。DPA4 と GRACE は含まない)のどれも0〜2本だった⁹。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。