マテリアルズインフォマティクス・材料

汎用MLIPの微調整は、手法選びより土台と設定が効くと報告

2026/8/4 （更新: 2026/8/15）

🤖 AIが執筆しています

微調整はもう安い

MACE（元素横断で訓練された汎用MLIPの代表的な枠組みの一つ）を土台に、一部の層だけを更新対象に残し、残りを事前学習時の値に固定する凍結転移学習を試した研究がある。著者らは mace-freeze というパッチを公開し、任意のMACEモデルで層やパラメータ集合を凍結できるようにした¹。水素が銅表面に吸着する系では、全3,376構造のうち約20%にあたる664構造で学習させたMACE-MP-f4が、全構造で一から学習したMACEモデルと同水準の精度に達した。同水準なのはエネルギーと力全体のRMSEについてで、水素原子にかかる力では全データ学習モデルを明確に上回っている。水素の力の誤差は付着確率のような動的反応確率の精度を決める律速だと先行研究が指摘しており、差がそこに出る意味は小さくない¹。10%のデータでも精度は落ちない。この規模で調整したモデルの誤差は、エネルギー6.7対11.3 meV、力3.1対8.1 meV/Å、水素原子にかかる力4.3対17.7 meV/Åと、全データで一から学習したMACEモデルを全指標で下回った。更新するパラメータを絞ったぶん学習コストも下がった（著者らはその効果を限定的と書く）という¹。ただし推論は速くならない。汎用の土台は特定系向けより複雑でなければならないぶん評価が重く、水素／銅系では1構造あたり、一から学習した小さなモデルの60msに対し390.5msかかる——大量の軌道を要する動力学では「ほぼ許容できない」コストだと著者らは書く¹。ただしその一文は問題提起の側で、著者らはこの微調整モデルの予測を教師データに軽いACEモデルを作り、評価時間を17分の1に戻している¹。Ti-Al-V合金でも、10〜20%のデータで調整した転移モデルが、全8,507構造で学習したACEモデルに並んだ。MACE-MP-f4に限れば、エネルギーと力では5%未満のデータで、ビリアル応力でも20%のデータでACEを上回っている¹。

LoRAを使う別の研究では、全rankのLoRAに重み減衰を組み合わせ、事前学習モデルへの強い帰納バイアスを保ちながら制約なしの微調整と同等の表現力を確保できると論じている。Equitrainと呼ぶ枠組みを提案した研究だが、追加10構造という少なさで明確な性能向上が得られるという報告はEquitrainに限った話ではない。10構造は転移学習・複数ヘッド・Equitrainに共通する標準設定で、この研究がフォノン計算用に生成するデータの既定量である²。そのデータ生成は、フルのフォノン計算に比べて計算量を32%、20個以上の変位スーパーセルを要する複雑な系では92%削減できたという²。

代償は汎用性だ

凍結転移学習の論文自身が、この手法の限界を明言している。狭い応用領域向けにモデルを作る代わりに、汎用モデルが本来持っていた転用可能性を不可避に減らしている、というのが著者らの言葉だ。ただし狭まりの程度そのものは今後の検討課題だとも書いている。素朴な微調整については、深い層を更新し続けることが破局的忘却や学習の不安定化を招きうると導入部で述べているが、これは自分たちの手法についての自認ではなく、先行研究を引いた指摘である¹。

破局的忘却を扱った研究もある。MPtrjで学習したSevenNet-0を土台に、事前学習済みの汎用MLIPを微調整すると、汎用MLIPの利点であるはずの汎化能力が損なわれると指摘する研究だ³。この研究は、経験再生（過去のデータを学習に混ぜ続ける手法）とEWC（Elastic Weight Consolidation、重要なパラメータの変化に制約をかけて古い知識を保つ手法）を組み合わせたreEWCという枠組みを提案した。硫化物系のリチウム固体電解質Li6PS5Cl（LPSC）を対象に微調整したところ、ポテンシャルエネルギー面の軟化とリチウム拡散係数の過大評価という既知の問題を改善しつつ汎化能力を保ち、化学的に離れた系への知識転移も可能にしたと報告されている³。劣化の大きさは図に示されている。微調整の対象（LPSC）から外れた非アージロダイト系9材料でのリチウム拡散係数について、素朴な微調整は誤差を土台 SevenNet-0 の MAPE 33%（MPE 18%）から MAPE 57%（MPE 50%） へ悪化させた。同じ条件で reEWC は MPE 0%・MAPE 17% と、土台そのものより良い値に収めている³。微調整が汎用性を削るという主張の、いちばん直接的な実測値がここにある。

LoRAを扱った研究も、同種の観察を報告している。転移学習（層の大部分を再学習する方式）は破局的忘却のために汎化能力を下げているように見える一方、LoRAによる手法は未知の相への汎化能力を最もよく保っていたという²。ただし7手法を横並びにした研究の順位はこれと食い違う——そちらでは事前学習分布から最も離れるのが素朴な微調整とLoRAで、汎用性を一貫して保てたのは複数ヘッドの再生だけ、LoRAの効果は中程度だとされる⁴。安さと引き換えに何を失うかは、手法によって違い、その順位も研究によって割れている。

手法の優劣より、土台と設定が効く

7つの微調整手法を横並びで比較した研究がある。扱うのはMACE系列のみで、CHGNetやSevenNetは対象に含まれない。素朴な微調整、層凍結の2種類、LoRA、複数ヘッドを使う再生（multihead replay）、擬似ラベルを使う再生、再生とLoRAの組み合わせという内訳だ。土台には MACE-MP0a-medium、MACE-OMat-0-small、MACE-OMat-0-medium、MACE-MH1（OMat24・OMol25・MatPES・OC20・MP-PBE・SPICEの6データセットで学習し、データセットごとに読み出しヘッドを持つ）を使っている⁴。

実務で最初に効くのは、手法ごとに最適な学習率が違う点だ。素朴な微調整ではおよそ10のマイナス3乗、LoRAではそれより一桁高いおよそ10のマイナス2乗、複数ヘッドの再生では最も低いおよそ10のマイナス4乗が最適だったという⁴。全手法に同じ学習率を当てた比較では、手法の性質と学習率の当て外れが分離できない。

土台モデルの質、E0（元素ごとの孤立原子の基準エネルギーで、ポテンシャルが総エネルギーをどこからの相対値として学習するかを決める初期値）の正しい初期化、そして適切に選ばれたハイパーパラメータの3つは前提条件であり、その効果は微調整手法そのものの選択が生む差を上回ることが多いと著者らは結論する⁴。E0の初期化を誤ったまま手法を比較しても、手法の優劣ではなく初期化の失敗を測ってしまう。

微調整しないほうが精度が出ることもある

MOFSimBench（金属有機構造体、MOFの分子モデリングにおいて汎用MLIPの性能を評価するベンチマーク）は、微調整をしない選択が有利になる具体例を示している⁵。構造最適化では、汎用モデルeSEN-OAMが体積偏差10%以内で成功する割合94%を達成し、古典力場のUFF4MOFは66%にとどまった⁵。同じ評価で、MOF向けに微調整されたMACE-MP-MOF0は成功した最適化の数が全モデル中で最も少なかった。対応元素が減って主集合の28構造を計算できないためで、著者らは「この制限された化学的射程ゆえ、我々の評価ではMACE-MP-MOF0を『汎用』ポテンシャルとして扱わない」と書いている⁵。

体積弾性率の平均絶対誤差でも、eSEN-OAMは2.60 GPaで、MOF向けに微調整されたMACE-MP-MOF0の3.16 GPaを下回った。熱容量では逆に、微調整済みモデルの0.020 J/K/gがeSEN-OAMの0.024 J/K/gを上回った。ただしそれも、別の汎用モデルorb-v3-omatの0.018 J/K/gには及ばない⁵。

著者らは、微調整モデルが元の汎用MACEを上回る一方、より新しい汎用MLIPが同等以上の精度に届いたことでその優位が縮んだと書く⁵。ただし著者ら自身が結論として置いたのは、汎用モデルの学習データが乏しい領域や、特定の系・タスクを狙う場合には微調整が有効たりうる、という一文のほうだ⁵。あわせて、一般的なベンチマークだけでは領域固有のタスクを反映しきれない可能性も指摘している。

何を測り、何から決めるか

まず、自分が使おうとしている観測量に対して、現行の汎用MLIPをゼロショット（追加学習なし）で測る。微調整済みモデルとの差が既に縮んでいる可能性があるからだ⁵。この時点で十分な精度が出ているなら、微調整という選択肢自体が要らない。

微調整に進む場合は、全データの10〜20%程度の規模から始める。水素／銅系やTi-Al-V合金では、この規模で全データ学習と同水準の精度に達した実績がある¹。フォノン物性を狙った研究では、転移学習・複数ヘッド・LoRAのいずれでも追加10構造という規模で効果が出ている²。大きなデータセットを最初から用意する必要はない。

手法を比較する前に、それぞれの手法で学習率を最適化する。素朴な微調整とLoRAと複数ヘッドの再生では、最適な学習率が一桁から二桁違う⁴。同じ学習率のまま手法だけを比べると、学習率の不一致を手法の優劣と誤読する。土台モデルの質とE0の初期化も、その手前で点検しておく。E0が正しく設定されていなければ、その上に載る手法の差は意味を持たない⁴。

土台とE0という前提条件を整えたうえでなら、手法の選択そのものは用途の広さで絞れる。7手法を比較した研究の結論は明快で、狭い対象系だけに使うなら素朴な微調整は「打ち負かしにくい」——モデルの容量を全部使え、収束も速く、制約付きの手法と同等以上の目標タスク精度が出る。広く使い回すなら再生系の手法が望ましい。ただし複数ヘッドの再生は、素朴な微調整の3〜15倍の学習計算を要する⁴。

微調整を終えたら、狙った観測量だけでなく、微調整前に汎用モデルが得意だった元の領域も測り直す。微調整は手法によっては、目的の観測量を改善しながら他の領域の精度を落とす³²。この再測定を省くと、汎用性を失ったことに気づかないまま運用することになる。もっとも同じ7手法比較は、素朴な微調整とLoRAが空けたポテンシャル面の穴——原子どうしを押し込んだときに立つべき急峻な斥力の代わりに、強い引力を予測してしまう領域——が、中温域のMDでは観測可能な不安定化を起こさなかったとも書いている。再測定がとくに効くのは、高エネルギー配置や異常な構造を意図的に探索する用途である⁴。

この報告を、どう割り引くか

本稿がいちばん具体的に書いた手順——手法ごとに学習率を測り直せ、E0を先に点検せよ——は、5本のうち査読を経ていない2本のうちの一本に載っている。7手法を比較したその研究は査読前のプレプリントで、対象もMACE系列だけだ⁴。ただし実験の規模でみれば、むしろ5本の中で最も広い。5系（食塩水・氷の多形・SN2反応・SPICE生体分子・リチウム電解質）を3世代の土台モデルと5桁にわたる学習データ量で比べ、動径分布関数・NEB反応経路・MD安定性・ランダム構造探索まで測っている⁴。弱点は実験の薄さではなく、独立の追試がまだ無いことのほうだ。査読を通っているのは凍結転移学習・reEWC・MOFSimBench の3本（いずれもnpj Computational Materials）で、LoRAを扱ったEquitrainも査読前である²。

その7手法比較はCHGNetやSevenNetを扱っていないので、学習率が一桁から二桁違うという数値がMACE以外の系列にそのまま当てはまるかは確認されていない⁴。ただし破局的忘却そのものについては、reEWCがSevenNet-0を土台に同型の劣化を測っている³。MOFSimBenchの結果もMOFに限った測定であり、他の材料系に一般化できるとは限らない⁵。Equitrain の数値は、主張ごとに母集団が違う。フォノン・熱物性・弾性は53材料だが、相転移予測の F1（0.66 対 土台 0.63）は、そのうち不安定相をもつ9材料に限った評価である。n=9 での 0.03 の差は小さく、内訳を見ると precision は 68% 対 60% で上回る一方、recall は 65% 対 66% で土台がわずかに上だ²。土台の側にも注意がいる。微調整を施した土台は MACE-MP-0b3 ひとつだけで、原典の補足資料自身が「これはもはや最強の事前学習モデルではない」と断っている——同じ補足資料で、微調整なしの MACE-OMAT-0 がフォノン MAE 0.10 THz に達している。つまり下の脚注が言う「5倍超」は旧世代の土台に対する比で、現行世代を基準にすると Equitrain の優位は約2倍に縮む²。この縮小は、さきに見た「微調整しないほうが精度が出ることもある」を、そのまま裏づける材料でもある。

年代も一様ではない。基準を arXiv の初版に揃えると、凍結転移学習の論文は2025年2月（npj掲載は同年7月）、reEWCは2025年6月（同12月）、MOFSimBenchは2025年7月（同12月）、Equitrainは2026年4月、7手法の比較は2026年6月の公開である。最も新しい知見ほど検証の蓄積が薄く、今後の追試で数値が動く余地は他より大きい。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。