マテリアルズインフォマティクス・材料

機械学習ポテンシャルの微調整：効く条件と、手法より効く設定

2026/8/4 （更新: 2026/10/11）

🤖 AIを使用して執筆

微調整はもう安い

MACE（多様な元素・化学系を横断して訓練された機械学習ポテンシャル、すなわち汎用MLIPの代表的な枠組みの一つ）をベースモデルに、一部の層だけを更新対象に残し、残りを事前学習時の値に固定する凍結転移学習を試した研究がある。著者らは mace-freeze というパッチを公開し、任意のMACEモデルで層やパラメータ集合を凍結できるようにした¹。水素が銅表面に吸着する系では、全3,376構造のうち約20%にあたる664構造で学習させたMACE-MP-f4が、全構造で一から学習したMACEモデルと同水準の精度に達した。同水準なのはエネルギーと力全体のRMSEについてで、水素原子にかかる力では全データ学習モデルを明確に上回っている。水素の力の誤差は付着確率のような動的反応確率の精度を決めるボトルネックだと先行研究が指摘しており、差がそこに出る意味は小さくない¹。10%のデータでも精度は落ちない。この規模で調整したモデルの誤差は、エネルギー6.7対11.3 meV、力3.1対8.1 meV/Å、水素原子にかかる力4.3対17.7 meV/Åと、全データで一から学習したMACEモデルを全指標で下回った。更新するパラメータを絞ったぶん学習コストも下がった（著者らはその効果を限定的と書く）という¹。

Ti-Al-V合金でも、10〜20%のデータで調整した転移モデルが、全8,507構造で学習したACEモデルに並んだ。MACE-MP-f4に限れば、エネルギーと力では5%未満のデータで、ビリアル応力でも20%のデータでACEを上回っている¹。

ただし推論は速くならない。汎用のベースモデルは特定系向けより複雑でなければならないぶん評価が重く、水素／銅系では1構造あたり、一から学習した小さなモデルの60msに対し390.5msかかる。著者らは、大量の軌道を要する動力学ではこれが「ほぼ許容できない」コストだと書く¹。ただしその一文は問題提起の側で、著者らはこの微調整モデルの予測を教師データに軽いACEモデルを作り、評価時間を17分の1に縮めている。代わりに、この軽いモデルの力の誤差は原典の表で7.2 meV/Å、水素原子にかかる力では9.0 meV/Åと、微調整モデルの3.1・4.3 meV/Åより大きい。著者らは、付着確率の予測は保たれたと書いている¹。

LoRA（Low-Rank Adaptation、事前学習済みの重みを凍結したまま低ランクの小さな行列だけを学習して調整する手法）を使う別の研究では、全rankのLoRAに重み減衰を組み合わせ、事前学習モデルへの強い帰納バイアスを保ちながら制約なしの微調整と同等の表現力を確保できると論じている。Equitrainと呼ぶ枠組みを提案した研究だが、追加10構造という少なさで明確な性能向上が得られるという報告はEquitrainに限った話ではない。10構造は転移学習・複数ヘッド・Equitrainに共通する標準設定で、この研究がフォノン計算用に生成するデータの既定量である²。ただし少ないのは構造の数であって、1構造の大きさではない。この10構造は辺長15 Åまでの大きなスーパーセルで、同じ10構造でも原始胞で学習するとフォノンの誤差は倍以上になる²。そのデータ生成は、フルのフォノン計算に比べて計算量を32%、20個以上の変位スーパーセルを要する複雑な系では92%削減できたという²。

代償は汎用性だ

凍結転移学習の論文自身が、この手法の限界を明言している。狭い応用領域向けにモデルを作る代わりに、汎用モデルが本来持っていた転用可能性を不可避に減らしている、というのが著者らの言葉だ。ただし狭まりの程度そのものは今後の検討課題だとも書いている。素朴な微調整については、深い層を更新し続けることが破局的忘却（微調整の前に得意だった領域の精度が落ちる現象）や学習の不安定化を招きうると導入部で述べているが、これは自分たちの手法についての自認ではなく、先行研究を引いた指摘である¹。

破局的忘却を扱った研究もある。MPtrjで学習したSevenNet-0をベースモデルに、事前学習済みの汎用MLIPを微調整すると、汎用MLIPの利点であるはずの汎化能力が損なわれると指摘する研究だ⁵。この研究は、経験再生（過去のデータを学習に混ぜ続ける手法）とEWC（Elastic Weight Consolidation、重要なパラメータの変化に制約をかけて古い知識を保つ手法）を組み合わせたreEWCという枠組みを提案した。硫化物系のリチウム固体電解質Li6PS5Cl（LPSC）を対象に微調整したところ、ポテンシャルエネルギー面の軟化とリチウム拡散係数の過大評価という既知の問題を改善しつつ汎化能力を保ち、化学的に離れた系への知識転移も可能にしたと著者らは報告している⁵。著者らは劣化の大きさを図に示している。微調整の対象（LPSC）から外れた非アージロダイト系9材料でのリチウム拡散係数について、素朴な微調整は、ベースモデルの SevenNet-0 の平均絶対百分率誤差（MAPE）33%・平均百分率誤差（MPE）18% を、それぞれ 57%・50% へ悪化させた。同じ条件で reEWC は MPE 0%・MAPE 17% と、ベースモデルそのものより良い値に収めている⁵。微調整が汎用性を削るという主張の、いちばん直接的な実測値がここにある。

LoRAを扱った研究も、同種の観察を報告している。転移学習（層の大部分を再学習する方式）は破局的忘却のために汎化能力を下げているように見える一方、LoRAによる手法は未知の相への汎化能力を最もよく保っていたという²。ただし7手法を横並びにした研究の順位はこれと食い違う。その研究は、事前学習分布から最も離れるのが素朴な微調整とLoRAで、汎用性を一貫して保てたのは複数ヘッドの再生だけ、LoRAの効果は中程度だと書く⁴。複数ヘッドの再生についても2本の評価は逆向きで、Equitrainを提案した側の研究は未知の相への汎化で複数ヘッドが転移学習よりさらに悪く、忘却を抑えられたのはEquitrainだけだったと書く²。安さと引き換えに何を失うかは、手法によって違い、その順位も研究によって割れている。7手法比較の著者ら自身も、ハイパーパラメータの探索は限定的で、より広く最適化すればとくにLoRAと複数ヘッドの再生では相対順位が動きうると認めている⁴。

順位は割れていても、手当てをしなければ代償が残る点では、どの研究も一致している。reEWC のような再生系の手法は汎化能力をベースモデルの水準以上に戻したが⁵、7手法比較で汎用性を一貫して保てた複数ヘッドの再生は、素朴な微調整の3〜15倍の学習計算を要する⁴。代償は消えるのではなく、手法の選択と計算時間の側へ移る。もっとも7手法比較の著者らは、初期の微調整研究が報告した困難の一部は、素朴な微調整に固有の欠陥ではなく、弱いベースモデルや基準エネルギーの不整合、不安定な学習手順を反映していた可能性があるとも書く⁴。そのうえで著者らは、ベースモデルと基準エネルギー、学習の設定を整えた後の手法選びは、用途の広さで決まると書く。狭い対象系だけに使うなら素朴な微調整は「打ち負かしにくい」とし、広く使い回すなら再生系が望ましいとする⁴。代償が表に出る場面も限られる。同じ7手法比較は、素朴な微調整とLoRAが空けたポテンシャル面の穴（原子どうしを押し込んだときに立つべき急峻な斥力の代わりに、強い引力を予測してしまう領域）が、試した中温域のMDでは観測可能な不安定化を起こさなかったと書く。穴が効くのは、高エネルギー配置や異常な構造を意図的に探索する用途である⁴。

手法の優劣より、ベースモデルと設定が効く

7つの微調整手法を横並びで比較した研究がある。査読前のプレプリントで、独立の追試もまだ無い⁴。扱うのはMACE系列のみで、CHGNetやSevenNetは対象に含まれない。素朴な微調整、層凍結の2種類、LoRA、複数ヘッドを使う再生（multihead replay）、擬似ラベルを使う再生、再生とLoRAの組み合わせという内訳だ。ベースモデルには MACE-MP0a-medium、MACE-OMat-0-small、MACE-OMat-0-medium、MACE-MH1 を使っている。MACE-MH1 は OMat24・OMol25・MatPES・OC20・MP-PBE・SPICE の6データセットで学習し、データセットごとに読み出しヘッドを持つ⁴。

実務で最初に効くのは、手法ごとに最適な学習率が違う点だ。素朴な微調整ではおよそ10のマイナス3乗、LoRAではそれより一桁高いおよそ10のマイナス2乗、複数ヘッドの再生では最も低いおよそ10のマイナス4乗が最適だったという⁴。全手法に同じ学習率を当てた比較では、手法の性質と学習率の当て外れが分離できない。外れは標的の誤差に出るとも限らない。リチウム固体電解質LPSCで複数ヘッドの再生を一桁高い10のマイナス3乗で学習すると、標的側の力の誤差はほぼ変わらないまま、再生用データ側の力の誤差が約9倍（218対24 meV/Å）に悪化した⁴。著者らはこれを、再生が汎用性を保つ利点は標的の精度に兆しが出るより先に損なわれると読む⁴。

ベースモデルの質、E0（元素ごとの孤立原子の基準エネルギーで、ポテンシャルが総エネルギーをどこからの相対値として学習するかを決める初期値）の正しい初期化、そして適切に選んだハイパーパラメータの3つは前提条件であり、その効果は微調整手法そのものの選択が生む差を上回ることが多いと著者らは結論する⁴。E0の初期化を誤ったまま手法を比較しても、手法の優劣ではなく初期化の失敗を測ってしまう。

汎用モデルの世代交代が、微調整の優位を縮めている

MOFSimBench（金属有機構造体、MOFの分子モデリングにおいて汎用MLIPの性能を評価するベンチマーク）は、微調整をしない選択が有利になる具体例を示している。ただし測っているのはMOFの系だけである³。構造最適化では、汎用モデルeSEN-OAMが体積偏差10%以内で成功する割合94%を達成し、古典力場のUFF4MOFは66%にとどまった³。同じ評価で、MOF向けに微調整されたMACE-MP-MOF0は成功した最適化の数が全モデル中で最も少なかった。対応元素が減って主集合の28構造を計算できないためで、著者らは「この制限された化学的射程ゆえ、我々の評価ではMACE-MP-MOF0を『汎用』ポテンシャルとして扱わない」と書いている³。

体積弾性率の平均絶対誤差でも、eSEN-OAMは2.60 GPa（計算に成功した96構造での値）で、MOF向けに微調整されたMACE-MP-MOF0の3.16 GPa（同70構造）を下回った。熱容量では逆に、微調整済みモデルの0.020 J/K/gがeSEN-OAMの0.024 J/K/gを上回った。ただしそれも、別の汎用モデルorb-v3-omatの0.018 J/K/gには及ばない³。

著者らは、微調整モデルが元の汎用MACEを上回る一方、より新しい汎用MLIPが同等以上の精度に届いたことでその優位が縮んだと書く³。ただし著者ら自身が結論として置いたのは、汎用モデルの学習データが乏しい領域や、特定の系・タスクを狙う場合には微調整が有効たりうる、という一文のほうだ³。同じ段では、分散補正を含むデータで学習や微調整をすれば推論時間を大きく減らせるとも書き、MACE-MP-MOF0 がその有効性を示したとする³。あわせて、一般的なベンチマークだけでは領域固有のタスクを反映しきれない可能性も指摘している。

同じ縮みは、MOFとは別の系でも見える。フォノン物性でEquitrainを提案した研究は、補足資料で、ベースモデルに使った MACE-MP-0b3 がもはや最強の事前学習モデルではないと明記し、微調整なしの MACE-OMAT-0 のフォノン誤差を、53材料の中央値で 0.10 THz と測っている。微調整後の 0.05 THz に対する利得は、旧世代のベースモデルの 0.27 THz を基準にした5倍超から約2倍に縮む²。ただし現行世代をベースモデルに微調整した結果は測られておらず、著者らは同じ手順を新しいモデルに当てればさらに誤差が縮む見込みだと書く²。著者らはこの約2倍を優位の後退ではなく、材料ごとの微調整による利得が汎用モデル間の差を上回る証拠として読んでいる²。微調整がどれだけ上回るかは、比べる相手の汎用モデルの世代で変わる。自分の観測量で現行の汎用MLIPを追加学習なしに測るまで、微調整に進むべきかは決まらない³²。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。