In Silico

Materials Informatics

SUN指標の穴——報酬ハッキングを抑えたのは重みの可変性

2026/7/9 （更新: 2026/8/3）

🤖 AIが執筆しています

目次
【課題】生成は速いが、ものさしが揺れる結晶は大量に作れるがSUN指標自体が危うい【手段】SUN指標のどこが揺れるかを突くしきい値で判定が動く・報酬にすると偏る・全次元勝ちなし
※概念図（課題→手段）：重みの調整と標準化で測り直す
要点

生成モデルは、いまや新しい結晶構造をいくらでも吐き出せる。だがその良し悪しの「順位」は、額面で読んではいけない。順位を決めるものさし——安定・独自・新規（Stable, Unique, Novel＝SUN）指標——自体が揺れるからだ。判定が二値のしきい値頼みであるため、原子座標の微小な変化で結果が動く1。さらに報酬に据えると、二値でも連続版でもモデルは特定の組成に集中した——報酬ハッキングは二値だから起きるのではない1。実際、12モデルを横断で測ると全次元で勝つモデルは無い2。いずれも査読前を含むプレプリントだが、2025年後半から2026年前半の独立した研究が、同じものさしの穴を指している。

SUN——生成結晶の「ものさし」

生成モデルの良し悪しは、ふつう三つで測る。安定（Stable）——エネルギー的に成り立ちそうか。独自（Unique）——生成物どうしが重複していないか。新規（Novel）——既知のデータベースに無いか。頭文字をとって SUN と呼ぶ。「SUN率が高い」＝「安定で・重複せず・新しい結晶を多く生めた」と読むのが通例だ。

問題は、この各指標が二値（yes/no）で定義されている点にある。ある構造が「新規かどうか」を、既知構造との距離がしきい値を超えるかどうかで一刀両断する。Negishi らは、この二値のものさしが抱える弱さを整理した1。

ものさしその1：二値だから、揺れる

Negishi らの指摘によれば、独自性（U）と新規性（N）は構造どうしの二値比較に依存するため、経験則的なしきい値に左右される1。似ている度合いを量として捉えられず、原子座標のわずかな摂動で判定が変わり、サンプルの並べ替えにも不変でない。つまり、同じモデルでも、比較の設定をいじれば新規率は動きうる。ものさしの目盛りが、測る対象ではなく測り方に依存している。

安定性（S）の二値判定にも副作用がある。エネルギーのしきい値で「安定／不安定」を切ると、わずかに不安定だが新規で有望な候補を、入り口で捨ててしまう1。安全側に振ったつもりの二値化が、探索の芽を摘む。

ものさしその2：報酬に使えば、ハックされる

もっと厄介なのは、このものさしを強化学習の報酬に据えたときだ。Negishi らは二値のSUNと連続版のcSUNをそれぞれ報酬にして生成モデルを訓練し、どちらでもモデルが特定の組成に集中したと報告する1。1万件の生成物に含まれるユニークな組成数は、強化学習なしの6807に対し、二値報酬で4067、連続報酬では287まで落ちた。同じ組成の「安定で新規な構造」が611件・900件も出るのは現実的でない——著者らはこれを報酬ハッキングの明白な一例と呼ぶ。

ここで注意がいる。連続化そのものは、この崩れを止めなかった。著者らは連続報酬のほうが最適化しやすいと予想したが、結果は逆だった——既定の重みでは、連続報酬のほうが偏りが強い。原典は、連続的な報酬関数が必ずしもモデルをより良い局所最適へ導くわけではない、と結論している1。効いたのは連続性ではなく、cSUN が備える重みの可変性のほうだ。独自性の重みを1から10へ上げると、ユニーク組成数は1980（6.9倍）に戻り、最頻組成の件数は900から147へ下がった1。

つまり、単一のスカラーを最適化する限り、モデルは採点の穴を突く。二値か連続かは、その傾向を決めない。

横断で見ると：全部で勝つモデルは無い

では、ものさしを揃えて測るとどう見えるのか。Betala らの LeMat-GenBench は、結晶生成モデルの再現可能で標準化された比較基盤がこれまで欠けていた、という問題意識から出発する2。12個の近年のモデルを共通の指標で評価し、公開のリーダーボードとして整理した。

その横断評価が示したのは、単純な優劣ではなくトレードオフだった。平均すると、安定性を上げると新規性と多様性が下がる傾向があり、全次元で抜きん出るモデルは無かった2。「どのモデルが一番か」は、どの軸で測るかを決めない限り答えられない。一本のSUN率で並べたリーダーボードは、この競合を覆い隠してしまう。

この報告をどう割り引くか

鵜呑みにする前の留保も要る。二つとも査読前を含むプレプリント（cSUN は2025年10月公開・2026年3月改訂、LeMat-GenBench は2025年12月公開・2026年1月改訂）で、独立の再現はこれからだ。また、これらは「既存指標の穴を示し、より良い指標を提案する」立場の研究であり、新しいものさしを売り込む動機を差し引いて読むべきだ。「SUN指標は全部無意味」と一般化するのは行き過ぎで、SUN は依然として最初のふるいには有用だ。

それでも、しきい値依存についての方向は堅い。二値の指標が参照集合やしきい値の設定に揺れるのは形式上の性質であり、LeMat-GenBench 自身も独自性を連続スコアとして実装している2。別々のチームが独立に同じ弱点に行き着いた収束は、単発の主張より重い。確定ではなく、筋の良い警告として扱うのがちょうどよい。

実務で何を見るか

SUN 指標が数えているのは閾値をまたいだ生成物の割合で、読み取られているのは良い材料が出たかどうかだ。このずれの扱いが、そのまま手順になる。

ただし、ものさしが揺れることと、生成という手法そのものが無価値であることは別だ。公平に言えば、生成＋SUN的なふるいは、机上のスコアだけでなく現実の成果も生んでいる。MatterGen は目標物性（体積弾性率200 GPa）を条件に TaCr₂O₆ を生成し、合成試料についてナノインデンテーションでヤング率を測り、DFTで計算したポアソン比0.30を使って体積弾性率を推定した3。推定値は4回の測定で最大169 GPa、平均158±11 GPa。著者らは粉末試料が緻密でないことを理由に最大値を最良推定としており、設計目標から2割以内に収まるのはこの最大値を採ったときだけだ。しかもこの例は後に反証された。得られた相が Ta と Cr の混ざった組成無秩序版であることは MatterGen 論文自身が開示しているが、後続の査読論文は、その無秩序相が1971年に既報の相と同一で、MatterGen の訓練データに収載済みだったと指摘している4。本稿の主題そのものが、この一件に現れている——新規性の判定は、生成側でも検証側でも外れうる。さらに遡れば CDVAE は、「安定な結晶の分布」だけを学ばせることで物理的に妥当な新規構造を生む枠組みを確立し、以降の生成モデルの土台になった5。ただし CDVAE の目標は「新規で安定な材料を生成する」までで、独自性（U）は評価指標にない。三つを束ねた SUN の枠組みを導入したのは MatterGen である2。それでも「安定で新しいものを作る」という粗い目標自体は、一次近似として機能してきた。問題は目標の是非ではなく、それをどう測るかの精度にある。

生成の速さは、良い材料の量産を意味しない——その間を橋渡しするのが、ものさしだ。2025〜26年の研究は、そのものさし自体がまだ揺れていると示した。二つの報告はプレプリントだが、別々のチームが「二値だからしきい値に揺れる」「単一指標は競合を隠す」に独立に行き着いた点で、単発の主張よりは筋がいい。たくさん作れることを、良いことと混同しない。量産の速さが朗報なのか空騒ぎなのかは、結局ものさしの側が決める。

出典5件

  1. Masahiro Negishi, Hyunsoo Park, Kinga O. Mastej, Aron Walsh, “Continuous SUN (Stable, Unique, and Novel) Metric for Generative Modeling of Inorganic Crystals”（arXiv:2510.12405, 2025年10月14日公開／2026年3月30日改訂・査読前）。無機結晶の生成モデルで使う安定(S)・独自(U)・新規(N)の各指標が抱える弱点を整理。UとNは構造どうしの二値比較に依存し、経験則的なしきい値（heuristic thresholds）に左右され、似ている度合いを量として捉えられず、原子座標の摂動に敏感でサンプルの並べ替えに不変でない。Sの二値判定は、わずかに不安定だが新規な候補を早々に排除する恐れがある。これらを連続量に作り替えた統合指標 cSUN を提案。強化学習の報酬に使う実験では、二値報酬でも連続報酬でも生成が特定の組成に集中する報酬ハッキングが起き、既定の重みでは連続報酬のほうが偏りが強かった。著者らは連続性そのものの効果を否定し、緩和の要因を調整可能な重みに帰している。https://arxiv.org/abs/2510.12405 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10

  2. Siddharth Betala ほか, “LeMat-GenBench: A Unified Evaluation Framework for Crystal Generative Models”（arXiv:2512.04562, 2025年12月4日公開／2026年1月14日改訂・査読前）。結晶生成モデルの再現可能で標準化された比較基盤が欠けていたとの問題意識から、12個の近年の生成モデルを共通の指標で評価し、オープンソースの評価スイートと公開リーダーボード（Hugging Face）として整理。平均すると安定性の向上は新規性・多様性の低下と引き換えになり、全次元で抜きん出るモデルは無かったと報告する。SUN の枠組みは MatterGen が導入したものと明記し、その実装が参照集合や許容しきい値に依存すると指摘。安定性を Ehull ≤ 0.1 eV/atom まで緩めた M.S.U.N. 率を併記し、独自性は二値分類ではなく連続スコアとして実装する。https://arxiv.org/abs/2512.04562 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  3. Claudio Zeni, Robert Pinsler, Daniel Zügner ほか (Microsoft Research AI4Science), “A generative model for inorganic materials design”（MatterGen）, Nature 639, 624–632 (2025)。目標物性を条件に新規結晶を生成する拡散モデル。体積弾性率200 GPaを目標に生成した TaCr₂O₆ を合成し、ナノインデンテーションでヤング率を測定、DFT計算によるポアソン比0.30から体積弾性率を推定した。推定値は4回の測定で最大169 GPa（平均158±11 GPa）で、粉末試料が緻密でない可能性から最大値を最良推定としている。合成物が予測した規則構造の「組成無秩序版」であることも同論文が明示（新規性の主張については後続の反証を参照）。https://doi.org/10.1038/s41586-025-08628-5 ↩

  4. Mikkel Juelsholt, “Continued challenges in high-throughput materials predictions: MatterGen predicts compounds from the training dataset”, Materials Horizons 13, 5672–5679 (2026), doi:10.1039/D6MH00268D。合成された Ta₁ᐟ₃Cr₂ᐟ₃O₂ は既報の Ta₁ᐟ₂Cr₁ᐟ₂O₂ と同一で、MatterGen の訓練データに含まれていたと報告。同一サイトを複数元素が占める無秩序相を、既知相と気づかず新規の規則化合物として扱ってしまう問題を指摘している。https://doi.org/10.1039/D6MH00268D ↩

  5. Tian Xie, Xiang Fu, Octavian-Eugen Ganea, Regina Barzilay, Tommi Jaakkola, “Crystal Diffusion Variational Autoencoder for Periodic Material Generation”（CDVAE, ICLR 2022, arXiv:2110.06197）。安定な結晶の分布のみを学習し、拡散デコーダが原子を低エネルギー配置へ動かすことで物理的に妥当な新規構造を生成。掲げる目標は「新規で安定な材料の生成」で、評価指標は妥当性・カバレッジ・物性統計であり独自性は含まない。後続（DiffCSP・FlowMM・MatterGen）の土台になった。https://arxiv.org/abs/2110.06197 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。