AI・信頼性・評価
AI天気予報は平均で勝ち、決定論型は記録破りで負ける
天気予報のAIが、研究デモから運用へと踏み込んだ。ヨーロッパ中期予報センター(ECMWF)は2025年2月、機械学習モデル AIFS を本番運用に載せ、多くの指標で物理モデルを上回り、台風・熱帯低気圧の進路では最大2割改善、消費電力は物理計算の約1000分の1だと報告する1。DeepMind の GenCast は、2019年を対象にした検証で、世界最高峰である ECMWF のアンサンブル予報を、1320通り(変数×リードタイム×気圧面)の97.2%で確率スコア(CRPS)が上回ったと報告する2。なお「8分」が何を指すかは原典内で揺れている——要旨はアンサンブルに掛けて書き、本文は1本あたり Cloud TPU v5 1台で約8分、アンサンブルは各メンバーを並列生成すると述べる。だが手放しでは済まない。2025年に公表され翌年査読を通った検証は、記録破りの熱波・寒波・強風——最も警報が要る場面——では、検証対象となった決定論型のAIモデル3種に対して、いまも物理モデルが勝つと示した3。理由は根が深い。AIは安全な「平均」を出すよう報われ4、訓練したデータの外へ外挿できない3。平均では勝ち、記録更新の領域では負ける。
越えた閾値:AI予報が「運用」に入った
ここ数年、天気予報AIは加速してきた。GraphCast や Pangu-Weather、そして拡散モデルの GenCast が、物理シミュレーションに迫り、追い抜く数字を次々に出した。決定的だったのは、物理予報の総本山が、自ら本番に載せたことだ。ECMWF は2025年2月25日、AIFS(Artificial Intelligence Forecasting System)を運用化し、物理モデル IFS と並走させ始めた1。
数字も速度も本物だ。AIFS は多くの指標で物理モデルを上回り、台風進路では最大2割改善。しかも 28km 格子で高速に走り、9km の物理モデルに対し電力は約1000分の1という。ただし2025年2月の発表は increased speed and a reduction of approximately 1,000 times in energy use と述べるだけで、実行時間は数値化していない。速度のほうは同年7月、アンサンブル版の運用化発表が物理ベースの予報システムより10倍以上速いと定量した5。GenCast はさらに攻めた。0.25度・15日先までの確率的予報を8分で生成し、ECMWF のアンサンブル予報を 1320の検証指標のうち97.2%で上回ったと報告する2。速く、安く、そして平均的には正確——この三拍子が、運用化を後押しした(→予報の限界は計算機でなく天気の側にある)。
だが、記録破りでは物理が勝つ
平均ではなく、記録を塗り替える規模の極端気象に的を絞ると、評価は逆転する。Zhang・Fischer・Zscheischler・Engelke は、この極端気象で AIモデル(GraphCast・Pangu-Weather・FuXi)と物理モデル HRES を比べた3。ここでの「記録破り」は、格子点ごと・暦月ごとに 1979〜2017 年の最高/最低を更新した事例を指し、対象変数は 2m 気温と 10m 風速。本文の結果は 2020 年のもので、2018 年は同じ傾向が再現するかの確認にあてられている(FuXi は 2018 年の予報データが公開されておらず、この確認から外れる)。
この検証の強みは、勝ち負けの両方を同じ土俵に載せたことにある。同じ年・同じモデル・同じ RMSE で全事象を測れば、AI が HRES を上回る——2m 気温では Pangu-Weather を除く各モデルが、10m 風速では全モデルがそうだ。ところが記録破りだけに絞った瞬間、順位が入れ替わる。HRES が、ほぼ全リードタイムでAIを上回る——5日を超えると差は縮まるが、それでも概ね物理が優位だ。AIは記録破りの発生頻度も強度も過小評価し、暑い記録は低く、寒い記録は高く見積もる。しかも悪いことに、記録の更新幅が大きいほど、AIの誤差は膨らむ3。
著者らの診断は、訓練の外へ外挿できないことだ。主要なAI天気モデルは1979〜2017年のデータで学んでおり、温暖化が進む世界の前例のない極端を、過去に観測した範囲へ引き戻してしまう。彼らは、早期警戒や災害対応のような高stakesの用途を、いまのAIだけに委ねることに警鐘を鳴らす。平均の勝ちは、記録を塗り替える領域では通用しない。
なぜ極端で外すのか——「平均への回帰」
弱点は偶然ではなく、学習のさせ方に根がある。多くのAI天気モデルは、予報と実況の点ごとの誤差(平均二乗誤差など)を最小化するよう訓練される。すると、はっきり committすると外したとき罰が大きいので、モデルは安全に平均へ寄せる方が得になる。結果、予報は空間的にぼやけ(blurring)、先の予報ほど滑らかになり、小さなスケールの構造が消える4。台風の目のような鋭い峰は、平均化されて丸くなる。
この機構は外部からの指摘にとどまらない。ECMWF 自身が、第一世代の機械学習モデルは平均二乗誤差を目的関数に訓練されるため過度に滑らかな場を出しがちで、アンサンブルのばらつきが縮んで予報の信頼性が落ちると述べ、それを避けるために連続確率順位スコア(CRPS)に基づく損失で訓練したアンサンブル版を運用に入れた、と説明している6。
これが、平年から離れた場面でAIが鈍る一因だ。原典もこの機構を否定してはいない——決定論型のAI予報は鋭い風の峰のような細かな構造を均してしまう、と自ら述べている(掲載版はこれを、分布の平均を予測するよう設計されていることの帰結として書く)。そのうえで著者らが記録破りの敗北の根に置くのは、訓練領域の外へ外挿できないことだ。先に見た「更新幅が大きいほど誤差が膨らむ」という形そのものが、学習データ中で最も極端な観測値のあたりに見えない上限があることを示唆する3。物理モデルにその上限が無いのは、変わらない物理法則に従うからだ。方程式に従う分、見たことのないシナリオでも破綻しにくい——ただし対流や雲の扱いには経験的に調整されたパラメタリゼーションが入っている。事実、HRES も風速記録では弱い過小評価を示す(ただし原典はその度合いを「AIモデルよりはるかに小さい」としており、この偏りをパラメタリゼーションに帰してもいない)3。物理側も無条件ではない。GenCast が「極端に強い」と言えたのも、原典が評価した最も厳しい閾値でさえ再現期間約7年——2016〜2022年の気候値による99.99パーセンタイル——という、観測された分布の裾での話だった2。1979年以降の記録を塗り替える領域とは、桁が一つ違う。ぼやけるモデルは、平年並みの明日はうまく当て、50年に一度の朝を丸めてしまう。
この報告を、どう割り引くか
どちらの側にも留保がいる。AIFS や GenCast の勝ちは総合スコアや平均での話で、モデル・季節・変数によってばらつく。しかもどちらの数字も、モデルを作った当事者——ECMWF と Google DeepMind——が自ら測って報告したものだ。対する記録破り側の検証は、評価対象のモデル開発に関与していない大学・研究機関の研究者による第三者評価である。1320という項目数にも、原典自身が「変数間に依存があるため、これらは各々が独立した予報タスクを表すわけではない」と断りを添えている2。評価は物理モデルと並走させての話だ1。なおここで引く ECMWF の発表は2025年2月の AIFS Single 運用化時点のもので、その後 AIFS ENS(確率的アンサンブル)が2025年7月に5、AIFS v2 が2026年5月に運用入りしている7。
極端の検証にも条件がある。両者とも遡及検証であり、AIは ERA5 再解析で初期化・検証、HRES は自前の運用解析で検証という非対称な土俵だ——実時間には手に入らない最良解析をAIに渡してなお負けた、とも読める。もっとも原典は、この二つの真値を使い分けること自体を「不公平な比較を避けるための、この分野の標準手続き」と位置づけている。加えて運用版のAIは HRES と同じ HRES-fc0 を真値として比べられており、そこでは非対称そのものが無い——それでも負けた3。データの制約から評価が単一年のみであることも、原典が自ら断っている限界だ。訓練領域という設定にも依存するが、2020年の主要結果を出した GraphCast はすでに訓練窓を1979〜2019年まで延ばした版であり、運用解析にもとづく版(GraphCast の運用版は HRES-fc0 の2016〜2021年で微調整済み)も検証されて、いずれも劣った。
検証されたのは GraphCast・Pangu-Weather・FuXi という点ごとの誤差(MSE や L1)を最小化する決定論モデルであって、GenCast のような確率的モデルや AIFS は対象外だ。決定論か確率かという本稿の軸から見れば、ECMWF 自身の確率的AIが運用に入っている事実がいちばん効く反例である。ただし著者らがこの論点を素通りしたわけではない。掲載版は確率的AIモデルに一段落を割き、GenCast と AIFS-CRPS を引用番号で名指ししたうえで、決定論型も確率型も同じ ERA5 再解析データで訓練されている以上、確率的モデルもまた同様の外挿の困難に直面する公算が高い、と述べている3。他方で著者の一人は取材に対し、確率的モデルは複数の未来を出すぶん記録破りを捕まえやすく、新世代のモデルを極端予報の観点で評価することは「重要だ」とも語っている8。どちらも見通しであって検証ではない——反例は、まだ開かれた問いとして残っている。
研究に関与していない外部の研究者からは、検証対象は「一世代前」のAIモデルだという評も出ている。同じ取材記事では、やはり研究に関与していないケルン大の研究者が、この結果は「莫大な計算コストにもかかわらず、運用予報で古典的な数値天気モデルを使い続けることを正当化する」と評した。射程の限界も外部から指摘されており、検証は 2m 気温と 10m 風速に限られて極端降水は対象外である8。著者らは改善経路として、気候モデル由来の極端事例によるデータ拡張、極値統計に基づく損失、ハイブリッド化を挙げる3。ぼやけ自体も、スペクトルや水平勾配を損失に組み込む設計で抑えられると報告され始めた4。「AIは極端に弱い」も、永久の性質ではなく現行方式の限界だ。
とはいえ、二つを重ねた結論は変わらない。平年並みの明日は、AIが速く安く当てる。だが記録破りの朝は、まだ物理方程式の出番だ。「AIが天気予報で物理モデルを超えた」という一行は、半分だけ本当だ——どの分布のどこを予報しているかを言わなければ、勝敗は決まらない。
出典8件
-
European Centre for Medium-Range Weather Forecasts(ECMWF), “ECMWF’s AI forecasts become operational”(2025年2月公表)。機械学習予報システム AIFS(Artificial Intelligence Forecasting System)の決定論版を2025年2月25日に運用化し、物理モデル IFS と並走。多くの指標で物理モデルを上回り、熱帯低気圧・台風の進路では最大20%改善。格子間隔は28km(IFSは9km)で、予報生成の消費電力は物理計算の約1000分の1と報告する。ECMWF 自身がAI予報を本番運用に載せた側の一次資料。https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ai-forecasts-become-operational ↩ ↩2 ↩3
-
Ilan Price, Alvaro Sanchez-Gonzalez, Ferran Alet, Tom R. Andersson ほか (Google DeepMind), “GenCast: Diffusion-based ensemble forecasting for medium-range weather”(arXiv:2312.15796, 2023年12月公開/2024年改訂・Nature掲載)。拡散モデルで、0.25度・15日先までの確率的アンサンブル(80超の地上・大気変数)を生成。要旨は「8分」をアンサンブルに掛けて書くが、本文は「1本あたり Cloud TPU v5 1台で約8分、アンサンブルは各メンバーを並列生成」と述べる。世界最高峰である ECMWF のアンサンブル予報 ENS を、評価した1320指標の97.2%で上回ったと報告(97.2%は Nature 掲載版 “Probabilistic weather forecasting with machine learning”, 2024年12月4日, doi:10.1038/s41586-024-08252-9 の値。arXiv プレプリント版は97.4%と記載しており、本稿は査読版の数値を採る)。ただし原典は、この1320項目が変数間の依存のため各々独立した予報タスクを表すわけではないと断っている。極端の評価は観測された分布の裾が対象で、最も厳しい99.99パーセンタイルでも再現期間は約7年(2016〜2022年の気候値による)。台風予報や風力発電予測でも優位を主張する。AI予報が平均スコアで物理を上回りうる側の一次証拠。https://arxiv.org/abs/2312.15796(プレプリント版、97.4%)/https://pmc.ncbi.nlm.nih.gov/articles/PMC11666454/(Nature 査読版全文、97.2%。オープンアクセス) ↩ ↩2 ↩3 ↩4
-
Zhongwei Zhang, Erich Fischer, Jakob Zscheischler, Sebastian Engelke, “Physics-based models outperform AI weather forecasts of record-breaking extremes”(Science Advances, 2026, doi:10.1126/sciadv.aec1433。プレプリントは arXiv:2508.15724「Numerical models outperform…」として2025年8月21日公開、査読掲載時に改題)。記録を塗り替える規模の熱波・寒波・強風に的を絞り、AIモデル(GraphCast・Pangu-Weather・FuXi、および GraphCast・Pangu-Weather の運用版)と物理モデル HRES を比較。全事象では AI が HRES を上回るのに、記録破りに限るとほぼ全リードタイムで HRES が一貫して勝ち、AIは記録破りの頻度も強度も過小評価(暑い記録は低く・寒い記録は高く)、記録の更新幅が大きいほど誤差が拡大。原因を訓練領域(1979〜2017年)外への外挿の失敗とし、早期警戒など高stakes用途をAI単独に委ねることに警鐘を鳴らす。データの制約から評価は単一年のみと自ら断り、掲載版の考察は確率的AIモデル(GenCast、AIFS-CRPS)にも一段落を割いて、同じ ERA5 で訓練される以上は同様の外挿の困難に直面する公算が高いと述べる。物理が極端でなお勝つ側の一次証拠。https://arxiv.org/abs/2508.15724(プレプリント版)/https://pmc.ncbi.nlm.nih.gov/articles/PMC13127558/(Science Advances 掲載版全文。オープンアクセス) ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9
-
“FastNet: Improving the physical consistency of machine-learning weather prediction models through loss function design”(arXiv:2509.17601, 2025年9月公開/Artificial Intelligence for the Earth Systems(AMS)2026掲載)。AI天気予報モデルが、平均二乗誤差の最小化により「安全に平均へ寄せた」予報を出すよう報われ、空間的にぼやけ(blurring)、先の予報ほど滑らかになって小スケール構造やスペクトル解像度を失う問題を扱う。修正球面調和(MSH)損失でスペクトル振幅の誤差を罰し、水平勾配項で非物理的アーティファクトを抑えることで、細かな構造の平滑化を軽減できると報告。極端の過小評価の背後にある「平均への回帰=ぼやけ」の機構と、その緩和策を示す一次証拠。https://arxiv.org/abs/2509.17601 ↩ ↩2 ↩3
-
ECMWF, “ECMWF’s ensemble AI forecasts become operational”(2025年7月1日)。AIFS の確率的アンサンブル版を2025年7月1日に運用化。初期条件は物理ベースのデータ同化に依存するが、予報生成は物理ベースの予報システムより10倍以上速く、消費電力は約1000分の1に下がると報告する。2025年2月の発表が出していない実行時間の数値を与える一次資料。https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ensemble-ai-forecasts-become-operational ↩ ↩2
-
Simon Lang, Linus Magnusson, “AIFS ENS becomes operational”, ECMWF Newsletter No. 185(2025年秋号、2025年10月刊)。第一世代の機械学習モデルは平均二乗誤差(MSE)を目的関数に訓練されるため過度に滑らかな場を出しがちで、アンサンブルのばらつきが縮んで予報が信頼できなくなると述べる。これを避けるため、連続確率順位スコア(CRPS)に基づく損失で訓練した AIFS-CRPS の方式を運用アンサンブルに採用したと説明する。ぼやけの機構を、AI予報を運用する当事者自身が認めた一次資料。https://www.ecmwf.int/en/newsletter/185/earth-system-science/aifs-ens-becomes-operational ↩
-
ECMWF, “Significant update to ECMWF’s key forecasting systems IFS and AIFS goes live”(2026年5月12日)。物理モデル IFS の Cycle 50r1 と AIFS v2 を同日に運用投入したと報告する。決定論版の運用化(2025年2月)以降もAI側が更新を重ねていることを示す一次資料。https://www.ecmwf.int/en/about/media-centre/news/2026/ifs-cycle-50r1-aifsv2-live ↩
-
Carbon Brief「Traditional models still ‘outperform AI’ for extreme weather forecasts」。同研究の解説記事(媒体は、著者の一人 Erich Fischer が Carbon Brief の contributing editor であることを記事中で開示している)。研究に関与していないウプサラ大の博士課程研究者 Leonardo Olivetti は、検証された3つのAIモデルは「一世代前(older generation)」のものだと述べており、極端の再現を掲げる新しい確率的モデルは評価対象に入っていない。これに対し著者の Engelke は、確率的モデルは「複数の未来の天候状態を作り出す」ぶん記録破りを捕まえやすいと応じ、新世代モデルを極端予報の観点で評価することは「重要だ」と述べる。研究に関与していないケルン大の Martin Schultz は、この結果が「莫大な計算コストにもかかわらず、運用予報で古典的な数値天気モデルを使い続けることを正当化する」と評し、コロラド州立大の Kyle Hilburn は本研究が極端降水を扱っていない点を限界に挙げる。 https://www.carbonbrief.org/traditional-models-still-outperform-ai-for-extreme-weather-forecasts/ ↩ ↩2
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。