機器學習 vs. 數值天氣預報,AI 如何改變現有的天氣預報模式

點選上方藍字,關注我們!

數值天氣預報是天氣預報的主流方法。它通過數值積分,對地球系統的狀態進行逐網格的求解,是一個演繹推理的過程。

然而,隨著天氣預報解析度不斷升高,預報時間逐漸延長,NWP 模式所需要的算力迅速增加,限制了其發展。另一方面,以人工智慧為基礎的資料驅動天氣預報快速發展,在部分領域已經超越了傳統方法。

現有的機器學習天氣預報精度如何?人工智慧又將如何改變天氣預報?本文對比了幾大資料驅動的機器學習天氣預報模型後,對天氣預報的未來發展作出了展望。

作者 | 雪菜

編輯 | 三羊

數值天氣預報:450 億偏微分方程組

數值天氣預報:450 億偏微分方程組

數值天氣預報 (NWP, Numerial Weather Prediction) 是天氣預報領域的主流方法。早在 20 世紀初,Abbe 和 Bjerknes 就提出人們可以使用物理定律預測天氣,以當前的天氣狀況為初值,進行積分便可以求解未來的天氣。但彼時對氣象學的研究還不夠深入,計算水平也相對落後,這一設想未能實現。

1950 年,普森林頓大學首次嘗試使用第一臺電子計算機進行了天氣後報。1954 年,在斯德哥爾摩首次實現了實時的天氣預報。

在每個網格單元中求解基於物理定律的微分方程組

直到 20 世紀 70 年代,超級計算機問世,人們方能求解 Abbe 和 Bjerknes 提出的整套方程。1979 年,歐洲中期天氣預報中心 (ECMWF) 編制了首份中期天氣預報,開啟了綜合預報系統 (IFS, Integrated Forecasting System) 的篇章。

然而,Edward N.Lorenz 總結前人的經驗,提出天氣系統是一個混沌系統,會因變數的細微變化而發生巨大的改變。另一方面,人們對於氣象系統的初始狀態也很難完全掌握。為此,學界使用集合預報 (Ensemble Forecasting) 以最大限度降低初始參數和預測模型的不確定性,預測結果的集合即為概率預報的基礎。

降水概率的集合預報示意圖

降水概率的集合預報示意圖

隨著數值模型、超級計算、資料同化和集合預測等技術的發展,數值天氣預報的精度不斷提高,預測時間也由 3 天、5 天逐漸提升至 7 天甚至 10 天。

南、北半球 (SH, NH) 的天氣預報技術隨時間的演進

目前,歐洲中期天氣預報中心的預報模式需要對每一水平層的 200 萬個網格,以 10 分鐘的步長進行 10 天的預報,每天運行 2 次。因此,他們需要在 2.5 小時內,完成約 400 億個網格的運算,需要很高的計算成本。

高昂的計算費用阻礙了數值天氣預報方法的進一步發展。如何在模型解析度和集合規模之間找到平衡,成了限制集合預報的桎梏。

資料驅動的機器學習方法崛起

資料驅動的機器學習方法崛起

近期,資料驅動 (Data-Driven) 的機器學習 (ML, Machine Learning) 在天氣預報中展現出了巨大的潛力。2022 年以來,天氣預報領域的機器學習模型取得了一系列突破,部分成果可以與歐洲中期天氣預報中心的高精度預測匹敵。

資料驅動的天氣預報推理依賴於機器學習模型,而非綜合預報系統 (IFS) 中的物理模型,其預測速度較傳統方法提升了幾個數量級。此外,基於機器學習的天氣預報是歸納推理的結果,而非傳統的演繹推理。這種邏輯學的正規化轉變改變了天氣預報的解釋方式——這些結果是從以前的資料中學習而來的,因此更具說服力

資料集:1940 年至今 0.25° 的再分析資料

資料驅動模型的出現歸功於大規模、高質量的氣象學開放資料集。現有的機器學習天氣預報模型,訓練於歐洲中期天氣預報中心的第五代再分析資料,ERA5 再分析資料集。2016 年現版本綜合預報系統 (IFS) 問世時,對 1940 年至今的天氣資料進行了再分析,得到了解析度 0.25° (30 km) 的 ERA5 資料集。

FourCastNet:與 IFS 精度相當的 DL 模型

2022 年,NVIDIA 發佈了 FourCastNet,基於傅立葉預測神經網路,首次進行了解析度為 0.25° 的深度學習天氣預報。

FourCastNet 架構示意圖

FourCastNet 架構示意圖

在提升解析度的同時,FourCastNet 在異常相關係數 (ACC, Anomaly Correlation Coefficient) 和均方根誤差 (RMSE, Root Mean Squared Error) 方面也沒有落後傳統的數值天氣預報太多。

FourCastNet 與數值天氣預報的 ACC 和 RMSE 對比

以節點小時 (Node-Hour) 為單位,FourCastNet 的速度大約是傳統數值天氣預報模型的 45,000 倍,加上其在高解析度下的準確性,使得超大規模的集合預報成本迅速降低。

GraphCast:基於 GNN 全球中期氣象預報

GraphCast 是一種基於圖神經網路 (GNN) 的神經網路,採用「編碼-處理-解碼」配置,共有 3,670 萬個參數。

編碼器通過單層 GNN 將輸入網格中的變數對映到內部的多網格中。

多網格是一個空間均質的圖,有著全球範圍的高解析度。多網格通過 6 次迭代正二十面體(包含 12 個節點,20 個面和 30 條邊)形成,每次迭代會對網格進行精細化,將單個三角形劃分為 4 個較小的三角形,並將其節點投影至球體上。最終多網格包含 40,962 個節點,及精細過程中所有圖形的邊,形成了包含不同長度的邊的層級圖。

處理器使用 16 個非共享的 GNN 層,在多網格上進行訊息傳遞。解碼器使用單層 GNN, 將處理器的學習特徵從多網格對映回到經緯度系統中。

GraphCast 的框架

GraphCast 的框架

a-c:GraphCast 的輸入-預測-迭代過程;

d-f:GraphCast 的編碼-處理-解碼配置;

g:多網格的精細化過程。

對比歐洲中期天氣預報的高解析度預報 (HRES),GraphCast 在 ACC 和 RMSE 上均更勝一籌。

GraphCast 和 HRES 的預測 RMSE (a&b) 和 ACC (c) 對比

在 32 臺 Cloud TPU v4 設備上訓練 3 周後,GraphCast 對 1979 年以來的 ERA5 資料進行了學習。隨後,GraphCast 可以在 60 秒內在單臺 Cloud TPU v4 設備上,生成解析度 0.25° 間隔 6 小時的 10 日天氣預報。

盤古:基於 ViT 的三維氣象大模型

盤古氣象大模型的輸入輸出均為三維的氣象場。由於氣象場的經緯度分佈不均勻,盤古氣象大模型使用了三維的 Vision Transformer (ViT) 對氣象資料進行處理,精度首次超過了主流的綜合預報系統 (IFS)。

三維 Vision Transformer 架構

當預測時間長於 3 天時,從 RMSE 來看,盤古氣象大模型和 IFS 的性能相當,均優於訓練集 ERA5。

,均優於訓練集 ERA5

不同模型的對 T850 和 Z500 的預測性能對比

a&b:分別為不同模型預測 T850 和 Z500 時的 RMSE;

c&d:分別為不同模型預測 T850 和 Z500 時的活動強度;

e&f:分別為不同模型預測 T850 和 Z500 時的偏差。

綜上所述,資料驅動的機器學習天氣預報,在預測精度上與傳統的數值天氣預報模式接近,然而運算設備和運算速度遠超數值天氣預報模型,說明 AI 天氣預報在實際應用中有相當的潛力。

機器學習和數值預報 = 精度 + 速度

機器學習和數值預報 = 精度 + 速度

在天氣預報的內部和外部,機器學習都在以驚人的速度不斷發展。歐洲中期天氣預報中心一直在關注資料驅動天氣預報的快速崛起,包括 NVIDIA、華為和 Deepmind。

「FourCastNet 是第一個基於 AI 的解析度達到 0.25° 的天氣預報系統,也是第一個開源的天氣預報系統。我們的新版本顯著提高了模型的中期性能和長期穩定性,並希望通過神經運算元框架,實現超解析度。」NVIDIA Earth-2 團隊的 Anima Anandkumar 說道。

歐洲中期天氣預報中心將這些機器學習模型,和穩定的數值模型一起呈現給了使用者,邀請他們從應用側對系統的操作和性能進行評估。模型的準確性、可靠性、不確定性和互動性是評估氣象產品質量和有效性的關鍵因素。

為此,歐洲中期天氣預報中心公開了 FourCastNet、PGW 和 GraphCast 基於 IFS 初始條件的預測結果。Florian Pappenberger 表示,「開放是創新、合作和探索的關鍵。通過共享資料、方法和結果,進行對比和分析,就能夠加速科學發展,最終造福社會。

三個氣象 AI 的公開資料

三個氣象 AI 的公開資料

在歐洲中期天氣預報中心的對比中,可以看到基於 AI 的天氣預測,在部分性能上已經可以與數值天氣預報媲美,將在未來發揮著重要作用。然而,這些模型尚沒有綜合預測能力,這是中長期尺度上提供有價值預測的關鍵。

開放獲取、對比最佳化、便攜易得,AI 正將自己的優勢滲透進入傳統的天氣預報當中。在將天氣預報從超級計算機解放出來的同時,AI 在極端氣候事件上也有著不俗的表現。相信 AI 能夠同數值天氣預報一起,革新天氣的預報方式,為農林牧漁、航海航天事業的發展貢獻出自己的力量。

參考連結:

[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml

[2]https://cir.nii.ac.jp/crid/1573668925699683328

[3]https://www.nature.com/articles/nature14956

[4]https://arxiv.org/abs/2202.11214

[5]https://arxiv.org/abs/2212.12794

[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html

[7]https://arxiv.org/abs/2307.10128

相關文章

遠洋漁船上,不能有女人

遠洋漁船上,不能有女人

海上翻湧著紅血與黑浪。 遠洋捕撈 —— 世界上最危險的職業之一。 我出海的前一年,就在新聞裡看到過「太平洋大逃殺」的報道: 一艘開往秘魯的船...