DeepMind又贏了！AI天氣象預報準確度遠超氣象台：1張GPU1秒預測1小時天氣

在圍棋和《星海爭霸》等遊戲領域贏到膩了之後，DeepMind即將挑戰一個全新的項目—預測天氣。

在過去的幾年裡，DeepMind一直在悄悄地與英國氣象局合作，而最近一篇發表於《自然》雜誌上的論文則展示了這一項成果。簡而言之，DeepMind設計了一個全新的機器學習模型，可以預測未來幾小時內是否會下雨。

結果顯示，DeepMind的深度產生模型可以提供更好的預測品質、預測一致性和預測價值。模組在1,536公里×1,280公里的區域內產生了逼真且時空一致的預測，提前期為5-90分鐘。

透過50多位氣象專家的系統評估，與其他兩種競爭方法相比，DeepMind的產生模型以89%的絕對優勢在準確性和實用性兩方面均排名第一。

即時的天氣預測

目前的天氣預測是由強大的數值天氣預報（NWP）系統驅動的透過解決物理方程式，數值天氣預報系統可以提前數天得到地球規模大小的預測。然而，它們卻很難在兩小時內產生高解析度的預測。

即時預報填補了這一關鍵時間區間的性能空白。氣象傳感的進步使高解析度雷達可以高頻地（在1公里解析度下每5分鐘）提供測量出的地面降水量數據。

目前已有的短期預測方法，如STEPS和PySTEPS，是沿用NWP的方法來解決不確定性，以及按照帶有雷達訊息的平流方程來對降水進行建模。

在這些模型中，場地由光流來估計，平滑度懲罰被用來近似於平流預報，隨機擾動被添加到場地和強度模型中。這些隨機模擬可以得出機率性和確定性的預報，並且在多種空間尺度（從公里尺度到集水區的大小）上都適用。

基於深度學習的方法則不需要對平流方程的依賴。透過大量的雷達觀測數據訓練這些模型，可以更好地模擬非線性降水現象，如對流啟動和強降水。這類方法直接預測每個網格位置的降水率，模型已被開發用於確定性和機率性預報。

目前的深度學習系統所發布的預報，在降水場越來越模糊的情況下表現出了不確定性，而且不包括小尺度天氣模式。此外，現有方法側重於特定地點的預測，而不是對整個降水場的機率預測，這使其無法在多個空間和時間集合中同時提供一致的預測結果，限制了實用性。

為此，DeepMind使用深度產生模型（DGMR）為機率預報開發了一種觀測驅動的方法。DGMR是學習數據機率分布的統計模型，可以從學習到的分布中輕鬆產生樣本。由於產生模型從根本上是機率性的，可以從給定的歷史雷達的條件分布中模擬許多樣本，產生預測集合。此外，DGMR既能從觀測數據中學習，又能表示多個空間和時間尺度上的不確定性。

即時預報的產生模型

DeepMind使用產生模型的方法，根據過去的雷達，對未來的雷達進行詳細和可信的預測。有了這樣的方法，既可以準確地捕捉大規模的事件，同時也可以產生許多備選的降雨情景（稱為集合預測），使降雨的不確定性得到探索。

DeepMind的模型也十分擅長中到大雨事件的預測，與其他競爭方法相比有著明顯的改進。DeepMind表示，在經過英國國家氣象局（Met Office）的50多名專家氣象學家進行了認知任務評估之後，與廣泛使用的預測方法相比，在89%的情況下專家們會把DeepMind的方法評為首選。

產生法（DGMR）比平流法（PySTEPS）更好地捕捉了環流、強度和結構，更準確地預測了東北地區的降雨和運動。與確定性的深度學習方法（UNet）不同，DGMR還產生了尖銳的預測。

產生法（DGMR）與平流法（PySTEPS）相比，平衡了降水的強度和範圍，平流法的強度往往太高，而且不像確定性的深度學習方法（UNet）那樣模糊不清。

在固定的時間點T，使用基於雷達的地表降水估計值XT，在固定的M個過去的雷達場，預測N個未來的雷達場，潛在的隨機向量Z和參數θ，方程為：

對潛在變量的整合確保了模型做出的預測在空間上具有依賴性。學習是在用於降水預測的條件產生對抗網路（GAN）的算法框架內進行的。四個連續的雷達觀測數據（之前的20分鐘）被用作發生器的背景，對未來降水的多個實現進行採樣，每個實現為18格（90分鐘）。

DGMR能更好地預測較長時段的空間覆蓋和對流，同時不會高估強度。a. 模型結構示意圖；b. 預測的地理背景；c. 不同模型在T+30、T+60和T+90分鐘提前量的單一預測。

學習由兩個損失函數和一個正則化項驅動，透過比較真實的雷達觀測數據和模型產生的數據來指導參數調整。

第一個損失是由空間判別器定義的，它是一個卷積神經網路，用於區分單個觀察到的雷達場和產生的雷達場，確保空間一致性並阻止模糊的預測。第二個損失是由時間判別器定義的，它是一個三維（3D）卷積神經網路，用於區分觀察到的和產生的雷達序列，施加時間上的一致性並懲罰跳躍的預測。為了提高準確性，DeepMind引入了一個正則法項，從而懲罰真實雷達序列和模型預測平均值（用多個樣本計算）之間的網格單元解析度的偏差。

最後，DeepMind為產生器引入了一個潛在模組，允許對大於訓練大小的降水場進行預測，同時保持時空一致性。

DeepMind在2016至2018年間英國雷達記錄的降水事件的大型數據集上訓練其DGM。訓練完成後，它可以在一秒鐘內提供預報，並在單個NVIDIA V100 GPU上運行。

與其他流行的預報方法（包括機器學習模型）相比，DeepMind的DGM在長達1,536公里乘1,280公里的區域產生了更真實和一致的預測，提前期為5至90分鐘。

結果評估

在使用CSI進行比較時，所有三個深度學習系統產生的預測都比PySTEPS的基線明顯更準確。使用交替的星期作為獨立單位的配對置換測試來評估統計學意義，發現DGMR與PySTEPS相比，在所有的降水閾值上都具有更好的效果（n=26，P

a. 20個樣本的CSI，降水閾值為1毫米/小時（左）、4毫米/小時（中）和8毫米/小時（右）；b. 所有模式在T + 30分鐘（左）和T + 90分鐘（中和右）的2019年預測的徑向平均功率譜密度。

從上圖中的b可以看到，DGMR和PySTEPS的光譜特徵都與觀測結果相吻合，但軸向注意力和UNet模式產生的預報具有中、小尺度的降水變化，並隨著提前期的增加而減少。

由於它們產生了模糊的預測，軸向注意力和UNet nowcasts的有效解析度遠遠低於數據的1公里×1公里解析度。在T+90分鐘時，UNet的有效解析度為32公里，軸向注意力的有效解析度為16公里，降低了這些預報對氣象學家的價值。

對於機率驗證來說，下圖中b顯示了平均和最大降水率聚集在越來越大的區域的CRPS。當解析度測量時，DGMR、PySTEPS和軸向注意力的表現相似。

隨著空間聚集的增加，DGMR和PySTEPS提供了持續的強大性能，其中DGMR在最大降水上表現更好。軸向注意力模型對於較大的聚集區來說明顯較差，在規模為4以上的情況下，其性能低於所有其他方法。使用交替的星期作為獨立單位，成對的置換檢驗表明，DGMR和軸向注意力溫度選擇之間的性能差異是顯著的。

網格解析度（左）、4公里集合（中）和16公里集合（右）的CRPS得分：a. 使用平均雨量的集合CRPS；b. 使用最大雨量的集合CRPS。

與其他方法相比，此產生方法優於在CSI上現有的STEPS預測方法，提供的機率預測更加準確，並且在空間和時間尺度上保留了降水的統計特性，而其他深度學習方法是以它們為代價的。

此外，DeepMind還在經濟和認知方面進行了分析，結果表明DGMR可以讓決策價值得到提高。

虛線表示Clopper-Pearson的95%置信區間。氣象學家明顯傾向於DGMR而不是其他方法。

學界似乎並不買帳

然而，除了這50位專家以外，其他科學家並沒有被這些結果說服。

雷丁大學的氣象學家Peter Clark說：「我沒有看到預測方面的任何革命。依靠主觀評價來證明模型的有效性只能使讓人感到困惑。」此外，他還表示：「我仍然驚訝於他們沒有選擇使用一個客觀的分數。關於如何進行評估，甚至是實際評估的內容，幾乎沒有詳細說明。」

在論文中，DeepMind也並沒有給出新模型與現有模型的準確性相比具體提升的數據。對此，DeepMind的高級科學家和論文作者Shakir Mohamed表示，「我們想採取更加謹慎的方法，而不是報告一個數字。」

同樣是來自雷丁大學的氣象學家Rob Thompson則說：「與其說DeepMind的研究完全顛覆了我們所知道的雨水預報，不如說它只是提供了一種不同的方法。它的表現與當前其他尖端類型的模型類似，可能稍微好一點，但並沒有領先很多，」

DeepMind的成員說，目前還沒有任何立即投入使用的計劃，但團隊希望最終能夠利用模型為今後的天氣報告提供真實的訊息。

話說回來，天氣預報員會不會就此消失？

這倒不用擔心，DeepMind的研究科學家，同時也是論文的作者Suman Ravuri表示，人工智慧不會在這個領域取代人類：「天氣預測需要專家和人類參與其中，以確保在預測方面的理解是合理的，然後將其傳達給公眾。」