DeepMind AI 擊敗全球頂尖天氣預報系統!8 分鐘預測 15 天全球天氣

DeepMind AI 擊敗全球頂尖天氣預報系統!8 分鐘預測 15 天全球天氣

ADVERTISEMENT

由於天氣變化多端,所以天氣預報本來就存在著不確定性。因此,預測各種可能出現的天氣狀況就變得非常重要,這對於做出重要的決策至關重要。能準確預測各種可能的天氣情景,才能幫助人們做出更明智的決策。

傳統的天氣預報是基於「數值天氣預報 (NWP)」技術,這種技術是用物理學的知識,模擬大氣的運動來預測天氣。

近年來,機器學習 (ML) 技術應用在天氣預報上 (MLWP) 有了新的進展,發展出基於機器學習的天氣預報模型。這些新的模型,預測的誤差比單純使用數值天氣預報的模型更小,也就是說更準確。 

雖然機器學習 (ML) 在天氣預報 (MLWP) 中取得了一些進展,但這些進展主要集中在單一確定性預測上。什麼是單一確定性預測? 就是只給出一個明確的預測結果,例如「明天會下雨」,但沒有說明下雨的可能性有多大,或者其他可能的天氣狀況。

這種預測方式有兩個問題:

  1. 無法反映不確定性: 天氣變化多端,單一結果無法涵蓋所有可能性,也無法表達預測的信心程度。
  2. 無法估計風險: 對於一些重要的決策,例如防災、能源規劃,需要了解各種天氣狀況發生的可能性,才能評估風險,做出最佳決策。

因此,目前的機器學習天氣預報 (MLWP),在準確性和可靠性方面,整體來說還是不如傳統的數值天氣預報 (NWP) 集合預報,因為集合預報可以提供多種可能的天氣情景,更全面地反映不確定性。

Google DeepMind 的研究人員開發了一種新的天氣預報模型,叫做 GenCast。GenCast 是一種「機率天氣模型」,意思是它不僅會預測單一的天氣結果,還會預測各種可能天氣狀況發生的機率。

GenCast 的「技巧」和「速度」都比目前世界上頂尖的中期天氣預報系統 ENS 還要好。這裡的「技巧」指的是預測的準確度,「速度」指的是產生預報所需的時間。ENS 是由「歐洲中期天氣預報中心」製作的集合預報,被認為是目前最好的中期天氣預報系統之一。

這段話說明了 GenCast 是一個基於機器學習、使用大量歷史資料訓練而成的高效天氣預報模型,能夠快速生成未來 15 天的全球天氣預報,並提供多種可能的天氣情景和豐富的天氣資訊。

  • 機器學習天氣預報方法: GenCast 是使用機器學習技術來預測天氣,而不是傳統的物理模型。
  • 基於數十年的再分析資料進行訓練: 研究人員使用了過去幾十年累積的大量氣象資料來訓練 GenCast,這些資料包含各種天氣變數的觀測和分析結果,讓 GenCast 能夠學習天氣的模式和變化規律。
  • 8 分鐘內生成一組隨機的 15 天全球預報: GenCast 可以在短短 8 分鐘內,生成未來 15 天的全球天氣預報,而且是一組「隨機」的預報,也就是說會提供多種可能的天氣情景,而不是單一的確定性預測。
  • 步長為 12 小時: 預報的時間間隔是 12 小時,例如預測今天中午 12 點、今晚 0 點、明天中午 12 點的天氣狀況。
  • 經緯度解析度為 0.25°: 預報的空間解析度,經度和緯度方向上每 0.25° 為一個網格,也就是說可以預測全球每個小區域的天氣狀況。
  • 涵蓋 80 多個地表和大氣變數: 預報的內容包含 80 多種天氣變數,例如溫度、濕度、風速、降雨量等等,提供非常全面的天氣資訊。

研究團隊設定了 1,320 個評估目標,例如預測特定地區的溫度、降雨量、風速等等。GenCast 在其中 97.2% 的目標上,都展現出比 ENS 更穩健的預測能力,也就是說預測結果更準確、更可靠。 

這項工作有助於開啟實用天氣預報的下一篇章,其中關鍵的天氣相關決策將更加準確和高效。 

該研究以「Probabilistic weather forecasting with machine learning」為題,於 2024 年 12 月 4 日發表在《Nature》。 

DeepMind AI 擊敗全球頂尖天氣預報系統!8 分鐘預測 15 天全球天氣

天氣預報對我們的生活很重要,不論是工作還是日常生活,它都能幫助我們做出重要的決定。但預報不可能百分之百準確,因為目前氣象部門只能觀測到部分的天氣狀況,而且用來預測天氣的模型也不完美,所以預報結果總是存在一些不確定性。

傳統的天氣預報方法 (NWP) 就像是用數學公式來計算天氣的變化,而集合預報 (ENS) 則像是預測未來的各種可能性,就像我們會想「如果明天出太陽,我就去野餐;如果下雨,我就待在家裡看電影」。

雖然集合預報可以提供更精準的天氣預測,告訴我們各種天氣發生的可能性,但它也有一些缺點:

  • 誤差大: 預測結果可能還是不夠準確。
  • 計算慢: 需要花費大量的時間來計算各種可能的天氣狀況。
  • 執行工程複雜: 製作集合預報需要複雜的技術和大量的資源。

最近,使用機器學習來預測天氣 (MLWP) 的方法發展得很快,在某些方面,它比傳統的預測方法 (NWP) 更準確、效率也更高。

但是,目前的機器學習預報方法大多只能告訴你「最可能」出現的天氣狀況,就像只給你一個「平均值」,卻沒有告訴你其他可能發生的情況,以及這些情況發生的可能性。

這就像有人跟你說「明天平均溫度是 20 度」,但實際上明天有可能很冷只有 15 度,也有可能很熱到 25 度。

此外,目前的機器學習預報方法在預測長時間的天氣變化方面,效果還不夠好。

雖然有些結合了傳統方法和機器學習的新方法 (例如 NeuralGCM),預測能力和傳統的集合預報差不多,但是它能預測的範圍比較小,不夠精細。

最近,Google DeepMind 的研究人員開發了一種全新的天氣預報模型,叫做 GenCast。它是一種基於機器學習的預報方法 (MLWP),而且表現比現有的頂尖預測系統 ENS 還要好!

GenCast 厲害的地方在於:

  • 它能生成更逼真的天氣預測: 就像看電影一樣,GenCast 可以模擬出未來各種可能的天氣變化過程,而不只是給你一個冷冰冰的平均值。
  • 它能提供更準確的預測: GenCast 不僅能準確預測某個地點、某個時間的天氣狀況,還能更準確地預測整個區域、甚至全球的天氣變化趨勢,以及不同天氣現象之間的相互影響。

簡單的說,GenCast 是一種更先進、更準確的天氣預報模型,超越了目前的頂尖預報系統。 

GenCast模型 

GenCast 是一種很優秀的天氣預報模型,它可以預測未來 15 天全球各地的天氣狀況,而且準確度比現有的頂尖預報系統 ECMWF 的 ENS 還要高!ECMWF是「歐洲中期天氣預報中心」,他們的 ENS 預報系統是目前最好的預報系統之一,而 GenCast 的表現比它還要出色!

GenCast 的預報非常精細,它把全球分成一個個小格子,每個格子的大小是 0.25°,這樣就能預測到每個小區域的天氣變化。

更厲害的是,GenCast 只需要 8 分鐘就能完成一次預測,而且可以同時進行多次預測,產生多種可能的天氣情景,幫助我們更好地應對未來的變化。GenCast 使用 Google 的 Cloud TPUv5 設備來進行預測,這是一種專門用於人工智慧運算的超級電腦,可以快速處理大量資料。 

GenCast 預測天氣的方式,可以想像成是根據「現在」和「過去」的天氣狀況,來推測「未來」的天氣。

就像我們會根據今天和昨天的天氣,來猜測明天的天氣一樣,GenCast 會根據當前的氣象資料 (Xt) 和前一個時間點的資料 (Xt-1),來預測下一個時間點 (Xt+1) 可能出現的各種天氣狀況,以及它們各自的可能性。

GenCast 把整個預測過程分成很多個時間點,就像把一部電影分成很多個畫面。它會先根據初始狀態 (X0, X-1),也就是最開始的天氣狀況,來預測第一個時間點 (X1) 的天氣;然後再根據第一個時間點的預測結果,來預測第二個時間點 (X2) 的天氣,以此類推,直到預測完所有時間點 (X1:T)。

這種預測方式叫做「自回歸」,就像一個接龍遊戲,後面的預測都依賴於前面的預測結果。

DeepMind AI 擊敗全球頂尖天氣預報系統!8 分鐘預測 15 天全球天氣

要理解 GenCast 如何預測全球天氣,可以想像地球被一個立體的網格包圍著:

  • 橫向的網格: 就像在地球表面畫格子,經度和緯度方向上每 0.25° 是一個格子,精確地涵蓋全球。
  • 縱向的網格: 從地面往上延伸,分成 13 層,每一層代表不同的氣壓高度,就像樓層一樣。

GenCast 會記錄每個格子裡、每一層樓的各種天氣資訊,包括:

  • 地表變數 (6 個): 例如地面溫度、濕度、氣壓等等。
  • 大氣變數 (6 個): 例如不同高度的風速、風向、雲量等等。

GenCast 的預測時間長達 15 天,每 12 個小時預測一次,就像每天播報兩次天氣預報一樣,總共會預測 30 次 (T=30)。

為了訓練 GenCast 準確預測天氣,研究人員使用了大量的歷史氣象資料,這些資料是從長期的觀測和分析中得到的,代表了對過去天氣狀況最可靠的估計。

GenCast 的核心是一種叫做「條件擴散模型」的技術,它是一種很先進的人工智慧技術,可以用來處理複雜的資料,例如天氣資料,並生成新的樣本,例如預測未來的各種天氣狀況。

這種技術就像是一位畫家,不斷地修改和完善自己的作品:

  1. 先畫出一張草圖: 一開始,模型會生成一張充滿雜訊的「天氣圖片」,就像一張亂七八糟的草圖。
  2. 逐步細化: 然後,模型會根據「現在」和「過去」的真實天氣狀況,一步步地修改這張草圖,就像畫家不斷地添加細節和調整顏色。
  3. 最終完成作品: 經過多次修改後,模型最終會生成一張清晰準確的「未來天氣圖片」,也就是預測結果。

這種「逐步細化」的過程叫做「反覆運算細化」,就像我們寫作文一樣,會先打草稿,然後一遍遍地修改,直到最後完成一篇滿意的文章。

擴散模型是目前人工智慧領域非常熱門的技術,它已經被廣泛應用於生成圖片、聲音和影片等方面,GenCast 則將這種技術應用於天氣預報,取得了突破性的成果。 

圖片中的藍色框顯示了 GenCast 如何一步步預測未來天氣的過程:

  1. 從初始狀態出發: 首先,GenCast 會根據「現在」和「過去」的天氣狀況 (X⁰, X⁻¹),生成一張充滿雜訊的「未來天氣圖片」(Z⁰),就像一張模糊的草圖。
  2. 逐步去除雜訊: 接著,GenCast 會利用一個叫做「降噪器」(rθ) 的工具,逐步去除圖片中的雜訊,讓圖片變得越來越清晰。
  3. 生成第一個預測結果: 經過多次降噪後,GenCast 就得到了第一個預測結果 (X¹),也就是「下一個時間點」的天氣狀況。
  4. 繼續預測未來: 接下來,GenCast 會把第一個預測結果 (X¹) 當作新的「現在」狀態,並重複上述步驟,預測再下一個時間點的天氣 (X²),以此類推,直到預測完所有時間點 (X¹, X², ..., XT)。

另外,由於 GenCast 在每次預測開始時,都會加入不同的雜訊,所以它可以生成多組不同的預測結果,就像為我們提供了多種可能的天氣情景,讓我們更全面地了解未來的變化。

 

GenCast 如何產生預測的示意圖。

我們可以把 GenCast 想像成一位正在學習預測天氣的學生,而訓練 GenCast 的過程就像學生在學校學習一樣:

  • 教材: GenCast 使用的「教材」是過去 40 年 (1979 年到 2018 年) 的氣象資料,這些資料來自一個叫做 ERA5 的資料庫,裡面包含了全球各地的天氣觀測數據和分析結果,就像一本記錄了過去天氣變化的大百科全書。
  • 學習方法: GenCast 使用一種特殊的學習方法,叫做「降噪神經網路」,就像學生在課堂上學習知識一樣,GenCast 透過學習這些歷史資料,掌握天氣變化的規律。
  • 考試: 為了測試 GenCast 的學習成果,研究人員會用 ERA5 資料庫中的資料來模擬真實的天氣狀況,就像給 GenCast 出考題一樣,看看它能不能準確地預測未來的天氣。

GenCast 的學習過程可以概括為以下幾個步驟:

  1. 觀察歷史資料: GenCast 會仔細研究 ERA5 資料庫中的資料,就像學生認真閱讀課本一樣,了解過去的天氣變化模式。
  2. 添加雜訊: 為了提高 GenCast 的學習效果,研究人員會故意在「天氣圖片」上添加一些雜訊,就像老師在考試中故意設置一些難題,讓學生更好地掌握知識。
  3. 去除雜訊: GenCast 會利用「降噪神經網路」去除這些雜訊,就像學生運用學到的知識解決難題一樣。
  4. 反覆練習: GenCast 會不斷重複這個「添加雜訊 - 去除雜訊」的過程,就像學生不斷練習,提高解題能力一樣,直到 GenCast 能夠準確地預測未來天氣。

GenCast 的「降噪神經網路」主要由三個部分組成:

  • 編碼器: 負責觀察和理解「天氣圖片」中的資訊。
  • 處理器: 負責分析資訊和去除雜訊。
  • 解碼器: 負責將分析結果表達出來,生成清晰的預測結果。

透過這樣的學習過程,GenCast 就能夠像一位經驗豐富的氣象學家一樣,準確地預測未來的 天氣變化。 

預報和熱帶氣旋路徑的視覺化。

上面這段文字和圖片,說明了 GenCast 預測颱風路徑的能力。

  • b-d 和 h-j 展示了 GenCast 預測的幾個樣本,每個樣本都代表一種可能的颱風路徑。
  • n-q 則展示了 GenCast 在預測「颱風哈吉比斯」路徑上的表現。

颱風哈吉比斯在 2019 年造成嚴重災害,GenCast 在颱風登陸前 7 天就開始預測它的路徑,當時預測的結果有很多種可能性,就像上圖中 n 中的藍色線條一樣,有很多不同的走向,這表示當時還不太確定颱風會怎麼走。

隨著時間推移,GenCast 獲取到的氣象資料越來越多,預測的結果也越來越準確,就像p、q 中的藍色線條一樣,越來越集中,表示 GenCast 對颱風的登陸時間和地點越來越有把握。

總之,GenCast 可以有效預測颱風路徑,而且預測的時間越接近颱風登陸,預測的結果就越準確。這對於防災減災工作非常有幫助,可以幫助人們提前做好準備,減少颱風帶來的損失。 

評估結果 

為了驗證 GenCast 的預測能力,研究人員進行了一系列的測試,結果發現 GenCast 的表現比目前最好的天氣預報系統 ECMWF 的 ENS 還要好!

GenCast 不僅預測得更準,而且預測速度也更快。

更重要的是,GenCast 成功滿足了機率天氣模型的三個關鍵要求:

  1. 預測結果更豐富: GenCast 可以生成多種可能的天氣變化過程,而不只是給出一個單一的預測結果。
  2. 預測更準確: GenCast 可以更準確地預測某個地點、某個時間的天氣狀況,例如更準確地預測下雨的機率。
  3. 預測更全面: GenCast 可以更準確地預測整個區域、甚至全球的天氣變化趨勢,以及不同天氣現象之間的相互影響,例如更準確地預測颱風的路徑和风力發電的效率。

GenCast 的第一個優點是:它能生成多種可能的天氣變化過程,而且每個過程看起來都很真實,就像真實世界的天氣變化一樣。

這和傳統的天氣預報模型很不一樣。傳統模型通常只會給出一個「平均」的天氣預測結果,就像告訴你「明天平均溫度是 20 度」,但實際上明天可能更冷或更熱,GenCast 則能提供更多可能性,例如「明天有 30% 的機率是 18 度,50% 的機率是 20 度,20% 的機率是 22 度」。

GenCast 的邊際預測分佈非常巧妙且經過良好校準。

GenCast 的第二個優點是:它可以更準確地預測特定地點和時間的天氣狀況,尤其是對於極端天氣事件,例如暴雨、乾旱、熱浪等,GenCast 的預測準確度比 ENS 更高。

這裡的「邊際預報分佈」指的是針對某個特定地點和時間的預測結果,例如預測「台北市明天中午 12 點的降雨機率」。GenCast 經過精密的校準和調整,可以提供更可靠的預測結果。

對於極端天氣事件,GenCast 的預測能力尤其重要,因為這些事件往往會造成嚴重的災害。GenCast 可以更準確地預測極端天氣發生的時間、地點和強度,幫助人們提前做好準備,降低災害帶來的損失。

GenCast 的第三個優點是:它可以更準確地預測整個區域、甚至全球的天氣變化趨勢,以及不同天氣現象之間的相互影響。

這一點在以下幾個方面的評估中得到了證實:

  • 彙集評估: GenCast 可以更準確地預測某個區域內所有地點的整體天氣狀況,例如預測整個台灣地區的平均降雨量。
  • 區域風電預測: GenCast 可以更準確地預測某個區域的風力條件,例如預測台灣西部沿海地區的風速和風向,這對於風力發電的效率和穩定性非常重要。
  • 熱帶氣旋路徑預測: GenCast 可以更準確地預測颱風的路徑,這對於沿海地區的防災預警非常重要。

GenCast 之所以能做到這一點,是因為它能夠捕捉「聯合分佈」中的空間和時間依賴性。

  • 空間依賴性: 指的是不同地點的天氣狀況會相互影響,例如台灣北部下雨可能會影響到中部地區的濕度。
  • 時間依賴性: 指的是今天的天氣狀況會影響到明天的天氣,例如今天的氣溫會影響到明天的降雨機率。

GenCast 能夠更好地捕捉這些複雜的關係,因此可以更準確地預測整個區域的天氣變化趨勢,以及不同天氣現象之間的相互影響。

GenCast 在區域風力和熱帶氣旋路徑預測方面優於 ENS。

展望未來

雖然 GenCast 已經表現得非常出色,但它還有改進的空間,仍然可以不斷學習和進步。未來,GenCast 可以從以下幾個方面進行提升:

  1. 提高解析度: 目前 GenCast 的解析度是 0.25°,也就是說它把全球分成一個個小格子,每個格子的大小是 0.25°。未來可以進一步縮小格子的大小,例如提高到 0.1°,這樣就能更精細地預測天氣變化,也能更好地支援更多應用場景。
  2. 降低計算成本: GenCast 是一種比較複雜的模型,需要大量的計算資源。未來可以探索一些新的技術,例如「提煉」和「效率技術」,來降低 GenCast 的計算成本,讓它能够更快地生成預測結果,並且消耗更少的能源。
  3. 使用更多資料: GenCast 是使用歷史氣象資料訓練出來的,未來可以加入更多的資料,例如更精細的觀測資料和更長期的歷史資料,來進一步提高 GenCast 的預測準確度。

這也強調了傳統天氣預報方法 (NWP) 的重要性。雖然 GenCast 是基於機器學習的新一代預報模型,但它仍然需要依靠傳統方法提供的資料來進行訓練和預測。 

結語 

總之,這項研究成果為天氣預報開闢了新的領域,有望在各種環境下提高預報的準確性、效率和可及性。

更廣泛地說,這項工作證明了,尖端的生成式人工智慧方法能夠捕捉複雜多變的天氣模式,並且具備足夠的準確性和可靠性,可以協助人們做出更有效的決策。

 

bigdatadigest
作者

大數據文摘(bigdatadigest)成立於2013年7月,專注數據領域資訊、案例、技術,在多家具有影響力的網站、雜誌設有專欄,致力於打造精準數據分析社群。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則