社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

机器学习 vs. 数值天气预报,AI 如何改变现有的天气预报模式

CDA数据分析师 • 6 月前 • 104 次点击  


By 超神经

数值天气预报是天气预报的主流方法。它通过数值积分,对地球系统的状态进行逐网格的求解,是一个演绎推理的过程。

然而,随着天气预报分辨率不断升高,预报时间逐渐延长,NWP 模式所需要的算力迅速增加,限制了其发展。另一方面,以人工智能为基础的数据驱动天气预报快速发展,在部分领域已经超越了传统方法。

现有的机器学习天气预报精度如何?人工智能又将如何改变天气预报?本文对比了几大数据驱动的机器学习天气预报模型后,对天气预报的未来发展作出了展望。
作者 | 雪菜
编辑 | 三羊

数值天气预报:450 亿偏微分方程组

数值天气预报 (NWP, Numerial Weather Prediction) 是天气预报领域的主流方法。早在 20 世纪初,Abbe 和 Bjerknes 就提出人们可以使用物理定律预测天气,以当前的天气状况为初值,进行积分便可以求解未来的天气。但彼时对气象学的研究还不够深入,计算水平也相对落后,这一设想未能实现。

1950 年,普森林顿大学首次尝试使用第一台电子计算机进行了天气后报。1954 年,在斯德哥尔摩首次实现了实时的天气预报。

在每个网格单元中求解基于物理定律的微分方程组

直到 20 世纪 70 年代,超级计算机问世,人们方能求解 Abbe 和 Bjerknes 提出的整套方程。1979 年,欧洲中期天气预报中心 (ECMWF) 编制了首份中期天气预报,开启了综合预报系统 (IFS, Integrated Forecasting System) 的篇章。

然而,Edward N.Lorenz 总结前人的经验,提出天气系统是一个混沌系统,会因变量的细微变化而发生巨大的改变。另一方面,人们对于气象系统的初始状态也很难完全掌握。为此,学界使用集合预报 (Ensemble Forecasting) 以最大限度降低初始参数和预测模型的不确定性,预测结果的集合即为概率预报的基础。 

降水概率的集合预报示意图

随着数值模型、超级计算、数据同化和集合预测等技术的发展,数值天气预报的精度不断提高,预测时间也由 3 天、5 天逐渐提升至 7 天甚至 10 天。

南、北半球 (SH, NH) 的天气预报技术随时间的演进

目前,欧洲中期天气预报中心的预报模式需要对每一水平层的 200 万个网格,以 10 分钟的步长进行 10 天的预报,每天运行 2 次。因此,他们需要在 2.5 小时内,完成约 400 亿个网格的运算,需要很高的计算成本。

高昂的计算费用阻碍了数值天气预报方法的进一步发展。如何在模型分辨率和集合规模之间找到平衡,成了限制集合预报的桎梏。

数据驱动的机器学习方法崛起

近期,数据驱动 (Data-Driven) 的机器学习 (ML, Machine Learning) 在天气预报中展现出了巨大的潜力。2022 年以来,天气预报领域的机器学习模型取得了一系列突破,部分成果可以与欧洲中期天气预报中心的高精度预测匹敌。

数据驱动的天气预报推理依赖于机器学习模型,而非综合预报系统 (IFS) 中的物理模型,其预测速度较传统方法提升了几个数量级。此外,基于机器学习的天气预报是归纳推理的结果,而非传统的演绎推理。这种逻辑学的范式转变改变了天气预报的解释方式——这些结果是从以前的数据中学习而来的,因此更具说服力

数据集:1940 年至今 0.25° 的再分析数据

数据驱动模型的出现归功于大规模、高质量的气象学开放数据集。现有的机器学习天气预报模型,训练于欧洲中期天气预报中心的第五代再分析数据,ERA5 再分析数据集。2016 年现版本综合预报系统 (IFS) 问世时,对 1940 年至今的天气数据进行了再分析,得到了分辨率 0.25° (30 km) 的 ERA5 数据集。

FourCastNet:与 IFS 精度相当的 DL 模型

2022 年,NVIDIA 发布了 FourCastNet,基于傅立叶预测神经网络,首次进行了分辨率为 0.25° 的深度学习天气预报。

FourCastNet 架构示意图

在提升分辨率的同时,FourCastNet 在异常相关系数 (ACC, Anomaly Correlation Coefficient) 和均方根误差 (RMSE, Root Mean Squared Error) 方面也没有落后传统的数值天气预报太多。

 FourCastNet 与数值天气预报的 ACC 和 RMSE 对比

以节点小时 (Node-Hour) 为单位,FourCastNet 的速度大约是传统数值天气预报模型的 45,000 倍,加上其在高分辨率下的准确性,使得超大规模的集合预报成本迅速降低。

GraphCast:基于 GNN 全球中期气象预报

GraphCast 是一种基于图神经网络 (GNN) 的神经网络,采用「编码-处理-解码」配置,共有 3,670 万个参数。

编码器通过单层 GNN 将输入网格中的变量映射到内部的多网格中。

多网格是一个空间均质的图,有着全球范围的高分辨率。多网格通过 6 次迭代正二十面体(包含 12 个节点,20 个面和 30 条边)形成,每次迭代会对网格进行精细化,将单个三角形划分为 4 个较小的三角形,并将其节点投影至球体上。最终多网格包含 40,962 个节点,及精细过程中所有图形的边,形成了包含不同长度的边的层级图。

处理器使用 16 个非共享的 GNN 层,在多网格上进行消息传递。解码器使用单层 GNN, 将处理器的学习特征从多网格映射回到经纬度系统中。

GraphCast 的框架

a-c:GraphCast 的输入-预测-迭代过程;
d-f:GraphCast 的编码-处理-解码配置;
g:多网格的精细化过程。

对比欧洲中期天气预报的高分辨率预报 (HRES),GraphCast 在 ACC 和 RMSE 上均更胜一筹。

GraphCast 和 HRES 的预测 RMSE (a&b) 和 ACC (c) 对比

在 32 台 Cloud TPU v4 设备上训练 3 周后,GraphCast 对 1979 年以来的 ERA5 数据进行了学习。随后, GraphCast 可以在 60 秒内在单台 Cloud TPU v4 设备上,生成分辨率 0.25° 间隔 6 小时的 10 日天气预报。

盘古:基于 ViT 的三维气象大模型

盘古气象大模型的输入输出均为三维的气象场。由于气象场的经纬度分布不均匀,盘古气象大模型使用了三维的 Vision Transformer (ViT) 对气象数据进行处理,精度首次超过了主流的综合预报系统 (IFS)。

三维 Vision Transformer 架构

当预测时间长于 3 天时,从 RMSE 来看,盘古气象大模型和 IFS 的性能相当,均优于训练集 ERA5。

不同模型的对 T850 和 Z500 的预测性能对比

  a&b:分别为不同模型预测 T850 和 Z500 时的 RMSE;
  c&d:分别为不同模型预测 T850 和 Z500 时的活动强度;
  e&f:分别为不同模型预测 T850 和 Z500 时的偏差。

综上所述,数据驱动的机器学习天气预报,在预测精度上与传统的数值天气预报模式接近,然而运算设备和运算速度远超数值天气预报模型,说明 AI 天气预报在实际应用中有相当的潜力。

机器学习和数值预报 = 精度 + 速度

在天气预报的内部和外部,机器学习都在以惊人的速度不断发展。欧洲中期天气预报中心一直在关注数据驱动天气预报的快速崛起,包括 NVIDIA、华为和 Deepmind。

「FourCastNet 是第一个基于 AI 的分辨率达到 0.25° 的天气预报系统,也是第一个开源的天气预报系统。我们的新版本显著提高了模型的中期性能和长期稳定性,并希望通过神经算子框架,实现超分辨率。」NVIDIA Earth-2 团队的 Anima Anandkumar 说道。

欧洲中期天气预报中心将这些机器学习模型,和稳定的数值模型一起呈现给了用户,邀请他们从应用侧对系统的操作和性能进行评估。模型的准确性、可靠性、不确定性和交互性是评估气象产品质量和有效性的关键因素。

为此,欧洲中期天气预报中心公开了 FourCastNet、PGW 和 GraphCast 基于 IFS 初始条件的预测结果。Florian Pappenberger 表示,「开放是创新、合作和探索的关键。通过共享数据、方法和结果,进行对比和分析,就能够加速科学发展,最终造福社会。

三个气象 AI 的公开数据

在欧洲中期天气预报中心的对比中,可以看到基于 AI 的天气预测,在部分性能上已经可以与数值天气预报媲美,将在未来发挥着重要作用。然而,这些模型尚没有综合预测能力,这是中长期尺度上提供有价值预测的关键。

开放获取、对比优化、便携易得,AI 正将自己的优势渗透进入传统的天气预报当中。在将天气预报从超级计算机解放出来的同时,AI 在极端气候事件上也有着不俗的表现。相信 AI 能够同数值天气预报一起,革新天气的预报方式,为农林牧渔、航海航天事业的发展贡献出自己的力量。

参考链接:
[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml
[2]https://cir.nii.ac.jp/crid/1573668925699683328
[3]https://www.nature.com/articles/nature14956
[4]https://arxiv.org/abs/2202.11214
[5]https://arxiv.org/abs/2212.12794
[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html
[7]https://arxiv.org/abs/2307.10128

—— 完 ——


了解更多数据分析知识、与更多优秀的人一起进群交流请扫码


群码过期或者群满请添加客服微信 CDAshujufenxi 后拉您进群


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/164918
 
104 次点击