System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法技术_技高网

一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法技术

技术编号:40098436 阅读:9 留言:0更新日期:2024-01-23 17:18
本发明专利技术公开了一种基于大数据框架的SADBO改进MIM‑rwkv的气象预报方法,获取ERA5再分析数据、高分辨率WRF回顾性仿真模拟数据及气象站点观测数据并进行数据处理;基于处理后数据训练MIM‑rwkv网络模型,该模型的数据嵌入层、数据混合操作、门控阵列模块及像素重塑层充分考虑了输入数据的时间、空间及通道的维度特征,能够提供地面风的东西向及南北向分量高指标、高分辨率的预测结果;使用SADBO优化算法对MIM‑rwkv神经网络的超参数进行全局搜索,能够进一步提升神经网络的评估指标;MinIO对象存储服务、WebGIS框架及Kuzzle搜索引擎提供了对大规模的气象数据进行高效合理的存储、处理和分析的解决方案。

【技术实现步骤摘要】

本专利技术属于气象预报中的数值模式预报,具体涉及一种基于大数据框架的sadbo改进mim-rwkv的气象预报方法。


技术介绍

1、数值模式预报是一种基于数学和物理模型的天气预报方法,首先将大气、海洋、陆面等系统的动力学、热力学、湿气物理过程等描述为数理方程,然后采用数值方法如有限差分将方程组离散化,转化后在计算机上进行数值求解。利用现代计算机所具备的超高性能算力,视当前时刻的大气、海洋状态为初始条件、边界条件,基于时间步进进行积分求解离散化后的方程,模拟气象要素的演变过程,预测未来一段时间内的天气情况。由于对大气系统的认知不完整及计算资源的约束,数值模式预报存在先天局限性。大气系统内在的混沌特征导致计算误差会随着时间步进而增长,使预报误差不可避免地累积。而对流层和行星边界层等尺度较小的过程又难以在模型次网格内部直接解析,需要参数化方法来近似表达,引入了新的不确定性,从而导致传统数值模式预报的精确度不高。

2、由于气象系统的复杂性和混沌特性。传统的数值模式预报依赖所建立的数理方程和多年积累的经验进行建模,以充分表达大气过程的各种细节与不确定性,且伴随着观测仪器的进步和测量技术的发展,气象数据的收集速度和数据规模不断增加,不仅需要高性能的计算机平台,还需要提供庞大的硬盘存储空间。对传统的数据处理和存储方法带来了严峻的挑战。


技术实现思路

1、专利技术目的:本专利技术提出了一种基于大数据框架的sadbo改进mim-rwkv的气象预报方法,提供一种高扩展性和容错能力的大数据存储解决方法,支持高效的数据存储、处理、调用和分析等功能,sadbo优化算法用于寻找神经网络初始化参数的最优解;sadbo算法优化后的mim-rwkv神经网络模型生成高分辨率的风的东西向及南北向分量气象要素的预测结果,替代了传统的数值模式预报模型,省去了传统方法的后处理流程,提高了预测结果的评估指标。

2、技术方案:为实现本专利技术的目的,本专利技术所采用的技术方案是:一种基于大数据框架的sadbo改进mim-rwkv的气象预报方法,包括以下步骤:

3、获取再分析气象数据、回顾性仿真模拟数据以及气象站点观测数据,使用插值法将站点观测数据插值到再分析数据和回顾性仿真数据的缺失值;对预处理后的再分析数据、回顾性仿真数据及站点观测数据进行标准化处理;

4、部署minio对象存储服务框架、webgis框架及kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作;

5、构建mim-rwkv网络模型,使用sadbo群智能优化算法对mim-rwkv网络模型的初始化参数进行全局寻优,使用插值后的再分析数据、回顾性仿真数据及站点观测数据作为模型输入训练获得mim-rwkv网络模型最佳参数权重;

6、使用训练好的mim-rwkv网络模型根据输入的再分析数据、回顾性仿真数据及站点观测数据,得到地面风的东西向及南北向分量气象要素预测结果的评估指标。

7、进一步的,构建改进的mim-rwkv网络模型,具体步骤如下:

8、对输入数据进行数据嵌入操作,全连接层将输入数据转换为数据,全连接层中每个神经元都和前一层的所有神经元均相连;

9、图拉普拉斯矩阵变换层通过计算归一化拉普拉斯矩阵,对进行特征分解,选择特征分解后的前个最大特征值和特征向量构建降维数据;

10、其中,为单位矩阵,为邻接矩阵,为度矩阵,为对焦矩阵;位置编码层对输入数据进行编码,获得具有位置信息的数据:;

11、其中,为数据的位置索引,为输入数据的编码维度,和分别为在第位置上的第和的编码;

12、数据嵌入操作中的三个不同层的输出相加后所得到的数据即为mim-rwkv网络模型后续层的输入数据:;

13、输入到卷积及池化层,得到局部空间结构:;

14、输入进mim-rwkv门控单元阵列,mim-rwkv门控单元阵列处理步骤如下:

15、首先归一化层对输入数据进行层归一化操作,输入数据表示为,层归一化统计量定义为:

16、,,

17、,

18、其中,为输入数据的第个特征值,为归一化后的值,为输入数据的特征维度;对经过归一化操作后的数据分别进行、、、的类注意力机制的矩阵计算,定义公式为:

19、,

20、,

21、,

22、,

23、,

24、其中,表示第时刻,、、、分别表示接收单元、位置权重衰减单元、键单元和值单元,、、、分别表示、、、单元在时刻的输出;为经过归一化操作后的数据;、、、分别为、、、单元的权重矩阵;表示token-shift,token-shift操作由输入数据和前一个时序的输入数据得到,、、分别表示、、单元的token-shift操作的输出值;为经过rwkv模块后的输出数据,为输出单元的权重矩阵,为激活函数;

25、mim-rwkv门控单元模块包括两组功能相同的候选记忆单元、输入门、遗忘门、输出门,分别表示为、、、和、、、,整体定义公式为:

26、,

27、,

28、,

29、,

30、,

31、,

32、,

33、,

34、,

35、,

36、,

37、,

38、其中,表示第时刻,、、、和、、、分别表示两组候选记忆单元、输入门、遗忘门、输出门在时刻的输出,为经过rwkv模块后的输出数据,、分别为、时刻记忆单元状态,、分别为状态单元在、时刻的输出,、分别为时空输入单元在、时刻的输出;、、、分别为候选记忆单元、输入门、遗忘门、输出门中的权重,、、、分别为候选记忆单元、输入门、遗忘门、输出门中的权重,为输出门中的权重,、、分别为候选记忆单元、输入门、遗忘门中的权重,、、分别为候选记忆单元、输入门、遗忘门中的权重,、分别为输出门中、的权重;、、、分别为候选记忆单元、输入门、遗忘门、输出门的偏置,、、、分别为候选记忆单元、输入门、遗忘门、输出门的偏置;、为激活函数,为门控单元阵列输出的隐藏状态;为卷积操作,为哈达玛积;

39、门控单元阵列输出数据经过全连接层、卷积层及像素重塑层后的输出即为风的东西向及南北向分量的预测结果。

40、进一步的,使用模拟退火改进蜣螂算法sadbo优化mim-rwkv神经网络初始化参数,包括全连接层深度、层级神经元数量及卷积层的卷积核参数,具体步骤如下:

41、step1:蜣螂算法将s个种群分为四种不同的代表,每个种群均包含n个代表,每个代表为全连接层深度、层级神经元数量和卷积层的卷积核参数的方案,具体为卷积核尺寸、步长及填充、全连接层深度以及层级神经元数量;

42、step2:使用模拟退火算法对蜣螂算法进行优化,蜣螂算法中种群各参数及种群各代表行为公式的参数作为模拟退火算法的解空间,步骤如下本文档来自技高网...

【技术保护点】

1.一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,构建改进的MIM-rwkv网络模型,具体步骤如下:

3.根据权利要求1所述的方法,其特征在于,使用模拟退火改进蜣螂算法SADBO优化MIM-rwkv神经网络初始化参数,包括全连接层深度、层级神经元数量及卷积层的卷积核参数,具体步骤如下:

4.根据权利要求1-3任一所述的方法,其特征在于,部署MinIO对象存储服务框架、WebGIS框架及Kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作:

【技术特征摘要】

1.一种基于大数据框架的sadbo改进mim-rwkv的气象预报方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,构建改进的mim-rwkv网络模型,具体步骤如下:

3.根据权利要求1所述的方法,其特征在于,使用模拟退火改进蜣螂算法sadbo优化...

【专利技术属性】
技术研发人员:秦华旺刘思凡
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1