一种基于深度学习的气象大数据融合方法技术

本发明专利技术公开了一种基于深度学习的气象大数据融合方法，包括：构建得到多源气象数据样本；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。本发明专利技术能够解决多源气象数据分辨率差异的问题。数据分辨率差异的问题。数据分辨率差异的问题。

【技术实现步骤摘要】
一种基于深度学习的气象大数据融合方法


[0001]本专利技术属于气象数据融合处理
，具体涉及一种基于深度学习的气象大数据融合方法。

技术介绍

[0002]目前，全球气候变暖对生态环境带来了严重影响，如极端灾害频发，沙漠化极速加剧等。为了预防生态环境的恶化，减少灾害带来的损失，必须深入研究引起气候变化的原因和机制。精准的气象数据是深入研究气象问题的基础。除了传统的气象观测站点以外，随着遥感技术的发展，专门用于气象观测的卫星的数量也与日俱增，随之也带来了大量的气象卫星观测数据。此外，耦合了地表各圈层且充分考虑了物理和生物过程的气候模式和地球系统模式也是研究气候变化的工具之一。为了解决更多的科学问题，这些模式一直处于持续更新中；与此同时，新的地球系统模式也在持续开发。气象观测数据（站点观测、遥感观测）和气象模式数据一起形成了包括如气温、降水、土壤湿度等多种气象要素的海量气象数据集，预计仅地球系统模式中的CMIP6数据量就将达到30PB。气象站点观测只能提供单一的点状数据，并不能提供空间面状数据；此外遥感气象观测资料由于受卫星重返周期和天气条件的影响，在时间上并不连续且在空间上也存在不少缺失值。
[0003]所以在进行研究时，往往使用多源气象数据进行研究，在使用这些数据的过程中主要存在以下几方面的问题1）多源气象数据空间分辨率不一致且粗糙。不同来源的气象数据分辨率不一致，以气候模式数据为例，除了高精度的区域气候模式之外，大多数模式数据高于2
°
。2）多源气象数据的不一致性，由于使用不同来源的气象数据，数据本身的系统误差都不相同，这会对最终结果产生不良的影响。 3）传统方法并不能有效利用多源气象数据包含的时空信息。以地球系统模式数据为例，我们在利用其进行研究时，多采取平均方法，这种方法的整体结果一般会优于单个模式的结果，不过在一些局地区域效果并不好。同时由于地球系统模式分辨率差异较大，在差值过程中也会造成信息的损失。

技术实现思路

[0004]解决的技术问题：本专利技术结合气象数据的大数据属性，提出了基于深度学习方法的气象大数据融合方法，能够解决多源气象数据分辨率差异的问题。
[0005]技术方案：一种基于深度学习的气象大数据融合方法，所述气象大数据融合方法包括以下步骤：S1，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本；S2，以RDN网络作为原始超分模型，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化；结合所有数据源的气象数据特征，气象数据存在大量的遥相关关系，在优化后的原始超分模型中改进相应的第一特征提取模块，一般特征提取采
用的是卷积神经网络，其感受野有限，并不能充分提取气象数据的遥相关特征，在第一特征提取模块中并行加入可形变卷积，来增加网络的感受野，来增强网络对这方面特征提取的能力；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；S3，采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；所述时空注意力模块用于计算多源气象数据的注意力分布，根据注意力分布计算注意力加权平均值，再根据注意力加权平均值得到气象数据的局部特征；S4，结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；超分模型主要由第二特征提取模块和超分变率模块组成，原始超分模型中的特征提取模块并不能学习气象数据的非局地特征和时间维度的特征，为了提取气象数据的这方面特征，将时空注意力模块加入到超分模型的特征提取模块之后，生成第二特征提取模块，采用第二特征提取模块来提取气象数据的非局地特征和时间特征。以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；所述气象数据融合模型包括依次连接的输入模块、特征提取模块、时空注意力模块、超分辨率模块、加法模块和输出模块；所述输入模块用于将t时刻前后指定时间范围内的气象数据样本按时序排列后，一方面导入特征提取模块进行局地特征提取，再通过时空注意力模块来提取气象数据的非局地和时间特征、将这些特征经过超分辨率模块和加法模块处理后发送至输出模块，由输出模块统一融合成第t时刻的融合气象数据；S5，将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。
[0006]进一步地，步骤S1中，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本的过程包括以下子步骤：S11，针对不同气候参数，对所有数据源的气象数据进行单位统一处理；S12，对统一单位后的气象数据进行归一化处理；S13，利用归一化后的气象数据构建训练样本，将其按照一定比例划分为训练集、测试集、验证集，生成多源气象数据样本数据集。
[0007]进一步地，步骤S12中，采用最大最小值归一化或者Z值归一化对统一单位后的气象数据进行归一化处理。
[0008]进一步地，步骤S2中，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化的过程包括以下子步骤：以RDN网络作为原始超分模型，对原始超分模型的输入输出部分进行优化，将输入通道扩充为N个，将输出通道缩减为1个；N为数据源的个数。
[0009]进一步地，步骤S2中，所述特征提取模块包括8个重复残差结构的卷积网络和并列的8个重复残差结构的可形变卷积网络。
[0010]进一步地，步骤S3中，采用聚焦式注意力机制构建时空注意力模块的过程包括以下步骤：S31，用来表示K组输入信息，引入查询向量q来表示对个输入气象数据的融合过程更加重要的信息；通过打分函数计算每一个气象数据和查询向量
之间的相关关系；使用注意力变量来表示所选信息的索引位置；S32，计算给定q和X，计算第k个气象数据的注意力分布概率：其中为注意力打分函数：，D为输入向量的数据纬度；注意力分布为第k个输入的气象数据受关注的程度；S33，根据下述注意力函数公式计算得到气象数据注意力分布加权平均：；S34，根据返回的特征图结果得到局部关注特征，返回的特征图结果在0
‑
1之间，越接近于1的代表该区域对最终数据融合结果影响越大。
[0011]进一步地，所述时空注意力模型首先在每个时刻都计算与参考帧之间的相似度，得到每个时刻特征图的注意力特征图，其次在空间上与参考帧进行乘积操作，调整不同时刻影响在数据融合任务中的所占权重比重，再次将所提取到的特征图进行融合，最后通过金字塔结构在不同尺度获取空间注意力特征图，经过上采样得到经过时空注意力机制的特征图。
[0012]有益效果：第一，本专利技术的基于深度学习的气象大数据融合方法，引入深度学习超分技术实现高分辨率融合，能够解决多源气象数据分辨率差异的问题，在进行融合时，可以直接输入粗分辨率的数据，直接得到高分辨率的融合数据，尽量避免了由于向下插值而造成的信息损失。
[0013]第二，本专利技术的基于深度学习的气象大数据融合方法，引入局地注意力机制（local Attent本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的气象大数据融合方法，其特征在于，所述气象大数据融合方法包括以下步骤：S1，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本；S2，以RDN网络作为原始超分模型，结合数据源的特性和数据融合需求，对原始超分模型的输入输出部分进行优化；结合所有数据源的气象数据特征，在优化后的原始超分模型中增加相应的第一特征提取模块，增加的第一特征提取模块中并行加入有可形变卷积，用于充分提取气象数据的遥相关特征；根据不同气候变量的原始分辨率，以最大化信息保留效率为约束，选取相应的超分倍数，得到优化后的超分辨率模块；S3，采用聚焦式注意力机制构建时空注意力模块，根据不同气候变量的周期性特点，选择相应的时间步长；所述时空注意力模块用于计算多源气象数据的注意力分布，根据注意力分布计算注意力加权平均值，再根据注意力加权平均值得到气象数据的局部特征；S4，结合优化后的超分模型和时空注意力模块，构建得到气象数据融合模型；超分模型包括第二特征提取模块和超分变率模块，通过在第二特征提取模块中引入时空注意力模块，来提取气象数据的非局地特征和时间特征；以气候变量的分辨率最小为损失函数，采用多源气象数据样本对气象数据融合模型进行训练；所述气象数据融合模型包括依次连接的输入模块、特征提取模块、时空注意力模块、超分辨率模块、加法模块和输出模块；所述输入模块用于将t时刻前后指定时间范围内的气象数据样本按时序排列后，一方面导入特征提取模块进行局地特征提取，再通过时空注意力模块来提取气象数据的非局地和时间特征、将这些特征经过超分辨率模块和加法模块处理后发送至输出模块，由输出模块统一融合成第t时刻的融合气象数据；S5，将采集到的多个数据源的实时气象数据导入训练完成的气象数据融合模型，得到高分辨率的融合气象数据。2.根据权利要求1所述的基于深度学习的气象大数据融合方法，其特征在于，步骤S1中，从多个数据源获取气象数据，对多个数据源的气象数据进行预处理，构建得到多源气象数据样本的过程包括以下子步骤：S11，针对不同气候参数，对所有数据源的气象数据进行单位统一处理；S12，对统一单位后的气象数据进行归一化处理；S13...

【专利技术属性】
技术研发人员：王国杰，魏锡坤，姜彤，王艳君，路明月，王国复，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：