一种基于注意力机制的双元素融合时空预测方法技术

本申请提供了一种基于注意力机制的双元素融合时空预测方法，其解决了现有的时空预测方法的预测精度不够的技术问题；包括使用双元素输入模块，对双元素数据进行标准化处理，消除数据各维度之间的数量级差异，使数据能够被缩放到标准区间范围；使用

【技术实现步骤摘要】
一种基于注意力机制的双元素融合时空预测方法


[0001]本申请涉及一种双元素融合时空预测方法，更具体地说，是涉及一种基于注意力机制的双元素融合时空预测方法
。

技术介绍

[0002]海洋要素表面数据的获取主要有直接观测和卫星遥感两种手段
。
直接观测通过浮标采集数据，其具有采样精确
、
低成本和实时上传等特点，但受限于海况多变
、
仪器设备维护等多因素影响，覆盖范围较小
。
卫星遥感以微波和红外的观测方式为主，其覆盖范围较广，分辨率高
。
海洋要素观测数据的日益积累和精进，为以数据驱动为核心的预测方法奠定了数据基础，是目前研究和观测海洋要素的一个重要手段
。
[0003]深度学习网络已逐渐应用于海洋要素表面数据的时空预测，通过预测太平洋海域海表温度（
SST
）的变化对判断厄尔尼诺的形成尤为重要，以便预防海洋灾害和减少经济损失
。Liu
等人提出一种卷积长短期记忆神经网络（
ConvLSTM
），使用
CNN
从历史时间的温盐数据中提取相关特征，再用
LSTM
网络进行
SST
的预测
。Xu
等人提出了具有时空信息处理能力的区域卷积长短期记忆理论模型
(RC
‑
LSTM)
，解决了区域信息的丢失问题，并在中国沿海进行了实验
。Gou
等人使用多层感知器<br/>(MLP)
的生成模块和多变量卷积
LSTM (MVC
‑
LSTM)
神经网络的预测模块，提出一个通用的时空海洋深度学习框架（
DeepOcean
）
。
[0004]然而，海洋环境要素预测的难点是海洋动力过程是复杂的和非线性的，尤其是厄尔尼诺形成时，
SST
的变化比较特殊，使预测更具有挑战性
。
以上方法均未考虑其他海洋要素对
SST
变化的影响，无法实现多要素之间相关特征的融合
。
因此，增加多元素特征对提高
SST
的预测精度至关重要
。

技术实现思路

[0005]为解决现有时空预测方法的预测精度不足的问题，本申请采用的技术方案是：提供一种基于注意力机制的双元素融合时空预测方法，包括：使用双元素输入模块，对双元素数据进行标准化处理，消除数据各维度之间的数量级差异，使数据能够被缩放到标准区间范围；使用
3D
卷积模块，提取元素隐藏的时间和空间信息；使用注意力融合模块，融合双元素之间的时间和空间特征，并为预测的海洋要素重新分配特征权重；使用卷积长短期记忆模块，捕获时间序列依赖关系，转换生成目标长度的预测特征矩阵；使用单元素预测输出模块，将预测特征矩阵映射到输出空间，再通过反标准化，将预测结果可视化；其中，双元素包括以
SST
作为的元素1，以
SLA
或
SSW
作为的元素
2。
[0006]优选地，对双元素数据进行标准化处理，具体标准化过程公式如下：
（1）
。
[0007]其中，
x
std
是范围在区间
[0,1]之间的标准化后数据，
x
max
和
x
min
是
[rows, cols]区域内原始数据的最大值和最小值，
x
i
是
[rows, cols]区域内每个位置
i
处的原始数据；得到的标准化数据形状为
(1, timesteps, rows, cols, 1)。
[0008]优选地，
3D
卷积模块，通过使用
Conv3D
单元来提取元素隐藏的时间和空间信息，输出的数据形状为
(1, timesteps, rows, cols, 40)。
[0009]优选地，注意力融合模块的实现过程包括：元素1通过维度置换
Transpose
，将数据的第1维和第4维置换，得到元素1的隐藏信息
H
i
；元素2通过连续的元素融合
Add、relu
激活函数
、Conv3D_A
单元
、sigmoid
激活函数和维度置换
Transpose
得到双元素的相关性特征权重；
[0010]通过位置乘法
Multiply
计算相关性特征权重和隐藏信息
H
i
的逐元素间的乘积，得到元素1的新特征
X
i
，它的数据形状为
(1, 40, rows, cols, timesteps)。
[0011]优选地，卷积长短期记忆模块进一步提取特征，捕获时间序列依赖关系，并转换生成目标长度的预测特征矩阵
。
[0012]优选地，卷积长短期记忆模块具体实现过程：元素1的新特征
X
i
先通过维度置换
Transpose
；经过2个
ConvLSTM 2D
层进行编码进一步提取特征；再经过转换生成目标层，转换生成目标长度
targetsizes
的预测特征矩阵；最后经过2个
ConvLSTM 2D
层进行特征解码，输出的数据形状为
(1, targetsizes, rows, cols, 32)。
优选地，单元素预测输出模块是将卷积长短期记忆模块输出的预测特征矩阵映射到输出空间，再通过反标准化，将预测结果可视化
。
[0013]优选地，预测结果可视化具体实现方式：使用
TimeDistributed (Dense)
全连接层，用非线性变换将提取的特征压缩映射到输出空间；通过反标准化处理，将预测结果可视化，输出元素1的
targetsizes
天预测结果
。
[0014]优选地，反标准化公式如下：（2）
。
[0015]其中，
x
std
是模型映射到输出空间上的范围在区间
[0,1]之间的标准化预测数据；
x
max
和
x
min
是
[rows, cols]区域内原始数据的最大值和最小值，其数值大小就是公式（1）中使用
x
max
和
x
min
的大小；
x
i
是
[rows, cols]区域内每个位置
i
处真实预测的可视化结果
。
[0016]本专利技术的有益效果，提供了一种基于注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
32)。7.
如权利要求1所述的基于注意力机制的双元素融合时空预测方法，其特征在于：所述单元素预测输出模块是将所述卷积长短期记忆模块输出的预测特征矩阵映射到输出空间，再通过反标准化，将预测结果可视化
。8.
如权利要求1所述的基于注意力机制的双元素融合时空预测方法，其特征在于：所述预测结果可视化具体实现方式：使用
TimeDistributed (Dense)
全连接层，用非线性变换将提取的特征压缩映射到输出空间；通过反标准化处理，将预测结果可视化，输出元素1的
targetsizes
天预测结果
。9.
如权利...

【专利技术属性】
技术研发人员：周志权，徐天亮，王晨旭，李迎春，李剑锋，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：