一种基于时间序列Transformer的海水表层温度预测方法技术

一种基于时间序列Transformer的海水表层温度预测方法，首先对海表温度历史数据进行高斯归一化处理，划分训练集和验证集，然后对编码器输入、解码器输入和输出标签进行设置，接着分别对编码器输入和解码器输入进行时序嵌入操作，并进行编码器层的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，以及解码器层的遮挡多头注意力层、多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，然后解码器输出经过一个线性全连接层得到网络输出，和海表温度观测进行比较，得到误差后向传播，微调网络，最后网络输出经过尺度逆变换，得到最终预测值。本发明专利技术时间序列Transformer能有效提升海表温度的长期预测表现。现。现。

【技术实现步骤摘要】
一种基于时间序列Transformer的海水表层温度预测方法


[0001]本专利技术涉及海水表层温度领域，尤其涉及一种基于时间序列Transformer的海水表层温度预测方法。

技术介绍

[0002]海水表层温度(以下简称“海表温度”)是全球海洋
‑
大气系统中最重要的参数之一，在海洋和大气之间的能量、动力和水分交换中起关键作用。准确预测海表温度可以帮助提取海洋表面流场、锋面位置和强度，还可以有助于检测海洋生态系统和评估系统的变异性。同时，对理解全球或局地气候变化、计划各种海上活动、提前识别潜在的极端天气等科学研究和应用至关重要[1
‑
8]。
[0003]当前，海表温度预测方法主要有数值模型方法、数据驱动方法和混合模型方法三类。
[0004](1)数值模型方法
[0005]基于复杂的物理过程，数值模型方法获取大空间的平均信息建立数学模型，从大气
‑
海洋的热传递过程描述海表温度变化。主要技术有：马尔科夫模型[9,10]、规范相关分析[11]、统计预测模型[12]、季节性预报技术[13]等。由于对海表温度发生发展的机理尚不能给出清晰的物理解释，故这类模型的构建一般并不准确，且相对复杂，计算成本高，比较适合用于大范围海表温度预测。
[0006](2)数据驱动方法
[0007]绕过复杂的数理形成、演化机制，数据驱动方法从数据本身特性及内部规律出发，预测海表温度。主要方法有：支持向量机[14]、遗传算法[15]、多级向量自回归模型[16]和神经网络[17
‑
26]。这类方法通过对大量已知样本进行训练，让计算机从数据中自行学习规则，进行新样本的预测。
[0008](3)混合模型方法
[0009]目前，混合模型方法主要是结合数值模型方法和人工神经网络，先计算数值模型估计和海表温度观测间的误差，然后利用小波神经网络进行海表温度误差的时间序列预测，最后将误差的预测值更新到数值模型估计值得到最终的海表温度预测结果[27]。由于使用了两种或两种以上的模型，这种方法最为复杂，计算资源耗费最多，耗时最久。
[0010]参考文献
[0011][1]Frank J.Wentz,Chelle Gentemann,Deborah Smith,and Dudley Chelton,2000.Satellite measurements of sea surface temperature through clouds.Science,288(5467),847
‑
850.
[0012][2]Timothy D.Herbert,Laura Cleaveland Peterson,Kira T.Lawrence,and Zhonghui Liu,2010.Tropical ocean temperatures over the past 3.5million years.Science,328(5985),1530
‑
1534.
[0013][3]Sara A.Rauscher,Xiaoyan Jiang,Allison Steiner,A.Park Williams,
Atmospheric and Oceanic Technology,33(8),1715
‑
1726.

技术实现思路

[0037]本专利技术的目的在于解决现有技术中的上述问题，提供一种基于时间序列Transformer的海水表层温度预测方法，受益于自注意力机制，经典Transformer在建模序列数据的长期依赖关系方面获得了巨大优势，但由于经典模型Transformer主要为自然语言序列处理而开发，可能不完全适用于海表温度等时间序列数据预测，本专利技术将时序嵌入经典Transformer模型，用于海表温度预测，有效提高海表温度的长期预测精度。
[0038]为达到上述目的，本专利技术采用如下技术方案：
[0039]一种基于时间序列Transformer的海水表层温度预测方法，包括以下步骤：
[0040]步骤1、选取海表温度历史数据作为训练验证数据集，作高斯归一化处理，并按照时间先后顺序，以7:1的数据量比例划分训练集和验证集；
[0041]步骤2、对时间序列Transformer编码器输入、解码器输入、输出标签进行设置；
[0042]步骤3、对时间序列Transformer编码器输入进行时序嵌入操作；
[0043]步骤4、经过嵌入的编码器输入经过第一个编码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，得到第一个编码器层输出；如果编码器有N个编码器层其中，N>1且是整数，第N
‑
1个编码器层输出作为第N个编码器层输入进行级联堆叠得到编码器输出；
[0044]步骤5、对时间序列Transformer解码器输入进行时序嵌入操作；
[0045]步骤6、经过嵌入的解码器输入经过第一个解码器层中的遮挡多头注意力层、残差连接和层归一化操作，得到的结果和编码器的输出一并通过第一个解码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，得到第一个解码器层输出；如果解码器有M个解码器层，其中，M>1且是整数，第M
‑
1个解码器层输出经过第M个解码器层中的遮挡多头注意力层、残差连接和层归一化操作，得到的结果和编码器输出一并通过第M个解码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，最终得到解码器输出；
[0046]步骤7、解码器的输出经过一个线性的全连接层得到时间序列Transformer网络输出，然后和海表温度观测进行比较，得到误差后向传播，微调网络权重和偏置；
[0047]步骤8、训练验证结束后，时间序列Transformer网络输出经过尺度逆变换，得到最终预测值。
[0048]步骤1中，高斯归一化处理后的训练验证数据集符合标准正态分布，高斯归一化处理的公式为：
[0049][0050]其中，y和y
*
分别表示高斯归一化前后海表温度数据，y
mean
表示高斯归一化前海表温度数据平均值，y
std
表示高斯归一化前海表温度数据标准差。
[0051]步骤2中，根据时间先后顺序，先将观测长度为seq_len的训练验证数据作为时间序列Transformer编码器输入，再将时间序列Transformer编码器输入中，从后往前数长度为label_len的训练验证数据和预测长度pred_len个0进行连接作为时间序列Transformer
解码器输入，最后将观测长度seq_len之后的观测长度pred_len的训练验证数据作为输出标签。
[0052]步骤3和步骤5中，对时间序列Transformer编码器输入和解码器输入的嵌入操作主要包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间序列Transformer的海水表层温度预测方法，其特征在于包括以下步骤：步骤1、选取海表温度历史数据作为训练验证数据集，作高斯归一化处理，并按照时间先后顺序，以7:1的数据量比例划分训练集和验证集；步骤2、对时间序列Transformer编码器输入、解码器输入、输出标签进行设置；步骤3、对时间序列Transformer编码器输入进行时序嵌入操作；步骤4、经过嵌入的编码器输入经过第一个编码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，得到第一个编码器层输出；如果编码器有N个编码器层其中，N>1且是整数，第N
‑
1个编码器层输出作为第N个编码器层输入进行级联堆叠得到编码器输出；步骤5、对时间序列Transformer解码器输入进行时序嵌入操作；步骤6、经过嵌入的解码器输入经过第一个解码器层中的遮挡多头注意力层、残差连接和层归一化操作，得到的结果和编码器的输出一并通过第一个解码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，得到第一个解码器层输出；如果解码器有M个解码器层，其中，M>1且是整数，第M
‑
1个解码器层输出经过第M个解码器层中的遮挡多头注意力层、残差连接和层归一化操作，得到的结果和编码器输出一并通过第M个解码器层中的多头注意力层、前馈神经网络层、以及残差连接和层归一化操作，最终得到解码器输出；步骤7、解码器的输出经过一个线性的全连接层得到时间序列Transformer网络输出，然后和海表温度观测进行比较，得到误差后向传播，微调网络权重和偏置；步骤8、训练验证结束后，时间序列Transformer网络输出经过尺度逆变换，得到最终预测值。2.如权利要求1所述的一种基于时间序列Transformer的海水表层温度预测方法，其特征在于：步骤1中，高斯归一化处理后的训练验证数据集符合标准正态分布，高斯归一化处理的公式为：其中，y和y
*
分别表示高斯归一化前后海表温度数据，y
mean
表示高斯归一化前海表温度数据平均值，y
std
表示高斯归一化前海表温度数据标准差。3.如权利要求1所述的一种基于时间序列Transformer的海水表层温度预测方法，其特征在于：步骤2中，根据时间先后顺序，先将观测长度为seq_len的训练验证数据作为时间序列Transformer编码器输入，再将时间序列Transformer编码器输入中，从后往前数长度为label_len的训练验证数据和预测长度pred_len个0进行连接作为时间序列Transformer解码器输入，最后将观测长度seq_len之后的观测长度pred_len的训练验证数据作为输出标签。4.如权利要求1所述的一种基于时间序列Transformer的海水表层温度预测方法，其特征在于：步骤3和步骤5中，对时间序列Transformer编码器输入和解码器输入的嵌入操作主要包括：(1)对编码器输入和解码器输入分别使用固定位置嵌入来保留局部上下文信息，具体
为：为：其中，pos表示位置，i表示维度，d
model
表示嵌...

【专利技术属性】
技术研发人员：戴昊，雷发美，商少平，张奚宁，林锐，章伟婕，
申请(专利权)人：厦门大学，
类型：发明
国别省市：