基于局部注意力增强模型的径流预测方法技术

本发明专利技术涉及一种基于局部注意力增强模型的径流预测方法，属于时间序列预测领域。该方法包括：获取数据并进行预处理，将处理后的数据输入到训练完成的预测模型中，得到预测的径流序列；其中径流预测模型包括变量选择模块、局部信息增强模块、注意力模块和模型提取模块等。本发明专利技术预测模型考虑到径流周期长、变化趋势不规则，不同协变量对结果的影响程度的不同，利用变量选择模块对协变量进行加权，利用局部信息增强模块对径流序列的局部信息进行捕获，使单个时间点的数据获得短期的变化趋势特征，并利用自注意力模块获取变化趋势之间的相似性和注意力信息，并合理设置编码器和解码器的深度以及模型提取模块，实现了在相同可用内存下更精确的预测。内存下更精确的预测。内存下更精确的预测。

【技术实现步骤摘要】
基于局部注意力增强模型的径流预测方法


[0001]本专利技术属于时间序列预测领域，涉及一种基于局部注意力增强模型的径流预测方法。

技术介绍

[0002]时间序列模拟与预测可为资源优化配置和防灾减灾起到重要的支撑作用。目前，主要分为以描述序列产生过程的物理驱动模型和以数据为基础的数据驱动模型。其中，物理驱动模型以数据相关物理概念为基础，着重刻画时间序列形成的复杂过程。具体到水文预测领域，模型通常需要考虑气象、地形、土壤等多种参数。在资料完备地区的径流预测中能够取得较好的预测效果，但由于不同地区的资料完备性存在较大的差异，且模型结构和参数的不确定性会产生相应的误差累计，此类模型受到了参数及未来气象要素输入条件的极大限制。相比之下，数据驱动模型不需要明确时间序列的物理产生过程，通过建立驱动因子与预测因子之间的函数关系同样能够产生很好的预测效果。因此，依靠数据驱动模型预测时间序列过程被认为是一种在数据不完备情况下简单、有效的预测方法。
[0003]目前，基于循环神经网络(RNN)的改进版长短时记忆网络等模型展示了多步预测的良好性能，但是受限于模型结构，循环神经网络始终具有因无法并行训练、梯度消失而导致的捕获序列长度问题。此外，基于卷积神经网络(CNN)的时间卷积网络(TCN)解决了并行训练的问题，但是依靠堆叠隐藏层而获得更大的感受野，导致需要更大的内存占用。因此TCN对长时间序列的捕获难以胜任。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于局部注意力增强模型的径流预测方法，提高预测模型的预测精度。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于局部注意力增强模型的径流预测方法，通过获取径流数据并对其进行预处理，将处理后的数据输入到训练完成的预测模型中，得到预测的径流序列。其中，径流预测模型包括变量选择模块、局部信息增强模块、注意力模块和模型提取模块等。
[0007]本专利技术设计的径流预测模型考虑到径流周期长、变化趋势不规则等特点，考虑到不同协变量对结果的影响程度的不同，利用变量选择模块，对协变量进行加权，利用局部信息增强模块对径流序列的局部信息进行捕获，使单个时间点的数据获得短期的变化趋势特征，并利用自注意力模块获取变化趋势之间的相似性和注意力信息，并合理设置编码器和解码器的深度以及模型提取模块，实现了在相同可用内存下更精确的预测。
[0008]该方法具体包括以下步骤：
[0009]S1：准备数据集并预处理；
[0010]获取历史径流数据及相关协变量，按照时间维度对齐，并归一化处理，消除数据自身数值大小对模型的影响；然后按照训练集、验证集和测试集划分；
[0011]S2：将训练集输入到变量选择模块；变量选择模块通过门控残差网络等模块对输入变量进行变量加权，筛选出对结果贡献更大的相关协变量，优化数据对模型的影响，从而获得更好的预测精度；
[0012]S3：将时间序列进行位置编码：位置编码层对输入数据注入位置信息；
[0013]S4：将位置编码后的序列输入编码器
‑
解码器结构中；其中，编码器
‑
解码器结构包括局部信息增强模块、注意力模块和模型提取模块等，编码器的输出用于参与解码器的交叉注意力计算，解码器的输出为预测序列；
[0014]S5：对预测的结果采用平均绝对误差MAE和纳什相关系数NSE来计算损失函数；
[0015]S6：对训练模型设置初始学习率，并按Adam算法优化模型衰减学习率；
[0016]S7：使用验证集的数据验证训练效果，在验证集结果持续下降时提前停止训练，防止过拟合。
[0017]进一步，步骤S1中，日径流数据、大气环流指、海温指数以及其他指数可作为本方法的数据集。
[0018]获取径流数据的相关协变量，具体包括：使用Pearson相关系数法对变量进行初步筛选，并使用标准化处理；其中，预测对象Y和因子X间的Pearson相关系数计算公式为：
[0019][0020]其中，n为资料样本数，X
i
为X的第i个样本值，Y
i
为Y的第i个样本值，为X的样本均值，为Y的样本均值。
[0021]标准化处理，转化函数为其中μ为所有样本的平均值，σ为样本的标准差。使得每个数据为方差为1，均值为0。这样可以避免在变量选择层由于某些变量特征值纬度过大导致变量选择权重失衡。同时可以避免数据异常值、极端值造成的预测精度下降。
[0022]进一步，步骤S2中，所述变量选择模块包括门口残差块(Gated Residual Block，GRB)和Softmax函数；使得每个变量获得Softmax操作下的扁平化输入的权重；公式如下：
[0023][0024][0025][0026]其中，表示第j个变量在t时刻的变换后的输入，Ξ
t
表示t时刻的所有扁平化向量，为变量选择权重，为t时刻第j个变量经过GRB模块变换后的输出；我们注意到，每个变量都有自己的GRB模块，我们在所有的时间步t上共享权重，是t时刻所有变量经过变量选择模块的输出，m
x
表示变量的数量。
[0027]进一步，步骤S3中，位置编码层对输入数据注入位置信息，对应计算公式为：
[0028][0029][0030]其中，PE表示位置嵌入(Position Embedding)，pos表示数据在序列中的位置，d
model
表示PE的维度，2i表示偶数的维度，2i+1表示奇数的维度；使用这种方式可以更容易的计算出相对位置，对于固定长度的间距k，PE(pos+k)与PE(pos)的相对位置关系可以使用二角和差公式计算得到，计算公式如下：
[0031]sin(pos+k)＝sin(pos)cos(k)+cos(pos)sin(k)
[0032]cos(pos+k)＝cos(pos)cos(k)
‑
sin(pos)sin(k)
[0033]进一步，步骤S4中，所述局部信息增强模块使用时间卷积网络，对时间序列进行局部上下文捕获；所述注意力模块对时间序列进行全局的注意力计算；所述模型提取模块作用于编码器部分，对编码器的中间模型进行一维池化操作，减小堆叠的编码层模型大小。
[0034]更进一步，步骤S4中，模型的架构包括：可堆叠的编码器、解码器、编码层之间的模型蒸馏层以及输出层。编码器由时间卷积层、多头自注意力层、残差连接和层归一化构成，编码器能串联多层堆叠；解码器由时间卷积层、多头自注意力层、多头交叉注意力层、残差连接和层归一化构成，解码器能串联多层堆叠；解码器需要对预测序列位置进行0填充；其中，
[0035]所述时间卷积层使用卷积神经网络，并包含因果卷积、空洞卷积和残差模块等，用于学习短期的局部特征；所述因果卷积通过卷积层的堆叠来扩大感受野，学习到局部的序列信息；所述空洞卷积是在标准的卷积里注入空洞，以此来增加感受野；和传统卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部注意力增强模型的径流预测方法，其特征在于，获取径流数据并对其进行预处理，将处理后的数据输入到训练完成的预测模型中，得到预测的径流序列；所述径流预测模型包括变量选择模块、局部信息增强模块、注意力模块和模型提取模块；该方法具体包括以下步骤：S1：准备数据集并预处理；获取历史径流数据及相关协变量，按照时间维度对齐，并归一化处理；然后按照训练集、验证集和测试集划分；S2：将训练集输入到变量选择模块；变量选择模块通过门控残差网络对输入变量进行变量加权，筛选出对结果贡献更大的相关协变量；S3：将时间序列进行位置编码：位置编码层对输入数据注入位置信息；S4：将位置编码后的序列输入编码器
‑
解码器结构中；其中，编码器
‑
解码器结构包括局部信息增强模块、注意力模块和模型提取模块，编码器的输出用于参与解码器的交叉注意力计算，解码器的输出为预测序列；S5：对预测的结果采用平均绝对误差MAE和纳什相关系数NSE来计算损失函数；S6：对训练模型设置初始学习率，并按Adam算法优化模型衰减学习率；S7：使用验证集的数据验证训练效果，在验证集结果持续下降时提前停止训练，防止过拟合。2.根据权利要求1所述的径流预测方法，其特征在于，步骤S1中，获取径流数据的相关协变量，具体包括：使用Pearson相关系数法对变量进行初步筛选，并使用标准化处理；其中，预测对象Y和因子X间的Pearson相关系数计算公式为：其中，n为资料样本数，X
i
为X的第i个样本值，Y
i
为Y的第i个样本值，为X的样本均值，为Y的样本均值。3.根据权利要求1所述的径流预测方法，其特征在于，步骤S2中，所述变量选择模块包括门口残差块GRB和Softmax函数；使得每个变量获得Softmax操作下的扁平化输入的权重；公式如下：公式如下：公式如下：其中，表示第j个变量在t时刻的变换后的输入，Ξ
t
表示t时刻的所有扁平化向量，为变量选择权重，为t时刻第j个变量经过GRB模块变换后的输出；是t时刻所有变量经过变量选择模块的输出，m
x
表示变量的数量。4.根据权利要求1所述的径流预测方法，其特征在于，步骤S3中，位置编码层对输入数
据注入位置信息，对应计算公式为：据注入位置信息，对应计算公式为：其中，PE表示位置嵌入，pos表示数据在序列中的位置，d
model
表示PE的维度，2i表示偶数的维度，2i+1表示奇数的维度；对于固定长度的间距k，PE(pos+k)与PE(pos...

【专利技术属性】
技术研发人员：刘建伟，李正浩，赵迅逸，刘良辰，曾思栋，吴俊，唐述，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：