一种基于LSTM多状态向量序列到序列模型的径流预测方法技术

本发明专利技术涉及一种基于LSTM多状态向量序列到序列模型的径流预测方法，属于涉及数据驱动径流预测技术领域。为了更精确地进行径流预测，在长短期记忆人工神经网络LSTM下用序列到序列方式进行径流预测。首先准备数据集，并且进行数据的预处理，得到可用的序列数据；然后在将经过预处理的数据集划分成训练集、验证集、测试集三个互斥的部分；接着构建LSTM多状态向量序列到序列模型结构；最后定义损失函数、优化器，训练并测试模型。数据集上的试验结果表明，相对于已有的基于序列到序列的LSTM模型比较，本发明专利技术获得的径流预测结果具有较高的预测精度。

【技术实现步骤摘要】
一种基于LSTM多状态向量序列到序列模型的径流预测方法
本专利技术涉及数据驱动径流预测
，具体涉及一种基于LSTM多状态向量序列到序列模型的径流预测方法。
技术介绍
径流预测模型在水文科学中有着悠久的历史，使用回归方法预测径流的首次尝试可以追溯到170年前，在水文科学中是一个具有挑战性和重要意义的非线性时间序列问题。由于流域水文特征、流域边界条件、人类活动、降雨的时空分布等复杂因素的影响，导致了非常复杂的非线性水文过程。径流预测模型有许多方法，包括物理模型和数据驱动模型，这两种类型都有自己的特点。物理模型基于实际的物理过程但受限于简化的假设，难以模拟非线性的水文过程，也就难以进行精准的径流预测；基于神经网络的数据驱动模型可以模拟高度非线性的复杂系统，因此提供了进行精准径流预测的可能性。循环神经网络(RNN)考虑了时间序列的序列信息，因此可以记忆先前的信息并捕捉时间动态特征。然而，当我们用较长的时间序列来训练传统RNN时，它们会出现梯度爆炸和梯度消失的问题。长短期记忆网络(LSTM)是一种改进的RNN，随着时间的推移保持对时间状态的记忆，其三个非线性门控单元可以调节存储单元信息流入和流出，能够克服传统RNN梯度爆炸和梯度消失的弱点。此外，基于序列到序列的LSTM模型(LSTM-S2S)展现了多步超前预测的良好性能，然而由于其架构内部只有一个状态向量(如图3所示)，该向量包含当前预测时间时刻之后的冗余信息，也就是模型会使用之后时刻的气象信息预测当前时刻的径流，而径流的实际产生过程不会受到其后续气象信息的影响，所以使用一个状态向量的模型与实际不一致，因此对于某些复杂的站点或者流域的预测精度不够高。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于LSTM多状态向量序列到序列模型(LSTM-MSV-S2S)的径流预测方法，减少了对水文物理机制的依赖性，显著提升径流预测的精度。技术方案一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于步骤如下：步骤1：准备数据集收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据；步骤2：原始数据集的预处理预处理过程包括异常值处理、空值处理、标准化、数据序列化，然后将经过预处理的数据集按照年份划分出训练集、验证集、测试集三个互斥的部分；步骤3：构建LSTM多状态向量序列到序列模型模型整体架构包含五个部分，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层；步骤4：训练模型首先定义损失函数、优化器，然后前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重；模型进行多次迭代训练，在每次迭代中，用纳什效率系数NSE衡量其在验证集下的表现；步骤5：测试模型将测试数据集送入迭代后的模型中运行，得到预测结果，并根据真实数据对预测结果进行评估。本专利技术技术方案更进一步的说：所述步骤2中，对原始数据集预处理的标准化方法公式为：其中，ui表示标准化之后的数据，μ表示第i个特征xi在数据集上的均值，σ表示第i个特征xi在数据集上的标准差。本专利技术技术方案更进一步的说：所述步骤2中，对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：其中，zi表示序列化之后的第i个序列，xi表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。本专利技术技术方案更进一步的说：所述步骤3中，气象信息编码器、径流编码器、解码器都是由LSTM单元构造，每个LSTM单元的输入为当前时刻网络的输入xt、上一时刻的隐藏状态ht-1和上一时刻的单元状态ct-1，神经元的输出为当前时刻隐藏状态ht和当前时刻的单元状态ct；三种门控单元分别为遗忘门ft、输入门it、输出门ot，遗忘门决定了上一时刻的单元状态ct-1有多少信息保留到当前时刻ct，输入门决定了当前时刻网络的输入xt有多少保留到单元状态ct，输出门决定了控制单元状态ct有多少转化成隐藏状态ht，每个门的更新如下：输入门：it＝σ(Wixt+Uiht-1+bi)遗忘门：ft＝σ(Wfxt+Ufht-1+bf)输出门：ot＝σ(Woxt+Uoht-1+bo)单元状态输入：单元状态：隐藏状态：ht＝tanh(ct)⊙ot其中，Wi，Wf，Wo，Wc，Ui，Uf，Uo，Uc表示权重矩阵，bi，bf，bo，bc表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，⊙表示矩阵的元素相乘。本专利技术技术方案更进一步的说：所述步骤3中，状态矩阵由两个编码器的输出拼接而成，拼接公式是：其中(hn+1，hn+2，...，hn+m)是气象信息编码器的LSTM单元在最后m个时间步的隐藏状态形成的序列，h是径流编码器的LSTM单元在最后1个时间步的隐藏状态。本专利技术技术方案更进一步的说：所述步骤3中，全连接层对LSTM输出进行降维，将向量转化成标量，将解码器的输出序列(o1，o2，...，om)放入全连接层，就会得到最终的预测本专利技术技术方案更进一步的说：所述步骤4中，模型进行多次迭代训练，在每次迭代中，使用测试集数据评估模型性能，并且使用纳什效率系数NSE作为指标；NSE计算公式如下：其中m表示总时间，sim表示预测值，obs表示真实值，表示真实值在时间上的均值。有益效果本专利技术利用深度学习算法，减少了对水文物理机制的依赖性，有效扩大了模型的适用范围。在循环神经网络用于时序预测思想的启发下，针对现有模型对重要站点径流预测精度不够的问题，提出了一种新的基于序列到序列的LSTM模型。首先，使用LSTM充分利用先前较长时间段的水文特征数据和径流值数据，并且能够捕捉序列的时间模式。其次，利用两个编码器同时捕获气象信息和先验径流信息，提高了捕捉有效特征的能力；最后模型内部会生成多个状态向量供给解码器解码，更符合于实际中气象对于径流的影响。因此，综上所述，模型在大多数站点上具有较高的预测精度。附图说明图1是本专利技术一种基于LSTM多状态向量序列到序列模型的径流预测方法的一种具体实施方式流程图；图2是LSTM的结构示意图；图3是只有一个状态向量的LSTM-S2S模型结构示意图；图4是本专利技术一种基于LSTM多状态向量序列到序列模型的径流预测方法的网络结构模型。具体实施方式现结合实施例、附图对本专利技术作进一步描述：如图1所示，本方法主要包含以下步骤，具体如下：S1：准备数据集收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据，例如降水量、气温、蒸发量、压强等。S2：原始数据集的预处理为了获得序列到序列模型可用的数据，必须对原始数据集进行预处理，包括异常值处理、空本文档来自技高网...

【技术保护点】
1.一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于步骤如下：/n步骤1：准备数据集/n收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据；/n步骤2：原始数据集的预处理/n预处理过程包括异常值处理、空值处理、标准化、数据序列化，然后将经过预处理的数据集按照年份划分出训练集、验证集、测试集三个互斥的部分；/n步骤3：构建LSTM多状态向量序列到序列模型/n模型整体架构包含五个部分，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层；/n步骤4：训练模型/n首先定义损失函数、优化器，然后前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重；模型进行多次迭代训练，在每次迭代中，用纳什效率系数NSE衡量其在验证集下的表现；/n步骤5：测试模型/n将测试数据集送入迭代后的模型中运行，得到预测结果，并根据真实数据对预测结果进行评估。/n

【技术特征摘要】
1.一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于步骤如下：
步骤1：准备数据集
收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据；
步骤2：原始数据集的预处理
预处理过程包括异常值处理、空值处理、标准化、数据序列化，然后将经过预处理的数据集按照年份划分出训练集、验证集、测试集三个互斥的部分；
步骤3：构建LSTM多状态向量序列到序列模型
模型整体架构包含五个部分，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层；
步骤4：训练模型
首先定义损失函数、优化器，然后前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重；模型进行多次迭代训练，在每次迭代中，用纳什效率系数NSE衡量其在验证集下的表现；
步骤5：测试模型
将测试数据集送入迭代后的模型中运行，得到预测结果，并根据真实数据对预测结果进行评估。


2.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤2中，对原始数据集预处理的标准化方法公式为：其中，ui表示标准化之后的数据，μ表示第i个特征xi在数据集上的均值，σ表示第i个特征xi在数据集上的标准差。


3.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤2中，对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：



其中，zi表示序列化之后的第i个序列，xi表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。


4.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤3中，气象信息编码器、径流编码器、解码器都是由LSTM单元构造，每个LSTM单元的输入为当前时刻网络的输入xt、上一时刻的隐藏状态ht-1和上一时刻的单元状态ct-1，神经元的...

【专利技术属性】
技术研发人员：尹翰林，张秀伟，张艳宁，王繁杜，郭子龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61