一种基于相似性搜索和LSTM神经网络的水位预测方法技术

本发明专利技术公开一种基于相似性搜索和LSTM神经网络的水位预测方法，根据待预测日前二十日的水位与此前所有历史水位数据进行比较，利用相似性搜索找出与其相近的一系列时间序列，将其作为训练集采用LSTM网络进行预测。该方法主要包括：数据预处理，旨在查补原始数据中的缺失及错误；水文时间序列快速相似搜索，在离线过程使用滑动窗口方法划分原始时间序列，再通过改进Chameleon聚类方法、最小距离方差法和学习过滤选择法选择合适的索引参考集，最后基于约束DTW距离对原始时间序列的每个位置进行嵌入索引计算形成最终的索引空间。本发明专利技术能够提前预测水位，为防洪抗灾工作提供有效的技术支持。

【技术实现步骤摘要】
一种基于相似性搜索和LSTM神经网络的水位预测方法
本专利技术涉及一种基于相似性搜索和LSTM神经网络预测水位技术，具体涉及对水位信息进行相似性搜索有效降低训练集的冗余以及利用LSTM神经网络进行预测的技术。
技术介绍
近年来，我国水文行业从传统水文向现代水文迈进，自动水文站观测技术快速推广，从人工手动记录水文数据资料记录到当前自动站每几分钟甚至每秒钟一次的数据记录，水文数据资料覆盖愈加全面。这些水文数据拥有数量大、类别杂、时空性、更新快等特点，同时，它们受到季节气候、地貌特征、水文规律等诸多条件影响，隐藏了很多有价值的规律和信息。如何对它们进行有力的分析，从中得到有用的信息从而服务于水文预报、洪水检测等成为人们关注的焦点。传统水文行业普遍根据水文环境和过程建立物理模型再加以人工经验进行预测。现今常用的水文时间序列预测模型存在一些缺点，基于统计学方法的时间序列预测模型需要基于一些归纳和假想情况进行模拟分析，会有不符合实际情况的可能性；灰色系统理论中，数据愈分散，准确度就愈低；最为常用的神经网络模型，BP网络易陷入局部最优解，单一ELM学本文档来自技高网...

【技术保护点】
1.一种基于相似性搜索和LSTM神经网络的水位预测方法，其特征在于，所述方法包括如下步骤：/n(1)获取待预测日前二十日及此前历史水位数据，并对数据预处理；/n(2)依据水文时间序列快速相似性搜索方法对已处理数据进行相似性搜索，得到K条与待搜索序列相似的序列组成训练集；/n(3)构建基于LSTM的神经网络模型，将相似性搜索结果作为训练集，通过网络模型进行训练预测。/n

【技术特征摘要】
1.一种基于相似性搜索和LSTM神经网络的水位预测方法，其特征在于，所述方法包括如下步骤：
(1)获取待预测日前二十日及此前历史水位数据，并对数据预处理；
(2)依据水文时间序列快速相似性搜索方法对已处理数据进行相似性搜索，得到K条与待搜索序列相似的序列组成训练集；
(3)构建基于LSTM的神经网络模型，将相似性搜索结果作为训练集，通过网络模型进行训练预测。


2.根据权利要求1所述的一种基于相似性搜索和LSTM神经网络的水位预测方法，其特征在于，步骤(1)中所述数据预处理方法包括：填补缺失数据、修正错误数据、平滑数据、标准化数据；
(1.1)所述缺失数据填补方法缺失值计算方法如下：缺失数据为单值时，采用均值插补法，其中xmiss为缺失值，miss为缺失值在数据中所处位置的下标，公式如下：
xmiss＝(xmiss-1+xmiss+1)/2，(公式1)
缺失数据为连续多值时采用线性插补法，其中xexist和xexist+m为已知值，两者中间缺失m个数据，缺失值xmiss(exist＜miss＜exist+m)公式如下：



(1.2)所述错误数据修正方法依据拉依达准则，确定数据集X,数值分布在(μ-3σ,μ+3σ)中概率为0.9973，μ为X的均值，σ为X的标准差。
(1.3)所述平滑数据方法对给定数据进行数据平滑操作。采用部分数据的加权和进行平滑处理，公式如下：



其中，0≤λ(n)≤1为衰减函数，表示其余数据对当前值的影响因子。
(1.4)所述标准化数据采用最小——最大标准化方法对原始数据进行线性变换，使结果下降到[0,1]区间内，转换函数如下：





3.根据权利要求1所述的一种基于相似性搜索和LSTM神经网络的水位预测方法，其特征在于：步骤(2)所述水文时间序列快速相似性搜索包括离线过程和在线过程：
(2.1)离线过程的具体步骤如下：
(2.1.1).根据查询序列长度(预测日期前二十日)将历史水位数据采用滑动窗口方法进行切割；
(2.1.2).基于改进Chameleon的参考序列集选择：具体是指对已经分割得到的序列集先基于改进Chameleon算法进行聚类，再通过最小方差距离法挑选出每一类中最具代表性的一条序列，最后通过学习过滤选择法确定索引的最终参考集。
(2.1.3)..基于约束DTW计算索引：根据步骤得到的最终参考集，使用约束DTW距离对原始时间序列进行索引向量计算，生成最终的索引空间。
(2.2)在线过程具体步骤如下：
(2.2.1).计算查询序列的索引，具体使用约束DTW距离计算查询序列与索引参考集中每条序列间的距离，将查询序列映射到索引空间中；
(2.2.2).对查询序列与索引空间中每一个位置的向量进行欧式距离计算，取距离最小的k个作为候选点集；
(2.2.3)对候选点集进行约束DTW计算得到最终的结果序列。


4.根据权利要求1所述的一种基于相似性搜索和LSTM神经网络的水位预测方法，步骤(2.1.2)基于改进Chameleon的参考序列集选择，其特征在于：
所述改进Chameleon聚类方法中，在构建K-最邻近图的阶段，采用欧几里得距离计算序列简单权值，确定一个度量阈值定义如下，稀疏图度量阈值将SPs中每一条序列SP...

【专利技术属性】
技术研发人员：万定生，周金玉，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32