一种基于相似性搜索的组合模型预测水位的方法技术

本发明专利技术公开一种基于相似性搜索的组合模型预测水位的方法，利用相关系数确定与待预测日相关的前几日水位作为待匹配序列，基于相似性搜索从历史数据中搜索出与待匹配序列不相似的一系列水位时间序列，将其从原始时间序列中排除后作为预测模型的训练集。该方法主要包括数据预处理，旨在填补空缺数据以及修复错误数据等；相似性搜索，利用动态弯曲距离和固定的滑动窗口技术，从往年的历史数据中剔除与待匹配序列不相似的一系列时间序列；组合预测模型，有两个基本模型：LM算法改进的BP神经网络和支持向量机，利用贝叶斯定理根据各基本模型在前一时刻的预测表现动态的调整其在当前预测中所占的比重。本发明专利技术能够实现防洪抗灾所需的高精度和实时性要求。

【技术实现步骤摘要】

本专利技术涉及，尤其涉及对水文水 位数据的预处理、利用相似性搜索有效的降低训练集的维度以及基于LM算法改进的BP神 经网络和支持向量机的组合预测方法，属于信息

技术介绍
随着时代的进步以及计算机的广泛应用，存储在计算机上的内容越来越多，如何 从这些海量的历史数据中挖掘出有用的信息服务于对未来的预测，同时还不会被历史数据 中的冗余、空缺和错误的信息干扰，成为人们比较关注的话题。尤其在水文领域，中国有大 量的水文测站，每个测站都有海量的历史数据，合理的利用这些历史数据能够有助于水文 的预测，从而为防洪调度等提供有力的技术支持。 目前存在很多预测水位的方法，但是他们都有一些缺陷。使用最广的是一些针对 特定流域所建立的水文方面的预测模型，比如新安江模型等，这些模型都有一定的适用范 围，并且只能被一些专业人员所掌握，因此适应性不强。其他就是一些主要针对水位数据本 身进行预测的方法，例如神经网络、支持向量机等。但这些模型的建立都依赖于训练集的 选取，由于神经网络的黑盒特性，想提高预测精度，更改神经网络本身比较困难，针对这种 缺陷，本专利技术对训练集进行优化，去除其中的冗余错误信息；而支持向量机不适用于大数据 集，本专利技术在不损失有用信息的基础上降低训练集的维度。利用相似性搜索对训练集进行 优化，还可以降低预测所需的时间，从而增强预测的实时性。
技术实现思路
专利技术目的：针对现有技术中存在的问题与不足，为提高预测的精度、实时性以及适 应性，本专利技术提供。 技术方案：，包括： a)数据预处理部分：主要包括处理空缺和错误数据。填补空缺数据时按照空缺数 据的种类分为四种，分别进行不同的填补操作；修正错误数据时，首先通过3 〇准则判断出 错误数据，然后根据错误数据的特征按照填补空缺数据的方法进行修正。 b)确定待匹配序列部分：利用相关系数从待预测日前几日的水位中挑选出与待 预测日相关的连续几日水位作为待匹配序列。 c)相似性搜索部分：将待预测日前的往年历史水位时间序列作为待搜索序列，利 用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序 列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模 型中。 d)组合预测模型部分：组合预测模型有两个基本模型，分别是基于LM算法改进的 BP神经网络模型以及支持向量机模型。分别将训练集输入到这两个模型中进行训练，确定 好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根 据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测 值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果。 有益效果：与现有技术相比，本专利技术所提供的一种基于相似性搜索的组合模型预 测水位的方法针对水文数据有较好的预处理方法，利用相似性搜索有效的降低了训练集的 维度并且没有丢失有利于预测的信息，本专利技术将基于LM算法改进的BP神经网络与支持向 量机模型相组合，让它们相互弥补，从而达到更好的预测效果，并且降低了预测时间。【附图说明】 图1为本专利技术实施例的方法流程图； 图2为本专利技术实施例的相似性搜索模块流程图； 图3为本专利技术实施例的基于LM算法改进的BP神经网络训练流程图； 图4为本专利技术实施例的支持向量机训练流程图； 图5为本专利技术实施例的组合预测模型流程图。【具体实施方式】 下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术 而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。 如图1为方法流程，包括以下部分： a)数据预处理部分：主要包括处理空缺和错误数据。根据水文水位数据的特性， 空缺数据可以分为四种：数据连续缺失超过15天、连续缺失8-15天、连续缺失4-7天和连 续缺失低于4天。第一种情况则删除当月的记录，第二种情况利用前后各两年的同期历史 水位的平均值代替，第三种情况用当月的平均值填补，第四种用近一周的平均值补充。对于 错误数据的修正，首先根据3 〇准则判断出错误数据，大约所有的正确数据（99. 74% )都在 区间（μ-3〇, μ+3〇)内，其中μ是数据的平均值，〇是数据的标准差，那么在这个区间 范围外的就有理由认为是错误数据了，找出错误数据后，判断出它们属于上述四种情况的 哪一个，再进行修正。 b)确定待匹配序列部分：利用相关系数从待预测日前几日的水位中挑选出与待 预测日相关的连续几日水位作为待匹配序列。例如求待预测日前一日与待预测日的相关 性，从待预测日所在年的前十年中分别找出待预测日前一日及待预测日同期的水位值，相 关系数计算公式如公式（1)所示，其中η = 10, X1代表前i年与待预测日前一日同期的水 位，Y1代表前i年与待预测日同期的水位，F代表这η年待预测日前一日同期水位的平均 值，7代表这η年待预测日同期水位的平均值，r就是X与y的相关系数。取r大于0. 7视 为与待预测日相关，从待预测日前一日开始往前寻找，当遇到第一个小于〇. 7时停止，得到 的那几个大于〇. 7的即为待匹配序列所对应的日期。 c)相似性搜索部分：将待预测日前的往年历史水位时间序列作为待搜索序列，利 用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序 列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模 型中。 d)组合预测模型模块：组合预测模型有两个基本模型，分别是基于LM算法改进的 BP神经网络模型以及支持向量机模型。分别将训练集输入到这两个模型中进行训练，确定 好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根 据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测 值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果。 如图2为相似性搜索模块示意图。包括如下步骤： 步骤101，按照上述步骤确定好待匹配序列后，将待预测日前的往年历史水位时间 序列作为待搜索序列，将这两个序列进行Min-Max标准化，将数据映射到之间，标准 化公式如（2)所示，其中max代表数据中的最大值，min代表数据中的最小值，X是原始时间 序列，X'是标准化后的时间序列：P): 步骤102,确定滑动窗口的长度为待匹配序列的长度，起始位置为所使用的历史数 据的起始时间； 步骤103,对于两个时间序列X = U1, X2,…，xj与Y = Iy1, y2,…，yj (其中η为 待匹配序列的长度），建立X与Y之间的距离矩阵D，其中d (Xl，yj)代表的是\与y j之间的 距离：(3) 步骤104,计算动态弯曲（DTW)距离填充矩阵，并标记对应序列的起始终止时间。 其中计算公式如下： 步骤105,判断滑动窗口的末尾是否到达了待预测日的前一日，如果没有则将滑动 窗口向后移一位继续步骤104,否则向下执行步骤106 ; 步骤106,比较得出大于阈值的距离，并记录对应的起始终止时间，阈值需根据所 选用的历史数据的数量决定，当数据量不大时可将阈值定为所有距离的中位数，当数据量 较大时，可将阈值定义为1 (所有的数据都已经本文档来自技高网...

【技术保护点】
一种基于相似性搜索的组合模型预测水位的方法，其特征在于，包括：a)数据预处理模块：主要包括处理空缺和错误数据；填补空缺数据时按照空缺数据的种类分为四种，分别进行不同的填补操作；修正错误数据时，首先通过3σ准则判断出错误数据，然后根据错误数据的特征按照填补空缺数据的方法进行修正；b)确定待匹配序列模块：利用相关系数从待预测日前几日的水位中挑选出与待预测日相关的连续几日水位作为待匹配序列；c)相似性搜索模块：将待预测日前的往年历史水位时间序列作为待搜索序列，利用动态弯曲距离从待搜索序列中查找与待匹配序列距离大于阈值的一系列序列，将这些序列及其后一日水位从训练集中剔除，剩下的序列将作为降维后的训练集输入到组合预测模型中；d)组合预测模型模块：组合预测模型有两个基本模型，分别是基于LM算法改进的BP神经网络模型以及支持向量机模型；分别将训练集输入到这两个模型中进行训练，确定好模型后，将待匹配序列的水位分别输入这两个基本模型，得到两个模型的预测值；然后根据贝叶斯定理，根据这两个基本模型上一时刻的预测表现分别赋予它们权重，最后的预测值则是两个基本模型的预测值分别乘以它们各自的权重后相加的结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：张鹏程，肖艳，马辉，孙颖桃，韩晴，曾金伟，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32