安全水平位移与水位的滑动可变窗口动态数据拟合方法技术

本发明专利技术公开了一种基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法。所述方法包括以下步骤：数据导入与预处理，导入水平位移与水位数据，将拟合所需要的数据导入到工作平台上，通过剔除空值和利用箱线图模型处理异常值进行数据预处理；选取最优模型，根据样本均方差选择最优模型，包括选择最优步长和最优函数模型；预测数据，用选择的最优函数模型所需预测当天前一天的值，与真实值进行比较得到误差值，计算出模型的精确程度，用所得到的模型对所需预测当天的水平位移进行预测；结果验证与报表生成，将已有预测值保存，与现有真实数据进行对比，用于评估当前函数模型和数据拟合方法，并对此次拟合方法得到的结果生成报表上报。

【技术实现步骤摘要】

本专利技术涉及一种数据拟合方法，具体涉及一种基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法，属于水库大坝安全监测

技术介绍
大坝安全监测对于水库能否正常运行至关重要，水库大坝安全监测要做到定时定点、规律系统，以观测数据的分析结果为主要依据，为水库安全运行提供服务。大坝的安全监测主要包括对大坝坝体的固定测点按照一定频率连续地进行仪器测量、对采集来的数据进行资料整编和分析，通过计算和查证原始观测数据来实现监测资料的连续性与准确性。大坝安全监测的目的是为了更好地节约水库建设维护的投资、尽可能大地发挥水库效益。大坝安全监测不只是为了保证被监测大坝的安全运营，还要对其他大坝包括待建坝安全运营、建设施工提供准确的实验依据和安全鉴定的数据指导。由此可见，每座水库的安全运营都离不开大坝安全监测工作，只有通过连续稳定的监测和分析才能及时发现各种问题，保证国家和人民的生命财产安全。大坝安全监测是对水利建筑工程安全的一种管理，主要包括了信息的采集、处理，结论的得出，措施的制定以及信息的反馈，而其最根本目的就是为了工程效益。对于大坝安全监测，安全阈值作为一项重要的参考数据对于监测分析具有重要意义。而需要求得精确的安全阈值，则需要精确的估计值，这就需要先进的数据拟合方法进行拟合计算。因此，如何计算出精确的估计值，选取最优的模型进行计算，为计算安全阈值数据支持，是数据拟合方法必须解决大问题，也是本专利技术所要解决的问题。
技术实现思路
专利技术目的：本专利技术是基于对大坝安全阈值的分析中得出的。为了计算出大坝的安全阈值需要对某一点的值进行估计，因而需要对大量数据进行拟合，从而得到一个精确的估计值，最终得到了一种基于滑动窗口动态的数据拟合方法。与以往的拟合方法不同，是基于滑动窗口的，可以动态的选取样本容量；同时，又可以动态的选取函数模型，根据样本的均方差值选取最优模型。最终获取到最优的模型，获得精确的估计值。技术方案：一种基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法，包括以下四个方面：(1)数据导入与预处理，导入水平位移与水位数据，将拟合所需要的数据导入到工作平台上，通过剔除空值和利用箱线图模型处理异常值进行数据预处理；(2)选取最优模型，根据样本均方差选择最优模型，包括选择最优步长和最优函数模型；(3)预测数据，用选择的最优函数模型预测所需预测当天前一天的值，与真实值进行比较得到误差值，计算出模型的精确程度，用选择的最优函数模型对所需预测当天的水平位移进行预测；(4)结果验证与报表生成，将已有预测值保存，与现有真实数据进行对比，用于评估当前函数模型和数据拟合方法，并对此次拟合方法得到的结果生成报表上报。所述内容(1)数据导入与预处理，导入水平位移与水位数据，将拟合所需要的数据导入到工作平台上，通过剔除空值和利用箱线图模型处理异常值进行数据预处理，具体为：(1.1)导入水平位移与水位数据，从原始数据库中读取需要处理的数据，主要为坝段测点、时间、水位数据和水平位移数据。(1.2)剔除部分本身有误的数据，对读取到的数据进行预处理，包括对空值的处理和对异常值的处理。根据条件“水位数据是否为空”和“水平位移数据是否为空”对水平位移数据和水位数据中出现空值的情况进行剔除，将剔除的数据保存到数据库异常值表中。利用箱线图原理对数据进行异常值处理，定义所选数据中水平位移数据的上下四分位数分别为Q1和Q3，定义四分点间距为IQR，将Q3+3IQR和Q1－3IQR之外的数据剔除，将剔除的数据保存到数据库异常值表中。所述内容(2)选取最优模型，根据样本均方差选择最优模型，包括选择最优步长和最优函数模型，具体为：(2.1)从步长下限开始，使用处在所选步长内的数据对候选模型分别进行拟合，得到对应的拟合的方程，用拟合方程计算所需预测日期的前一天的水平位移作为校验，得到校验误差，校验误差作为对模型的校验，可以分析模型本身的合理性以及预测的准确性；(2.2)从步长下限开始，计算使用处在所选步长内的数据对候选模型分别进行拟合得到的样本均方差，样本均方误差(RMSE)作为预测模型好坏的评判标准，其计算公式为：其中n为样本的数量，yi为当前的水平位移的估计值，为估计值的平均值，n-1即为计算一元回归分析时样本均方误差的自由度；(2.3)然后每次将样本量(即步长加1)，进行上述操作。如果增加样本量，样本均方误差减小，则将此时的样本均方误差更新为最新的样本均方误差RMSE_New并继续找最优模型，如果连续7次都没有更新两种方法的样本均方误差，根据概率学中在出现局部最优样本均方误差之后更新样本均方误差的概率小于0.003且在一次随机试验的过程中，这种小概率事件发生的概率近乎于0，将此时的RMSE_New及其对应的步长选取为局部最优值。所述内容(3)预测数据，用选择的最优函数模型所需预测当天前一天的值，与真实值进行比较得到误差值，计算出模型的精确程度，用所得到的模型对所需预测当天的水平位移进行预测；具体为：(3.1)将步骤(2.3)中得到的不同数学模型下的局部最优值以样本均方误差值作为模型拟合的衡量指标进行比较，取均方误差最小的拟合模型为最优模型，将其作为当日水平位移数据预测的参考模型。(3.2)在得到当日水位数据的情况下，使用已经选择的最优模型预测当日水平位移，根据实现设定的阈值标准，判断该测点当日水平位移是否在正常范围内。本专利技术采用上述技术方案，具有以下有益效果：1.滑动窗口具有可变性，可以根据选择的不同的点动态的选取样本容量；2.可以动态的选取函数模型，不同的点根据其数据特征选取更贴合自身的函数模型，获得模型更加精确；3.可以根据需求，动态加入新的函数模型进行计算。附图说明图1为基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法流程图；图2为基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法的样本均方误差的点图；图3为基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法的样本均方误差的直方图；图4为基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法的最优模型步长的数据分布图形；图5为基于大坝工程安全水平位移与水位的滑动可变窗口动态数据拟合方法的校验误差图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说本文档来自技高网...

【技术保护点】
一种安全水平位移与水位的滑动可变窗口动态数据拟合方法，其特征在于，包括以下步骤：(1)数据导入与预处理，导入水平位移与水位数据，将拟合所需要的数据导入到工作平台上，通过剔除空值和利用箱线图模型处理异常值进行数据预处理；(2)选取最优模型，根据样本均方差选择最优模型，包括选择最优步长和最优函数模型；(3)预测数据，用选择的最优函数模型预测所需预测当天前一天的值，与真实值进行比较得到误差值，计算出模型的精确程度，用所得到的模型对所需预测当天的水平位移进行预测；(4)结果验证与报表生成，将已有预测值保存，与现有真实数据进行对比，用于评估当前函数模型和数据拟合方法，并对此次拟合方法得到的结果生成报表上报。

【技术特征摘要】
1.一种安全水平位移与水位的滑动可变窗口动态数据拟合方法，其特征在
于，包括以下步骤：
(1)数据导入与预处理，导入水平位移与水位数据，将拟合所需要的数据
导入到工作平台上，通过剔除空值和利用箱线图模型处理异常值进行数据预处
理；
(2)选取最优模型，根据样本均方差选择最优模型，包括选择最优步长和
最优函数模型；
(3)预测数据，用选择的最优函数模型预测所需预测当天前一天的值，与
真实值进行比较得到误差值，计算出模型的精确程度，用所得到的模型对所需预
测当天的水平位移进行预测；
(4)结果验证与报表生成，将已有预测值保存，与现有真实数据进行对比，
用于评估当前函数模型和数据拟合方法，并对此次拟合方法得到的结果生成报表
上报。
2.根据权利要求1所述的安全水平位移与水位的滑动可变窗口动态数据拟
合方法，其特征在于，所述步骤(1)的具体步骤为：
(1.1)导入水平位移与水位数据，从原始数据库中读取需要处理的数据，
主要为坝段测点、时间、水位数据和水平位移数据；
(1.2)剔除部分本身有误的数据，对读取到的数据进行预处理，包括对空
值的处理和对异常值的处理；根据条件“水位数据是否为空”和“水平位移数
据是否为空”对水平位移和水位数据中出现空值的情况进行剔除，将剔除的数据
保存到数据库异常值表中。利用箱线图原理对数据进行异常值处理，定义所选数
据中水平位移数据的上下四分位数分别为Q1和Q3，定义四分点间距为IQR，
将Q3+3IQR和Q1－3IQR之外的数据剔除，将剔除的数据保存到数据库异常值
表中；
(1.3)样本选择，针对所选择的候选函数模型，根据拟合方法中步长至少
为4才能出现不完全拟合，符合实践需要，将步长(即样本量)下限设定为4，
拟合步长上限不做规定，但应不大于数据总条数。
3.根据权利要求1所述的安全水平位移与水位的滑动可变窗口动态数据拟
合方法，其特征在于，所述内容(2)根据候选模型进行拟合，通过对样本均方
差的比较确定最优模型；
(2.1)从步长下限开始，使用处在所选步长内的数据对候选模型分别进行
拟合，...

【专利技术属性】
技术研发人员：毛莺池，贾必聪，王久龙，朱沥沥，王龙宝，周晓峰，接青，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32