一种基于未确知滤波法的数据处理方法、设备及存储介质技术

本发明专利技术属于数据监测技术领域，具体涉及一种基于未确知滤波法的数据处理方法、设备及存储介质。一种基于未确知滤波法的数据处理方法，包括：监测序列输入，通过预设的粒子群算法确定最优分段数值m；根据所述最优分段数值m对所述检测序列进行分段处理，获得多个数据段；对多个所述数据段进行未确知滤波处理；根据预设算法，对每一个所述数据段进行粗差识别并剔除粗差数据，输出剔除粗差数据的处理结果；通过预设的拉格朗日插值法对所述处理结果进行数据填补，获得准确监测数据。将监测数据中的粗差数据剔除，更加方便监测到异常数据，提高监测结果准确性。监测结果准确性。监测结果准确性。

【技术实现步骤摘要】
一种基于未确知滤波法的数据处理方法、设备及存储介质


[0001]本专利技术属于数据监测
，具体涉及一种基于未确知滤波法的数据处理方法、设备及存储介质。

技术介绍

[0002]边坡滑坡之所以会带来巨大损失，事先难以知道滑坡发生的时间、地点、规模和强度等是其重要原因，所以对于边坡滑坡，重点就在于边坡监测及预测。滑坡监测指标包括地质宏观形迹、地面位移、深部位移、化学场等监测指标。其中，在对边坡地表状态的监测中，形变是边坡状态发生变化最显著的参量，最能体现边坡的变化状况和发展趋势，大量试验研究表明，位移参数不但容易量测量，同时对于边坡的形变特征也能有良好反映，不仅如此，结合岩土蠕变理论作为理论基础还可以判定边坡形变程度，进而判断滑体的稳定性，进行时间预报，判断滑动速度，确定滑动位移、灾情大小等，因此，位移监测在整个边坡位移监测系统中占据重要位置。
[0003]而监测数据的可靠性对位移边坡监测系统的准确性以及后续利用位移监测数据对边坡安全性评价起着决定性作用，但大量研究表明：在监测数据的获取过程中，异常数据的出现是必然的，统计大量历史监测数据结果后发现在观测结果中存在着约的异常数据。其中，异常数据可以细分为粗差和异常值，粗差是由于观测中操作人员操作不当、外界条件剧烈变换、仪器失稳等原因引起的误差，粗差的存在会影响后续边坡安全性评价的准确度；而异常值是被监测体发生了显著变化而表现出的数据异常，如果在监测过程中能够准确识别出异常值，就可以对边坡的状态进行判断，在一定程度上能够杜绝边坡安全隐患。
[0004]由上述分析可知，粗差和异常值对监测分析工作的影响和意义具有本质区别，所以在对监测数据进行分析和预测之前，应该对原始监测数据进行预处理实现粗差和异常数据的分别，剔除监测数据中的粗差并保留异常数据。
[0005]粗差和异常值同为异常数据，从数据外观上来看，两者均表现为在数值上与正常监测数据相比有较大的差异。很多处理粗差或异常值的方法并没有明显的区分界限，可以通用，这就产生了不能区分粗差和异常值的问题。比如实际工作中最常用的莱因达准则和模型三倍中误差准则分别用于探测粗差和判定异常值，这两种方法本质上是属同一种方法，都基于最小二乘理论，用同一种方法处理两种不同性质的数据，缺乏合理性。

技术实现思路

[0006]本专利技术的目的是：旨在提供一种基于未确知滤波法的数据处理方法、设备及存储介质，用来将监测数据中的粗差数据剔除，更加方便监测到异常数据，提高监测结果准确性。
[0007]为实现上述技术目的，本专利技术采用的技术方案如下：
[0008]第一方面，本申请的实施例提供一种基于未确知滤波法的数据处理方法，所述方法包括：
[0009]监测序列输入，通过预设的粒子群算法确定最优分段数值m；
[0010]根据所述最优分段数值m对所述检测序列进行分段处理，获得多个数据段；
[0011]对多个所述数据段进行未确知滤波处理；
[0012]根据预设算法，对每一个所述数据段进行粗差识别并剔除粗差数据，输出剔除粗差数据的处理结果；
[0013]通过预设的拉格朗日插值法对所述处理结果进行数据填补，获得准确监测数据。
[0014]结合第一方面，在一些可选的实施方式中，通过预设的粒子群算法确定最优分段数值m，包括：
[0015]进行粒子群初始化设置，确定适应度函数，根据所述适应度函数迭代计算每一个个体对应的适应度函数值，根据所述适应度函数值确定所述个体的最优位置Pbest和群体最优位置Gbest，并更新所述个体的位置矢量X
i
和速度矢量V
i
，判断是否满足预设的退出迭代条件，确定最优分段数值m。
[0016]结合第一方面，在一些可选的实施方式中，所述粒子群进行初始化设置，包括：
[0017]对群体规模N，最大速度V
max
、权重因子以及迭代次数和终止条件以及对粒子的速度矢量和位置矢量进行随机初始化。
[0018]结合第一方面，在一些可选的实施方式中，所述更新所述个体的位置矢量X
i
和速度矢量V
i
，包括：
[0019]V
i
＝ω
×
V
i
+C1×
rand()
×
(Pbest
i
‑
X
i
)+C2×
rand()
×
(Gbest
i
‑
X
i
)
[0020]X
i
＝X
i
+V
i
[0021]其中，i＝1,2,...,N，N是粒子群中的粒子总数，rand()是介于(0,1)之间的随机数，C1和C2是学习因子，V
i
是粒子的速度矢量，X
i
是粒子的位置矢量，ω是惯性因子。
[0022]结合第一方面，在一些可选的实施方式中，所述预设的退出迭代条件，包括：
[0023]当进行迭代的次数达到预设的最大迭代次数时，退出迭代，确定此时所述分段参数m的数值；
[0024]或者，当观察到超过一定次数且算法结果不再提升时，退出迭代，确定此时所述最优分段数值m的数值。
[0025]结合第一方面，在一些可选的实施方式中，根据所述最优分段数值m的数值对所述监测序列进行分段，包括：
[0026]定义l表示数据段的起始数据作为原始数据序列中的第l个观测值，l值随V
i
在观测序列中的位置而变化，k表示分段之后该数据段的长度，令所述分段参数m为3的正整数倍，按照如下方式对数据段进行划分：
[0027]当i＝1时，取监测数据序列V
i
(i＝1,2,...,n)中第1至m/3+2个监测值作为参数ξ
i
的搜索区间，此时k＝m/3+1，l＝1；
[0028]1＜i≤m/3+1，取监测数据序列V
i
(i＝1,2,...,n)中第1至m/3+i+1个监测值作为所述参数ξ
i
的搜索区间，此时k＝m/3+i，l＝1；
[0029]m/3+1＜i≤n
‑
(m/3+1)，取监测数据序列V
i
(i＝1,2,...,n)中第i
‑
(m/3+1)至i+(m/3+1)个监测值作为所述参数ξ
i
的搜索区间，此时k＝2m/3+2，l＝i
‑
(m/3+1)；
[0030]n
‑
(m/3+1)＜i≤n，取监测数据序列V
i
(i＝1,2,...,n)中第i
‑
(m/3+1)至n个监测值作为所述参数ξ
i
的搜索区间，此时k＝n+m/3+1
‑
i，l＝i
‑
(m/3+1)；
[0031]i＝n，取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于未确知滤波法的数据处理方法，其特征在于：所述方法包括：监测序列输入，通过预设的粒子群算法确定最优分段数值m；根据所述最优分段数值m对所述检测序列进行分段处理，获得多个数据段；对多个所述数据段进行未确知滤波处理；根据预设算法，对每一个所述数据段进行粗差识别并剔除粗差数据，输出剔除粗差数据的处理结果；通过预设的拉格朗日插值法对所述处理结果进行数据填补，获得准确监测数据。2.根据权利要求1所述的一种基于未确知滤波法的数据处理方法，其特征在于：通过预设的粒子群算法确定最优分段数值m，包括：进行粒子群初始化设置，确定适应度函数，根据所述适应度函数迭代计算每一个个体对应的适应度函数值，根据所述适应度函数值确定所述个体的最优位置Pbest和群体最优位置Gbest，并更新所述个体的位置矢量X
i
和速度矢量V
i
，判断是否满足预设的退出迭代条件，确定最优分段数值m。3.根据权利要求2所述的一种基于未确知滤波法的数据处理方法，其特征在于：所述粒子群进行初始化设置，包括：对群体规模N，最大速度V
max
、权重因子以及迭代次数和终止条件以及对粒子的速度矢量和位置矢量进行随机初始化。4.根据权利要求2所述的一种基于未确知滤波法的数据处理方法，其特征在于：所述更新所述个体的位置矢量X
i
和速度矢量V
i
，包括：V
i
＝ω
×
V
i
+C1×
rand()
×
(Pbest
i
‑
X
i
)+C2×
rand()
×
(Gbest
i
‑
X
i
)X
i
＝X
i
+V
i
其中，i＝1,2,...,N，N是粒子群中的粒子总数，rand()是介于(0,1)之间的随机数，C1和C2是学习因子，V
i
是粒子的速度矢量，X
i
是粒子的位置矢量，ω是惯性因子。5.根据权利要求2所述的一种基于未确知滤波法的数据处理方法，其特征在于：所述预设的退出迭代条件，包括：当进行迭代的次数达到预设的最大迭代次数时，退出迭代，确定此时所述最优分段数值m的数值；或者，当观察到超过一定次数且算法结果不再提升时，退出迭代，确定此时所述最优分段数值m的数值。6.根据权利要求2所述的一种基于未确知滤波法的数据处理方法，其特征在于：根据所述分段参数m的数值对所述监测序列进行分段，包括：定义l表示数据段的起始数据作为原始数据序列中的第l个观测值，l值随V
i
在观测序列中的位置而变化，k表示分段之后该数据段的长度，令所述分段参数m为3的正整数倍，按照如下方式对数据段进行划分：当i＝1时，取监测数据序列V
i
(i＝1,2,...,n)中第1至m3+2个监测值作为参数ξ
i
的搜索区间，此时k＝m3+1，l＝1；1＜i≤m3+1，取监测数据序列V
i
(i＝1,...

【专利技术属性】
技术研发人员：黄扬帆，粟嘉伟，甘平，冯璐峰，叶婷，
申请(专利权)人：重庆大学，
类型：发明
国别省市：