基于偶然误差特性的时间序列粗差探测方法及装置制造方法及图纸

本发明专利技术公开了一种基于偶然误差特性的时间序列粗差探测方法及装置，包括：根据时间序列拟合模型对原始数据时间序列进行拟合，得到R；计算R的绝对值，并将结果进行排序；选取rbin值对R进行分段；根据R<rbin分别进行正态分布拟合并求出不同rbin分段的σ

【技术实现步骤摘要】
基于偶然误差特性的时间序列粗差探测方法及装置


[0001]本专利技术涉及粗差探测方法
，具体涉及一种基于偶然误差特性的时间序列粗差探测方法及装置。

技术介绍

[0002]在时间序列预处理方面，Kleijer等以及Pernetti等利用DIA(Detection Identification Adaptation)程序对GPS坐标时间序列的异常值和中断进行了探测，发现GPS坐标时间序列中大约有6％的数据为粗差。目前，应用较广泛的粗差探测方法分为两类，一类是统计量粗差探测法，一类是非统计量粗差探测法。
[0003]统计量粗差探测法是基于观测数据的误差分布特征，构造与之相适应的粗差判别统计量，采用假设检验对粗差进行探测。其中常用的一个是经典3倍中误差(3σ)准则，另外一个是相对稳健的四分位距(Interquartile Range，IQR)准则，3σ准则的原理是当某一观测值与时间序列的均值的偏差大于3倍标准差时，则其判定为粗差，该方法当先验模型准确、所含粗差量较少的情况下效果较好，但其抗差能力较差，受粗差大小影响较大；IQR准则是一种稳健估计法，其样本中位数和样本IQR受粗差的影响较小，用它们分别代替统计方法中的平均值和标准偏差来进行总体估计，再通过稳健Z比分数统计量来探测数据中的极端异常值(粗差)。在3σ准则和IQR准则的基础上衍生出不少新的算法，Wang X等在2015年提出了数据驱动的奇异谱分析技术结合IQR准则的方法(SSA
‑
IQR)，明锋等在2016年提出了一种将L1范数(L1<br/>‑
norm)估计与四分位距统计量IQR(Inter Quartile Range)组合的移动开窗粗差探测算法，杨凯钧等在2015年提出了一种顾及偏态的IQR法则，吴浩等在2019年提出了一种基于小波分析的改进型3σ粗差探测方法，这些方法对传统的3σ准则及IQR准则做了改进，取得了一定效果。
[0004]非统计量粗差探测法主要以小波分析为主，它从小波变换后小波系数具有的模量极大值特性出发，寻找出观测数据的突变点来实现粗差探测，其在数据统计规律不明确的情况下，对粗差含量少、偏离度较大的数据序列具有一定的探测效果。但小波信号的奇异性分为两个类型：一是信号幅值发生突变，这是信号中的粗差；二是信号虽然光滑但其一阶微分不连续也引起信号小波变换后发生突变，因此难以判断序列奇异点是否是粗差点。
[0005]目前，对于粗差的处理常用方法有3σ准则和四分位间距(Inter Quartile Range，IQR)准则，这两种方法都属于统计量粗差探测法。3σ准则作为一种经典的粗差探测方法，其利用最小二乘法获得残差序列，再进行粗差探测。当先验模型准确、所含粗差量较少的情况下效果较好。但该方法很大程度上依赖于先验模型的准确度，且最小二乘估计的抗差干扰能力较差，其计算的残差容易受粗差污染，从而导致使用3倍中误差作为限差来剔除粗差的准则失去了功效。IQR准则是一种稳健估计法，其具有较好的抗差性，但对于离散度较大的观测数据，其四分位间距随之变大，使得稳健Z比分数统计量对于偏离度较小的粗差判定不够敏感，存在一定程度上的“误判”和“漏判”。因此，标准的IQR准则在GNSS时间序列探测上的准确性和可靠性受到质疑。

技术实现思路

[0006]为此，本专利技术实施例提供一种基于偶然误差特性的时间序列粗差探测方法及装置，以解决现有技术中存在的基于3σ准则和四分位间距准则的缺陷和不足的问题。
[0007]为了实现上述目的，本专利技术实施例提供如下技术方案：
[0008]第一方面，一种基于偶然误差特性的时间序列粗差探测方法，包括：
[0009]根据时间序列拟合模型对原始数据时间序列进行拟合，并得到时间时序的残差序列R；
[0010]计算残差序列R的绝对值，并将结果进行排序；
[0011]选取rbin值对残差序列R进行分段；
[0012]根据残差序列R&lt;rbin分别进行正态分布拟合，并分别求出不同rbin分段的σ
i
；
[0013]判断是否存在粗差；
[0014]若不存在粗差，则σ
i
服从同一正态分布，并随着rbin范围所包含的数据增多，σ
i
逐渐趋于固定值；
[0015]若σ
i
显现出不同趋势，则存在粗差，并对相邻σ
i
进行差分计算；
[0016]对σ
i
进行插值，并对其去趋势，得到不含趋势项的插值σ
i
；
[0017]通过局部峰值查找函数，确定查找差分结果表现出不同运动趋势时刻的σ
x
；
[0018]根据偶然误差分布特性进行粗差去除。
[0019]进一步的，所述时间序列拟合模型公式为：
[0020]设任意观测序列y(t
i
)，则：
[0021][0022]其中，i为坐标历元时刻标识；y(t
i
)为测站某一分量t
i
时刻的坐标；b为截距；v0为线性速度；m0为谐波个数；a
m
和b
m
是频率为f
m
时周期项的振幅；为随机噪声，即
[0023]进一步的，所述计算残差序列R的绝对值，并将结果进行排序时是按照从小到大的顺序进行排序的。
[0024]进一步的，所述选取rbin值对残差序列R进行分段时，rbin值在GNSS高精度解算中，水平方向可取至1mm。
[0025]进一步的，所述对σ
i
进行插值时可进行不同类型插值。
[0026]第二方面，一种基于偶然误差特性的时间序列粗差探测装置，包括：
[0027]拟合模块，用于根据时间序列模型对原始数据时间序列进行拟合，并得到时间时序的残差序列R；
[0028]排序模块，用于计算残差序列R的绝对值，并将结果进行排序；
[0029]分段模块，用于选取rbin值对残差序列R进行分段；
[0030]计算模块，用于根据残差序列R&lt;rbin分别进行正态分布拟合，并分别求出不同rbin分段的σ
i
；
[0031]判断模块，用于判断是否存在粗差；
[0032]若σ
i
服从同一正态分布，并随着rbin范围所包含的数据增多，逐渐趋于固定值，则
不存在粗差；
[0033]若σ
i
显现出不同趋势，则存在粗差并对相邻σ
i
进行差分计算；
[0034]去趋势模块，用于对σ
i
进行插值，并对其去趋势，得到不含趋势项的插值σ
i
；
[0035]查找模块，用于通过局部峰值查找函数，确定查找差分结果表现出不同运动趋势时刻的σ
x
；
[0036]粗差去除模块，用于根据偶然误差分布特性进行粗差去除。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偶然误差特性的时间序列粗差探测方法，其特征在于，包括：根据时间序列拟合模型对原始数据时间序列进行拟合，并得到时间时序的残差序列R；计算残差序列R的绝对值，并将结果进行排序；选取rbin值对残差序列R进行分段；根据残差序列R&lt;rbin分别进行正态分布拟合，并分别求出不同rbin分段的σ
i
；判断是否存在粗差；若不存在粗差，则σ
i
服从同一正态分布，并随着rbin范围所包含的数据增多，σ
i
逐渐趋于固定值；若σ
i
显现出不同趋势，则存在粗差，并对相邻σ
i
进行差分计算；对σ
i
进行插值，并对其去趋势，得到不含趋势项的插值σ
i
；通过局部峰值查找函数，确定查找差分结果表现出不同运动趋势时刻的σ
x
；根据偶然误差分布特性进行粗差去除。2.根据权利要求1所述的基于偶然误差特性的时间序列粗差探测方法，其特征在于，所述时间序列拟合模型公式为：设任意观测序列y(t
i
)，则：其中，i为坐标历元时刻标识；y(t
i
)为测站某一分量t
i
时刻的坐标；b为截距；v0为线性速度；m0为谐波个数；a
m
和b
m
是频率为f
m
时周期项的振幅；为随机噪声，即3.根据权利要求1所述的基于偶然误差特性的时间序列粗差探测方法，其特征在于，所述计算残差序列R的绝对值，并将结果进行排序时是按照从小到大的顺序进行排序的。4.根据权利要求1所述的基于偶然误差特性的时间序列粗差探测方法，其特征在于，所述选取rbin值对残差序列R进行分段时，rbin值在GNSS高精度解算中，水平方向可取至1mm。5.根据权利要求1所述的基于偶然误差特性的时间序列粗差探测方法，其特征在于，所述对σ
i
进行插值时可进行不同类型插值。6.一种基于偶然误差特性的时间序列粗差...

【专利技术属性】
技术研发人员：张明，高涵，邱云峰，黄彦锋，陈海林，
申请(专利权)人：云南省测绘产品检测站，
类型：发明
国别省市：