一种大坝位移数据的粗差剔除方法技术

本发明专利技术公开了一种大坝位移数据的粗差剔除方法，设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，并设定粗差判定阈值，然后针对每一个测值分别使用以上四个法则进行判定，如果在某种准则下的判定结果为疑似粗差，则累加该准则对应的权重系数，最后得到该测值的权重系数和，与粗差判定阈值对比，达到或者超过即判定该测值为粗差。本发明专利技术综合考虑了多种离群点数据识别方法，权衡了误判和漏判的可能性，为剔除大坝位移数据中的粗差提供了一种科学、合理的方法。

【技术实现步骤摘要】

本专利技术涉及一种大坝位移数据的粗差剔除方法，属于大坝安全监测

技术介绍
当前我国大坝安全监测总体处于特殊的阶段，很多老坝即将到达设计基准期，而一大批新坝正投运，因此对大坝安全监测指标进行预测从而提供安全监测决策辅助，就显得必要了。大坝的位移量则是大坝安全监测的主要指标之一，在大坝整体性态评估中占有重要的意义，其异常测值更应受到特别的重视和分析。而由测量系统和人为操作等因素引起的异常值，应将其视为粗差予以剔除，以避免干扰后续的分析和评估操作。所谓粗差，是指在大坝位移量的时间序列中，与相邻时间的测值存在明显差异的突变点，其成因一般与大坝的真实性态和环境量的变化无直接关联。目前业界内普遍的粗差剔除方法,主要包括专家经验法和统计模型法。专家经验法主要依赖水工安全监测专家的工程经验来判定粗差，较为依赖主观认知；统计模型法主要依赖于某一种确定的策略，例如根据极值、变幅、与拟合值的残差的大小等，对数据的利用不够全面和深入，存在较大的误判和漏判的风险。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种大坝位移数据的粗差剔除方法，综合考虑了多种离群点数据识别方法,剔除大坝位移数据中的粗差。为解决上述技术问题，本专利技术提供一种大坝位移数据的粗差剔除方法，包括以下步骤：1）设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，以及设定粗差判定阈值；2）计算原位移测值序列的均值和标准差，并基于回归模型计算残差序列；3）根据Dixon准则判定疑似粗差；4）根据Grubbs准则判定疑似粗差；5）根据Chauvenet准则判定疑似粗差；6）根据四分点准则判定疑似粗差；7）对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。前述的步骤1）中，每种离群点判定准则的权重系数的取值范围为1-100，四个权重系数的总和为100。前述的步骤2）中，基于回归模型计算残差序列是指，根据大坝水平位移基础成因理论，确定影响大坝位移的因子以及位移量数据，然后使用最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原位移测值序列作差从而计算出原位移测值序列的残差序列。前述的步骤3）中，根据Dixon准则判定疑似粗差是指对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/(Xn-X3)，对于序列中第k个测值，如果满足D(k,α)＞D，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度，Xn为序列X的第n个数值，α为显著性水平。前述的显著性水平α取值为0.01。前述的步骤4）中，根据Grubbs准则判定疑似粗差是指对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V|≥G(n,a)*S时，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度，a为显著性水平。前述的显著性水平a取值为0.05。前述的步骤5）中，根据Chauvenet准则判定疑似粗差是指对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V|≥Z（n）*S时，即判定该测值为疑似粗差，其中，n为原位移测值序列的总长度。前述的步骤6）中，根据四分点准则判定疑似粗差是指对于残差序列按照升序进行排序，记Q1为新序列中值，Q2为新序列首值到Q1的中值，Q3为Q1到新序列末值的中值，则每个测值对应的残差V，满足：V≥4*Q3-Q1，或V≤4*Q1-3*Q3时，即判定该测值为疑似粗差。本专利技术所达到的有益效果：本法综合考虑了多种离群点数据识别方法,权衡了误判和漏判的可能性，为剔除大坝位移数据中的粗差提供了一种科学、合理的方法，从而使得监测资料能更精确的反应大坝实际的工作性态，为大坝安全的运行管理提供更可靠的决策辅助。附图说明图1是本专利技术方法流程图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，本专利技术的大坝位移数据的粗差剔除方法，包括以下步骤：1、设定四个准则的权重系数，以及粗差判定阈值设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，每个准则的权重系数的取值范围为1-100，四个权重系数的总和为100。设定判断一个测值为疑似粗差的判定阈值，阈值范围为1-100，这样，对于每个测值，如果在某种准则下的判定结果为疑似粗差，则累加该准则对应的权重系数，最后得到该测值的权重系数和，与粗差判定阈值对比，达到或者超过即为粗差。判定准则的权重系数和粗差阈值的设定机制，可灵活的根据实际样本的数据特性和质量来调整各法则的权重系数，并能更好的结合专家知识和历史经验，实现了本专利技术对于不同工程的在地化能力。2、计算位移序列的均值，标准差，及基于回归模型的残差序列首先，根据原位移测值序列，计算其均值和标准差。其次，确定回归模型的样本空间，根据大坝水平位移基础成因理论，影响大坝位移的因子包括库水位H、气温T、时效t等，本专利技术选取的因子为当日至昨日平均、前2至5天平均、前6至15天平均的H、H2、H3、H4、T，温度谐波因子sin(2πt/365)、cos(2πt/365)、sin(4πt/365)、cos(4πt/365)，以及t、㏑t，共计21个因子，效应量即为位移量数据，使用最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原位移测值序列作差从而计算出原位移测值序列的残差序列。最后，相对于正常值，粗差与其拟合值的差值更为显著，因此可以根据残差来判定测值是否为粗差。3、根据Dixon准则判定疑似粗差对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/(Xn-X3)，对于序列中第k个测值，如果满足D(k,α)＞D，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，Xn为序列X的第n个数值，α为显著性水平，本专利技术采用0.01，D(k,α)通过查Dixon检验临界值表可得。4、根据Grubbs准则判定疑似粗差对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V|≥G(n,a)*S时，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，a为显著性水平，本专利技术采用0.05，G(n,a)值则通过查Grubbs临界值表得出。5、根据Chauvenet准则判定疑似粗差对于每个测值对应的残差V，当和原位移测值序列的标准差S满足：|V|≥Z（n）*S时，即判定该测值为疑似粗差。其中，n为原位移测值序列的总长度，Z（n）通过查肖维勒系数表可得。6、根据四分点法则判定疑似粗差对于残差序列按照升序进行排序，记Q1为新序列中值，Q2为新序列首值到Q1的中值，Q3为Q1到新序列末值的中值，则每个测值对应的残差V，满足：V≥4*Q3-Q1，或V≤4*Q1-3*Q3时，即判定该测值为疑似粗差。7、四种准则的判定结果综合加权最后，对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来本文档来自技高网...

【技术保护点】
一种大坝位移数据的粗差剔除方法，其特征在于，包括以下步骤：1）设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，以及设定粗差判定阈值；2）计算原位移测值序列的均值和标准差，并基于回归模型计算残差序列；3）根据Dixon准则判定疑似粗差；4）根据Grubbs准则判定疑似粗差；5）根据Chauvenet准则判定疑似粗差；6）根据四分点准则判定疑似粗差；7）对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。

【技术特征摘要】
1.一种大坝位移数据的粗差剔除方法，其特征在于，包括以下步骤：1）设定Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这四种离群点判定准则的权重系数，以及设定粗差判定阈值；2）计算原位移测值序列的均值和标准差，并基于回归模型计算残差序列；3）根据Dixon准则判定疑似粗差；4）根据Grubbs准则判定疑似粗差；5）根据Chauvenet准则判定疑似粗差；6）根据四分点准则判定疑似粗差；7）对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。2.根据权利要求1所述的一种大坝位移数据的粗差剔除方法，其特征在于，所述步骤1）中，每种离群点判定准则的权重系数的取值范围为1-100，四个权重系数的总和为100。3.根据权利要求1所述的一种大坝位移数据的粗差剔除方法，其特征在于，所述步骤2）中，基于回归模型计算残差序列是指，根据大坝水平位移基础成因理论，确定影响大坝位移的因子以及位移量数据，然后使用最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原位移测值序列作差从而计算出原位移测值序列的残差序列。4.根据权利要求1所述的一种大坝位移数据的粗差剔除方法，其特征在于，所述步骤3）中，根据Dixon准则判定疑似粗差是指对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/(Xn-X3)，...

【专利技术属性】
技术研发人员：花胜强，蔡杰，纪菁，李宁宁，占亮亮，冯慧阳，郑慧娟，高磊，郑健兵，余有胜，
申请(专利权)人：国网电力科学研究院，南京南瑞集团公司，
类型：发明
国别省市：江苏;32