一种滑坡普适型地表位移监测数据缺失及异常值处理方法技术

本发明专利技术公开了一种滑坡普适型地表位移监测数据缺失及异常值处理方法。该方法先将监测数据中的异常数据进行初剔除后进行分段，之后对分段数据进行异常数据再剔除对分段数据进行数据重组，最后对重组后的数据进行数据缺失判断，当判定数据存在缺失时对重组后的数据进行补充，最终得到目标数据。对应上述技术路线，该方法包括以下五个步骤：步骤S1，异常数据初剔除；步骤S2，数据分段；步骤S3，异常数据再剔除；步骤S4，数据重组；步骤S5，数据缺失补充。本发明专利技术的方法既解决了因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等导致监测数据缺失、存在毛刺和噪声等问题，又保证了滑坡地表位移预测结果的准确性。

【技术实现步骤摘要】
一种滑坡普适型地表位移监测数据缺失及异常值处理方法
本专利技术涉及一种滑坡普适型地表位移监测数据缺失及异常值处理方法。
技术介绍
滑坡指斜坡上的土体或者岩体，受自然或人为因素影响，在重力作用下，沿着一定的软弱面或软弱带，顺斜坡向下滑移的自然现象。滑坡灾害在我国十分常见，尤其多见于低山、丘陵地区。我国正在经济发展和城市建设的高速时期，伴随人类活动对地形地貌的改造，人工切坡增多，滑坡风险加大。滑坡灾害威胁着人民的生命财产安全，因此需要对滑坡进行充分的数据监测、机理研究和形变预测，避免滑坡灾害造成的生命财产损害。地表裂缝计、GNSS等滑坡地表位移监测仪器提供了实时的滑坡地表位移监测数据，是滑坡形变分析及滑坡预测的基础。但由于偶发性的仪器问题，如仪器不稳定、设备故障和线路故障等，会造成数据缺失、毛刺和噪声。同时，仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误。
技术实现思路
本专利技术目的在于提供一种滑坡普适型地表位移监测数据缺失及异常值处理方法，该方法能够解决因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等原因导致监测数据缺失、存在毛刺和噪声等问题，从而保证进一步预测和分析结果的准确性。本专利技术提供的滑坡普适型地表位移监测数据缺失及异常值处理方法涵盖以下主要功能：剔除数据中的异常数据、补充缺失的数据部分、将数据规则化为基于固定时间频率的时序监测数据，具体包括以下步骤：步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；r>步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤S4重组的时间序列数据为目标数据，结束处理。在一些实施方式中，基于上述技术方案，所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。在一些实施方式中，基于上述技术方案，所述步骤S3异常数据再剔除的具体步骤为：判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4。在一些实施方式中，基于上述技术方案，所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)；high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数。在一些实施方式中，基于上述技术方案，所述局部突变判断的具体判断过程为：如果所述异常剔除待选项同时大于或同时小于前序时间点记录和后序时间点记录，则所述异常剔除待选项确定为异常数据。在一些实施方式中，基于上述技术方案，所述步骤S4数据重组的具体步骤包括：步骤S41：数据拼接，将完成异常数据剔除的分段数据按照时间顺序拼接；步骤S42：确定时间间隔，时间间隔的选取结合业务需求和研究对象的特点，采用符合自然计时规律的时间间隔作为切分单元，将经拼接后的数据切分为落在不同时间段内的数据组；步骤S43：确定同一时间间隔内的代表性数据的选取规则，并依据规则得到组内代表性数据，各组间组成等时间间隔的规则化时序数据。在一些实施方式中，基于上述技术方案，在数据重组步骤中，在同一个研究中，针对同一个滑坡宜采用同一套规则进行数据重采样，中途一般不变更代表性数据的选取规则。在一些实施方式中，基于上述技术方案，当存在数据缺失时，通过插值补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。在一些实施方式中，基于上述技术方案，当存在数据缺失时，通过预测补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。本专利技术的有益效果：本专利技术的方法可以针对滑坡普适型地表位移监测设备，将监测数据由存在噪声缺失的非稳定频率采样数据转换为完整的稳定间隔时间序列数据，作为开展滑坡普适型地表位移机理分析和位移预测的基础，既解决了因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等导致监测数据缺失、存在毛刺和噪声等问题，又保证了滑坡地表位移预测结果的准确性。附图说明图1为本专利技术滑坡普适型地表位移监测数据缺失及异常值处理方法的原理框图；图2为本专利技术滑坡普适型地表位移监测数据缺失及异常值处理方法的具体流程图；图3为本专利技术滑坡普适型地表位移监测数据缺失及异常值处理方法异常数据再剔除步骤的具体流程图；图4为本专利技术滑坡普适型地表位移监测数据缺失及异常值处理方法数据重组步骤的具体流程图；图5为本专利技术滑坡普适型地表位移监测数据缺失及异常值处理方法数据缺失补充步骤的具体流程图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在普适型滑坡监测工作中，地表裂缝计、GNSS等滑坡地表位移监测仪器不稳定、设备故障和线路故障等是难以避免的，这会带来数据缺失、存在毛刺和噪声等问题。同时，仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误。因此数据预处理中需要完成数据清洗、异常识别、毛刺平滑、缺失补充等工作。并且由于原始采集数据的时间间隔不稳定，为了进行进一步的时间序列预测工作，需对数据进行时序重采样。本专利技术提供的滑坡普适型地表位移监测数据缺失及异常值处理方法解决了因地表裂缝计、GNSS等滑坡地表位移监测仪器原因而导致监测数据缺失、存在毛刺和噪声等问题，以及仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误的问题，得到稳定的监测数据作为后续预测分析基础，保证了预测结果的准确性。参照图1所示，该方法先将监测数据中的异常数据进行初剔除后进行分段，再对分段数据进行异常数据再剔除后对分段数据进行数据重组，最后对重组后的数据进行数据缺失判断，并根据判断结果得出是否需要对重组后的数据进行补充，最终得到目标数据。结合图2-图5，该滑坡普适型地表位移监测数据缺失及异常值处理方法具体包括以下步骤：步骤S1：剔除超出仪器量程或显示为仪器设置的错误代码的数据在普适型滑坡的监测中，针对单个滑坡的监测数据间断式地记录了滑坡的形变，监测数据存在由于仪器不稳定、设备本文档来自技高网...

【技术保护点】
1.一种滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于，该方法包括以下步骤：/n步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；/n步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；/n步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；/n步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；/n步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤S4重组的时间序列数据为目标数据，结束处理。/n

【技术特征摘要】
1.一种滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于，该方法包括以下步骤：
步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；
步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；
步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；
步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；
步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤S4重组的时间序列数据为目标数据，结束处理。


2.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。


3.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S3异常数据再剔除的具体步骤为：判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4。


4.根据权利要求3所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：



其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的...

【专利技术属性】
技术研发人员：赵文祎，马娟，张鸣之，程楚云，庞骁，常啸寅，廖聪，田原，韩冰，邢顾莲，
申请(专利权)人：中国地质环境监测院自然资源部地质灾害技术指导中心，
类型：发明
国别省市：北京;11