一种城市洪涝积水监测数据清洗方法技术

本发明专利技术公开了一种城市洪涝积水监测数据清洗方法，S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；S2、基于差值判别算法筛选异常数据点；S3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；S4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。本发明专利技术方法基于二次诊断的清洗方法框架，最大限度筛出异常数据并避免错误筛查，以实现对城市积水监测数据的有效清洗。

【技术实现步骤摘要】
一种城市洪涝积水监测数据清洗方法
本专利技术属于城市洪涝积水监测数据的清洗和质量控制的
，具体涉及一种城市洪涝积水监测数据清洗方法。
技术介绍
城市洪涝灾害已成为影响我国城市发展的主要自然灾害，每年汛期“城市看海”现象屡屡上演，给城市运转和居民生产生活造成严重影响。由于我国属于大陆性季风气候，降雨时间分布极为不均，而且当前我国正处于新型城镇化快速推进的时期，可以预见，城市洪涝灾害将在未来一个时期长期存在。城市洪涝防治中，积水的监测是预报预警、规划设计、科学研究的重要基础，许多城市建设了覆盖城市主要积水点的监测体系。随着数据的累积，发现大量数据存在不正常的现象，特别是由于车辆行驶导致积水数据振荡的问题，数据质量难以有效支撑城市洪涝灾害防治。
技术实现思路
本专利技术的目的在于针对现有技术中的上述不足，提供一种城市洪涝积水监测数据清洗方法，以解决现有积水监测由于车辆行驶导致积水数据振荡的问题。为达到上述目的，本专利技术采取的技术方案是：一种城市洪涝积水监测数据清洗方法，其包括步骤：S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；S2、基于差值判别算法筛选异常数据点；S3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；S4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。进一步地，S1中采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补，包括：其中，αqi为缺测数据，i＝1，2，3……为缺测数据的时间顺序，αm为缺测前最后一位实测数据，αn为缺测后第一位实测数据，Δt为αm和αn的时间间隔，Δt0为监测周期。进一步地，S2中基于差值判别算法筛选异常数据点，包括：计算相邻两个数据点αi和αi+1的差值：Δα＝αi+1-αi其中，Δα为两个相邻数据点的差值，当|Δα|＜β时，β为阈值，则数据点的深度变化为正常情况；当|Δα|≥β时，则后一个数据点为异常变化。进一步地，S3中根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动，包括：计算相邻两个数据点的变化率ωi：依次计算相邻两个点的变化率，当第一次出现ωk与第一个变化率ωj的正负符号相反时，则产生第一个峰值或谷值αk-1；计算数据点从αj-1到αk-1的平均变化率当|||≥阈值γ时，则α变化率异常；在峰值或谷值产生后，且再次发生ω正负符号改变或|ω|≤γ时，则判定从αj到αl为一个数据变化的波峰或波谷，并计算αj到αl的间隔时间Δtω：Δtω＝tl-tj其中，tl和tj分别为数据αl和αj对应的时间。进一步地，S4中计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率其中，s为αl+1到之间所产生的所有峰值或谷值个数，为执行总时间。进一步地，S5中采用滑动平均算法对S2、S3和S4中的异常数据进行修正，包括：其中，α′i为αi的修正值，αz为异常数据序列或单个异常值之后的第一个数据，αj-1为异常数据αj之前的最后一个数据。本专利技术提供的城市洪涝积水监测数据清洗方法，具有以下有益效果：本专利技术采用“逐层递进、分级筛查”的方法，对积水数据是否“报错”、“缺测”、“振荡”进行诊断，诊断正常的数据直接入库，不正常的数据进行插补、修正、坦化等处理后入库，使入库和展示的数据呈现较高质量，有效支撑城市洪涝防治工作。附图说明图1为城市洪涝积水监测数据清洗方法的流程框图。图2为城市洪涝积水监测数据清洗方法的实测积水深度变化过程。图3为城市洪涝积水监测数据清洗方法的修正后积水深度图。具体实施方式下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。根据本申请的一个实施例，参考图1，本方案的城市洪涝积水监测数据清洗方法，包括如下步骤：S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；S2、基于差值判别算法筛选异常数据点；S3、根据筛选出的异常数据点判定数据首次峰(谷)值的变化为异常波动；S4、计算首次峰(谷)值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。本专利技术方法基于二次诊断的清洗方法框架，最大限度筛出异常数据并避免错误筛查，其第一次诊断为对“缺测值”的补充，第二次诊断为对“异常值”的识别、修正。根据本申请的一个实施例，以下将对上述步骤进行详细说明。S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补，即第一次诊断，其具体包括：首先要保证数据的完整性，由于设备故障等原因可能造成数据缺失，为解决这一问题将对数据进行插补，这里的“缺测值”特指短时间内影响数据连续性的缺失值，对于长时间连续缺测数据将不再进行插补。设定数据格式：{[αi，ti]}其中，α为积水深度数据，t为数据监测时间，i＝1,2,3……为数据的时间顺序。检验数据的连续性：Δt＝ti+1-ti其中，Δt为相邻2个数据的时间间隔，当Δt≥2Δt0时，Δt0为监测周期，则数据具有缺测值。假设Tq为允许进行插补数据的最大缺测时长，则当Δt≤Tq时，对数据进行插补：其中，αqi为缺测数据，i＝1,2,3……为缺测数据的时间顺序，αm为缺测前最后一位实测数据，αn为缺测后第一位实测数据。本专利技术的步骤S1为单次缺测数据插补方法，也可以按时间顺序执行对数据系列多次缺测进行插补。城市地区路面积水由降雨产生，在降雨停止或减小后，积水蒸发、下渗或通过自流进入排水管道，在这期间积水深度的变化属于正常情况。但是，城市路面交通繁忙，积水监测设备通常设立在路边，受汽车行驶影响较大，主要体现为监测数据的异常波动，对比积水深度的正常变化，其特点主要有波动产生具有突然性，幅度较大、波动频率较高，波动减弱快，根据路面车流量可能产生连续波动。故采用第二次诊断，用于对“异常值”的识别、修正，其具体包括如下步骤：S2、基于差值判别算法筛选异常数据点；首先通过差值判别算法进行初步的判断，其主要针对单个数据点的异常值。通过设定阈值范围，计算并对比相邻两个数据点的差值是否落在该阈值范围本文档来自技高网...

【技术保护点】
1.一种城市洪涝积水监测数据清洗方法，其特征在于，包括步骤：/nS1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；/nS2、基于差值判别算法筛选异常数据点；/nS3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；/nS4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；/nS5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。/n

【技术特征摘要】
1.一种城市洪涝积水监测数据清洗方法，其特征在于，包括步骤：
S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；
S2、基于差值判别算法筛选异常数据点；
S3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；
S4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；
S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。


2.根据权利要求1所述的城市洪涝积水监测数据清洗方法，其特征在于，S1中采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补，包括：



其中，αqi为缺测数据，i＝1，2，3……为缺测数据的时间顺序，αm为缺测前最后一位实测数据，αn为缺测后第一位实测数据，Δt为αm和αn的时间间隔，Δt0为监测周期。


3.根据权利要求2所述的城市洪涝积水监测数据清洗方法，其特征在于，S2中基于差值判别算法筛选异常数据点，包括：
计算相邻两个数据点αi和αi+1的差值：
Δα＝αi+1-αi
其中，Δα为两个相邻数据点的差值，当|Δα|＜β时，β为阈值，则数据点的深度变化为正常情况；当|Δα|≥β时，则后一个数据点为异常变化。

【专利技术属性】
技术研发人员：刘家宏，梅超，燕文昌，王浩，杨志勇，邵薇薇，丁相毅，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：北京;11