一种能耗监测数据的过滤方法技术

本发明专利技术涉及一种能耗监测数据的过滤方法，主要包括以下步骤：数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对采集数据进行过滤；过滤后的能耗数据提交入库压缩。本发明专利技术在通过数据采集网关采集完成能耗数据后，根据时间戳的数据判断,采用例外偏差及最大最小偏差周期，判定采集数据是否在所在限值范围内，可以对压缩前的数据进行一个初步的过滤，实现了小幅度波动数据及偏差数据的析出效果，起到数据降噪的作用。

【技术实现步骤摘要】

本专利技术涉及能耗监测数据处理
，尤其涉及一种能耗监测数据的过滤方法。
技术介绍
在当前能耗监测数据存储及数据压缩相关应用中，大部分解决方案采用基于关系数据库的存储方式，对能耗数据进行集中存储，少数厂家采用实时数据库方式，并在该基础上采用相关压缩算法以对能耗数据进行压缩，提高磁盘利用率，提升数据访问效率。在采用实时数据库进行数据存储的厂商中，一般采用旋转门、LZ系统压缩法和死区算法进行数据压缩处理。旋转门算法具有运算量小，可以跟踪过程趋势变化和适合滚动压缩的优点。但在过程数据有噪声的情况下，压缩性能不是很理想，噪声会造成压缩算法对过程趋势判断错误，降低压缩比，同时该算法不具有判断和处理异常点的能力。LZ系统压缩算法中的主要缺点是缓冲区的大小限制问题，当缓冲区满时，如果不再存储新的数据，将使压缩数据严重失真。如果清空缓冲区重新建立，又将大大降低算法的效率。在工业能耗数据处理中，采用以上旋转门或LZ算法进行数据压缩处理时，能取到一定的压缩效果，但鉴于以上算法及处理过程非针对能耗数据的特征性质进行的压缩算法，是一种广泛或通用的压缩算法，不能取到良好的压缩精度，数据冗余及磁盘占比相对较大，在处理当前能源管理系统中的能源数据大容量处理中存在的缺陷及问题严重，造成现场中数据的存储压力过大。
技术实现思路
针对工业能耗监测的大容量数据存储压缩精度较差、降噪效率低下的问题，本专利技术的目的在于提供一种提高数据的存储效率和访问速度的能耗监测数据的过滤方法。为实现上述目的，本专利技术可以通过以下技术方案予以实现：一种能耗监测数据的过滤方法，包括以下步骤：(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤；(4)过滤后的能耗数据提交入库压缩。进一步的，所述步骤(3)包括：(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据；(32)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc和例外偏差最小周期Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据；(33)当两个连续采集的能耗数据的时标差大于或等于例外偏差最大周期Tmaxexc时不能滤掉这两个数据，需要强制提交数据入库压缩；(34)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc内，且数据没有变动时，不能滤掉这两个数据，需要强制提交数据入库压缩。进一步的，所述步骤(32)包括以下步骤：(321)以能耗数据的采集时间为横坐标、能耗值为纵坐标建立坐标系，将
数据缓存区的所有能耗数据标记在坐标系中，将第一个能耗数据与最后一个能耗数据连成一条直线；(322)计算所有能耗数据分别与步骤(321)所述直线的距离D；(323)找出步骤(322)所得结果中的距离最大值Dmax；(324)比较例外偏差Dex与距离最大值Dmax的差值，根据差值决定是否过滤。进一步的，所述步骤(324)包括以下：如果例外偏差Dex大于距离最大值Dmax，则过滤第一个能耗数据与最后一个能耗数据之间的所有中间能耗数据；当例外偏差Dex大于距离最大值Dmax，且在例外偏差最大周期Tmaxexc内，新采集的能耗数据与前一个数据相比无变动时，则把新采集的能耗数据提交入库压缩；如果例外偏差值Dex小于或等于距离最大值Dmax,则以该距离最大值Dmax对应的能耗数据为界，将所有能耗数据分为前后两段，把第一能耗数据与该能耗数据连成一条直线，以及把该能耗数据与最后一个能耗数据连成一条直线，对两段能耗数据分别重复步骤(321)-(324)，采用迭代方法依次进行，直到能耗值满足所给定的压缩精度为止。本专利技术在通过数据采集网关采集完成能耗数据后，根据时间戳的数据判断,采用例外偏差及最大最小偏差周期，判定采集数据是否在所在限值范围内，可以对压缩前的数据进行一个初步的过滤，实现了小幅度波动数据及偏差数据的析出效果，起到数据降噪的作用。本专利技术与现有技术相比较，有以下几个方面的优点：(1)现有能耗数据处理技术采用常用的压缩算法，需较长的压缩时间，且
压缩比不高。本专利技术专利针对能耗数据的现有特性进行精准分析，并根据该规律特性，创新改进现有处理方式，可以缩短压缩时间、提高数据压缩比，降低磁盘占比。(2)本专利技术采用多个压缩配置优化动态参数，可针对现有工控系统及能耗系统进行灵活配置，可根据实际能耗工程项目及资源配置情况，配置对应的压缩精度、压缩方式和压缩周期等参数，以优化能耗数据缓冲区的大小。(3)本专利技术提出了一种解决当前能耗数据采集过程中，因长时间数据不更新或更新频率过快时的一种例外偏差处理的实际数据处理过程，结合国家能耗监测系统相关技术规范中，可以提高能耗数据的压缩精度和能耗数据的精准度，具有较大的应用价值。附图说明图1是本专利技术的方法步骤框图；图2是本专利技术步骤(32)的分析示意图；图3是图2的前段数据的分析示意图；图4是图2的后段数据的分析示意图。具体实施方式下面将结合附图以及具体实施方式对本专利技术作进一步的说明：在能耗数据采集中，一般需要采集能源计量装置的相关数据，包括的智能设备如水表、电表、燃气表、冷热量表等，总体来说一般分为模拟量、开关量与累计量；开关量作为状态信息，一般无需压缩，只需要记录该状态及时间即可。模拟量的数据，如电压、电流、功率、功率因数等数据一般在一个范围内变化波动，突变特性不是很常见，累计量则一般存储间隔较大，针对该能耗数据的特性情况，本专利技术根据能耗数据的曲线数据进行分析，采用例外偏差及例
外周期等办法，将能耗数据压缩精度压缩到理想的范围，特别是在节能管理系统中具有特殊的应用效果。如图1所示，本专利技术所述的能耗监测数据的过滤方法，包括以下步骤：(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；例外偏差Dex用于限制两个记录值之间的差值，即偏差距离，而例外偏差计算由例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc来表针，例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc是能耗网关程序中需预定义的两个参数值；(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤。步骤(3)包括：(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据。两个连续采集的能耗数据是指在数据缓存区持续更新的前后两个数据。(32)当两个连续采集的能耗数据的时标差在Tmaxexc和Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据。时标差在Tmaxexc和Tminexc之间，即Tminexc<时标差<Tmaxexc。步骤(32)包括以下步骤：(321)本文档来自技高网...

【技术保护点】
一种能耗监测数据的过滤方法，其特征在于，包括以下步骤：(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤；(4)过滤后的能耗数据提交入库压缩。

【技术特征摘要】
1.一种能耗监测数据的过滤方法，其特征在于，包括以下步骤：(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤；(4)过滤后的能耗数据提交入库压缩。2.根据权利要求1所述的能耗监测数据的过滤方法，其特征在于，所述步骤(3)包括：(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据；(32)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc和例外偏差最小周期Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据；(33)当两个连续采集的能耗数据的时标差大于或等于例外偏差最大周期Tmaxexc时不能滤掉这两个数据，需要强制提交数据入库压缩；(34)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc内，且数据没有变动时，不能滤掉这两个数据，需要强制提交数据入库压缩。3.根据权利要求2所述的能耗监测数据的过滤...

【专利技术属性】
技术研发人员：曾保全，张静，
申请(专利权)人：广东雅达电子股份有限公司，
类型：发明
国别省市：广东;44