监测数据压缩方法技术

本发明专利技术提供一种监测数据压缩方法，用于对旋转门压缩算法进行改进，其改进之处在于，对于原始数据中的非敏感数据使用容差参数ΔE较大的宽松标准，对于原始数据中的敏感数据使用容差参数ΔE较小的严格标准，即严格标准的容差参数小于宽松标准的容差参数；在宽松或严格的不同标准范围内，根据数据的波动大小来自动调整容差参数ΔE。进一步地，用压缩周期的步长来表征当前数据的变化波动趋势。压缩周期的步长变大时，增大容差参数ΔE，压缩周期的步长变小时，减小容差参数ΔE。本发明专利技术能有效降低监测数据的存储量，同时能保证较低的压缩误差。

Monitoring data compression method

The invention provides a monitoring data compression method for improving the rotary door compression algorithm. The improvement lies in the loose standard with larger tolerance parameter_E for the non-sensitive data in the original data and the strict standard with smaller tolerance parameter_E for the sensitive data in the original data. The tolerance parameters are smaller than the tolerance parameters of the loose standard, and the tolerance parameter_E is automatically adjusted according to the fluctuation of the data within the loose or strict range of different standards. Further, the step length of the compression cycle is used to characterize the trend of the fluctuation of the current data. When the step size of compression period increases, the tolerance parameter_E increases, the step size of compression period decreases, and the tolerance parameter_E decreases. The invention can effectively reduce the storage amount of monitoring data while ensuring low compression error.

【技术实现步骤摘要】
监测数据压缩方法
本专利技术涉及一种监测数据压缩方法，应用于压缩各类物联网监测设备产生的监测数据。
技术介绍
随着物联网技术的发展，各类物联网监测设备不断增加，这些设备持续地将监测到的数据上传至服务器或保存在本地。这些监测数据具有无限增长的特性，海量的历史数据对存储效率与成本造成很大压力。同时，历史监测数据随着时间的久远，价值也越来越低。因此，如何减少监测数据所需的存储空间，是物联网应用中降低成本与提高效率的重要问题。目前常用的压缩算法为旋转门压缩算法。该算法是一种线性拟合算法，用于对时序数据进行压缩。将能拟合成一条线段的连续数据点中，只保存首尾两个数据点，中间的数据点用两点连成的线段表示。其中以ΔE作为压缩的容差参数，被舍弃的数据点与线段的垂直距离不能超过ΔE。对于单个数据来说，其压缩误差不会大于ΔE。在旋转门压缩算法中，容差参数ΔE是决定压缩误差与压缩率的因素。而ΔE的值在数据压缩中是固定的，对于具有不同变化趋势特点的数据使用相同的参数进行压缩显然不是最高效的做法。
技术实现思路
本专利技术的目的在于克服现有技术中存在的不足，提供一种监测数据压缩方法，实现使用较少资源开销的情况下，能有效降低监测数据的存储量，同时能保证较低的压缩误差，压缩数据解压后能保留原始数据所具有的变化趋势。本专利技术采用的技术方案是：针对旋转门压缩算法中容差参数ΔE为一个固定值存在的问题，本专利技术基于两个方面的因素来动态的调整容差参数ΔE的值，一是数据点的敏感程度，二是数据变化波动大小；对于监测数据而言，大多数情况下人们更加关心超过警戒值的异常数据，而对在正常范围内小幅度波动的数据不那么关心。在本专利技术中，数据的敏感度区间可由用户灵活设置。对于原始数据中的非敏感数据使用容差参数ΔE较大的宽松标准，对于原始数据中的敏感数据使用容差参数ΔE较小的严格标准，即严格标准的容差参数小于宽松标准的容差参数，以此来提高低敏感度数据的压缩率和高敏感度数据的压缩精度。在宽松或严格的不同标准范围内，根据数据的波动大小来自动调整容差参数ΔE，做到进一步精准压缩。因为旋转门压缩算法的压缩原理就是将变化波动小于某一值的一组连续数据用一条线段来拟合表示，所以一次压缩周期的步长就表示了数据波动相对稳定的连续长度。可以用压缩周期的步长来表征当前数据的变化波动趋势，当步长较大时说明数据具有长时间稳定的趋势，反之则说明数据波动较大。在改进的算法中，数据当前压缩周期的步长大于上一压缩周期步长时说明数据波动在趋于稳定，以系数k按比例增大ΔE可取得更好的压缩率；反之则说明数据波动趋于变化，以系数k按比例减小ΔE以降低压缩误差。本专利技术的优点在于：1)允许用户设置数据的敏感区间，对用户敏感的数据压缩后能保留更高的精度，对于非敏感数据则侧重于提高压缩率，能够更合理的分配压缩的侧重点。2)根据相邻压缩周期的步长变化，动态的调整下一压缩周期的容差参数值，可以减少波动较小的平稳数据的记录量，提高了数据的压缩率。3)没有引入复杂的数学计算，算法时空复杂度较低，非常适用于海量监测数据的压缩。附图说明图1为旋转门压缩算法的示意图。图2为本专利技术的监测数据压缩方法流程图。具体实施方式下面结合具体附图和实施例对本专利技术作进一步说明。图1为对原始数据采用旋转门压缩算法进行压缩的示意图；本专利技术将以此为例对一个压缩周期进行详细说明，不对本专利技术构成约束。图1中，A点为数据开始记录点，在A点上方和下方分别取两点A+和A-，横坐标与A点相同，纵坐标与A点相差一个容差参数ΔE。从A点开始向后遍历数据，分别从A+和A-点向下一数据点B画线，得到A+B与A-B两扇门，∠AA+B与∠AA-B为两扇门的夹角。用同样的方式去处理后面的数据点，对于后面的数据点，需要满足两扇门的角度只能增大不能减小且要保证两扇门的两夹角之和不能超过180°。如对于数据点C，需要将下面这扇门打开更大的角度来包含住C点，上面那扇门不变。因为两扇门夹角不超过180°，所以本压缩周期继续，直到处理到E点时，此时上面的那扇门为A+D，要想包含E点需要把下面的那扇门打开至A-E的位置。这样两扇门的夹角和就会超过180°，因此需要结束本次压缩周期，记录上一数据点D作为此周期的结束点，并将E点作为起点开始新的压缩周期。使用这样的方式，只记录了A、D两点的值，舍弃了中间的数据点B、C，达到压缩数据的目的。该压缩周期包含A、B、C、D四个点，所以此次压缩周期的压缩步长为4。图2为本专利技术改进后的算法流程图，参照此图详细介绍改进算法的实现方法与具体步骤；与算法相关的参数及表示形式如下：ΔE：容差参数；k：ΔE的调整系数(0＜k＜1)；ΔEL-min：宽松标准容差范围下限；ΔEL-max：宽松标准容差范围上限；ΔES-min：严格标准容差范围下限；ΔES-max：严格标准容差范围上限；Smax：单个压缩周期的最大步长；S：本次压缩周期的步长；S1：上次压缩周期的步长；M：敏感数据区间；T：当前压缩周期的压缩类型，类型分为敏感数据对应的严格压缩与非敏感数据对应的宽松压缩两类；算法具体步骤：步骤1：读取待压缩数据，根据数据是否在敏感区间M内，判断数据是否为敏感数据；若数据敏感度(即敏感数据或非敏感数据)与当前压缩类型相对应，进行步骤2；若不一致，进行步骤5；步骤2：判断当前压缩周期步长是否超过最大步长Smax，若未超过进行步骤3，若超过进行步骤4；步骤3：根据旋转门算法判断待压缩数据是否能够被当前压缩周期压缩，若能够，本压缩周期步长加1，进行步骤6；若不能够则跳至步骤4；步骤4：记录上一个原始数据作为当前压缩周期的结尾数据(也就是要结束当前压缩周期)；根据S与S1的大小比较来调整ΔE；当S≥S1时，ΔE＝ΔE*(1+k)；当S＜S1时，ΔE＝ΔE*(1-k)；调整后ΔE的值不能超出相应的容差范围；若当前压缩类型为宽松压缩，ΔE要满足ΔEL-min≤ΔE≤ΔEL-max；若当前压缩类型为严格压缩，ΔE要满足ΔES-min≤ΔE≤ΔES-max；然后将当前S的值赋给S1，更新S1的值，再将S置为1，将调整后的ΔE作为容差参数，当前原始数据作为压缩首数据，开始新一轮压缩周期，进行步骤1；步骤5：记录上一个原始数据作为当前压缩周期的结尾数据(也就是要结束当前压缩周期)；根据当前数据的敏感度选择相应的压缩标准，将使用的压缩标准类型赋值给T；重置参数ΔE，若为宽松标准，ΔE＝(ΔEL-min+ΔEL-max)/2；若为严格标准，ΔE＝(ΔES-min+ΔES-max)/2；将S1和S初始化为1；使用这些参数，从当前数据开始，启动新的压缩周期，进行步骤1；步骤6：判断是否还有新数据，若有执行步骤1，若无则记录本压缩周期首尾数据，结束压缩周期，退出。本专利技术提出的方法根据数据敏感度的不同而采用不同的容差参数标准进行数据压缩，同时在压缩过程中根据压缩周期的步长变化来动态地调整容差参数的值。最后所应说明的是，以上具体实施方式仅用以说明本专利技术的技术方案而非限制，尽管参照实例对本专利技术进行了详细说明，本领域的普通技术人员应当理解，可以对本专利技术的技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，其均应涵盖在本专利技术的权利要求范围当中。本文档来自技高网...

【技术保护点】
1.一种监测数据压缩方法，用于对旋转门压缩算法进行改进，其特征在于，对于原始数据中的非敏感数据使用容差参数ΔE较大的宽松标准，对于原始数据中的敏感数据使用容差参数ΔE较小的严格标准，即严格标准的容差参数小于宽松标准的容差参数；在宽松或严格的不同标准范围内，根据数据的波动大小来自动调整容差参数ΔE。

【技术特征摘要】
1.一种监测数据压缩方法，用于对旋转门压缩算法进行改进，其特征在于，对于原始数据中的非敏感数据使用容差参数ΔE较大的宽松标准，对于原始数据中的敏感数据使用容差参数ΔE较小的严格标准，即严格标准的容差参数小于宽松标准的容差参数；在宽松或严格的不同标准范围内，根据数据的波动大小来自动调整容差参数ΔE。2.如权利要求1所述的监测数据压缩方法，其特征在于，用压缩周期的步长来表征当前数据的变化波动趋势。3.如权利要求2所述的监测数据压缩方法，其特征在于，压缩周期的步长变大时，增大容差参数ΔE，压缩周期的步长变小时，减小容差参数ΔE。4.如权利要求1所述的监测数据压缩方法，其特征在于，该方法的具体步骤包括：定义参数：ΔE：容差参数；k：ΔE的调整系数(0＜k＜1)；ΔEL-min：宽松标准容差范围下限；ΔEL-max：宽松标准容差范围上限；ΔES-min：严格标准容差范围下限；ΔES-max：严格标准容差范围上限；Smax：单个压缩周期的最大步长；S：本次压缩周期的步长；S1：上次压缩周期的步长；M：敏感数据区间；T：当前压缩周期的压缩类型，类型分为敏感数据对应的严格压缩与非敏感数据对应的宽松压缩两类；步骤1：读取待压缩数据，根据数据是否在敏感区间M内，判断数据是否为敏感数据；若数据敏感度与当前压缩类型相对应，进行步骤2；若不一致，进行步骤...

【专利技术属性】
技术研发人员：张涵笑，慕福奇，吕欣岩，
申请(专利权)人：江苏中科羿链通信技术有限公司，
类型：发明
国别省市：江苏,32