一种数据压缩方法和系统技术方案

本申请实施例公开了一种数据压缩方法和系统，所述方法包括：对待压缩数据中的采集点根据时序进行逐个处理；若数据压缩系统中尚未存在特征点，将当前采集点赋值给特征点和前一个点；所述前一个点为当前采集点上一时刻的点；若所述数据压缩系统中已经存在特征点，则判断当前采集点和当前特征点的时间差是否大于最长时间间隔，若超过则将所述当前采集点赋值给特征点和前一个点；若不超过则根据旋转门算法判断所述前一个点是否需要保留，若需要保留则将所述前一个点存储，并将当前采集点赋值给特征点和前一个点，若不需要保留则将所述当前采集点赋值给前一个点。根据压缩目标对数据进行有损压缩，且无需用户自行设置压缩偏差，高效且便捷。高效且便捷。高效且便捷。

【技术实现步骤摘要】
一种数据压缩方法和系统


[0001]本申请实施例涉及数据处理
，具体涉及一种数据压缩方法和系统。

技术介绍

[0002]工业物联网中的过程控制设备、传感设备每天产生海量的实时数据，通过对这些数据的监测、控制、分析挖掘，排查出故障以达到稳定的生产运行。为了降低数据占用的存储空间，目前广泛采用旋转门(SDT)压缩算法对实时数据压缩进行压缩。
[0003]旋转门数据压缩算法在对带时间标签数据进行压缩前，先规定用户可接受的数据失真量，然后在某段数据趋势中包含尽可能多的数据点。算法的本质是通过经过存储的两个数据点代替两点间的其余数据点，然后通过线性差值法还原其余数据点。
[0004]但是旋转门数据压缩算法默认所有数据都是正常的，并没有考虑数据出现异常的情况。以及需要提前确定由用户规定的精度参数E，如果E选得太大，会导致数据变化趋势偏移，发生失真；如果E选得太小，压缩比将会很小，尤其在有噪声和异常点的情况下，旋转门数据压缩算法几乎不压缩，导致压缩率很小。

技术实现思路

[0005]为此，本申请实施例提供一种数据压缩方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：获取待压缩数据，对所述待压缩数据中的采集点根据时序进行逐个处理；每个采集点携带采集点的值和时间戳；若数据压缩系统中尚未存在特征点，将当前采集点赋值给特征点和前一个点；所述前一个点为当前采集点上一时刻的点；若所述数据压缩系统中已经存在特征点，则判断当前采集点和当前特征点的时间差是否大于最长时间间隔，若超过则将所述当前采集点赋值给特征点和前一个点；若不超过则根据旋转门算法判断前一个点是否需要保留，若需要保留则将前一个点存储，并将所述当前采集点赋值给特征点和前一个点，若不需要保留则将所述当前采集点赋值给前一个点。2.如权利要求1所述的方法，其特征在于，根据旋转门算法判断所述前一个点是否需要保留，包括：根据所述压缩偏差和起始采集点在旋转门算法的坐标轴中画射线；所述压缩偏差是根据前一个点的值、当前特征点的值以及设定压缩比确定的；所述射线的上下斜率的开度大小是根据所述压缩偏差确定的；若所述当前采集点在所述射线围成的开度外，则判定所述前一个点需要保留；若所述当前采集点在所述射线围成的开度内，则判定所述前一个点不需要保留。3.如权利要求2所述的方法，其特征在于，判定所述前一个点不需要保留之后，还包括：根据所述当前采集点更新所述旋转门算法中的射线的上下斜率。4.如权利要求2所述的方法，其特征在于，判定所述前一个点需要保留之后，还包括：将所述当前采集点更新为下一个压缩空间的起始采集点。5.如权利要求1所述的方法，其特征在于，所述最长时间间隔是根据传感器采集频率的倒数和设定压缩比确定的；所述设定压缩比是根据所述待压缩数据在一天内占用的数据存储空间、目标存储数据的时长和磁盘空间确定的。6.一种数据压缩系统，其特征在于，所述系统包括：数据获取模块，用于获取待压缩数据，对所述...

【专利技术属性】
技术研发人员：于腾，刘杰，
申请(专利权)人：特斯联科技集团有限公司，
类型：发明
国别省市：