基于大数据的时序数据高效压缩方法技术

本发明专利技术涉及基于大数据的时序数据高效压缩方法，该方法步骤包括：获取时序数据中各个数值对应的时间戳，对时间戳进行压缩；获取时序数据中数值连续重复出现的次数值，得到去掉连续重复数值的数值序列及与数值序列中每个数值所对应的次数值的第一序列；对第一序列进行压缩得到第三序列；对数值序列S进行霍夫变换得到霍夫点数列，根据霍夫点数列获取去掉连续重复霍夫点的霍夫点序列及获取霍夫点序列中连续重复出现的霍夫点所对应次数值的第二序列，对第二序列进行压缩得到第四序列，完成压缩，本发明专利技术方法通过对连续重复的数值进行压缩，在对压缩后的数值在进行压缩，从而提高压缩率，实用性强，值得推广。值得推广。值得推广。

【技术实现步骤摘要】
基于大数据的时序数据高效压缩方法


[0001]本专利技术涉及数据压缩
，具体涉及基于大数据的时序数据高效压缩方法。

技术介绍

[0002]时序数据是指数据根据时间戳升序排列的数据集合。物联网、工业互联网、车联网等智能互联技术在各个行业场景下快速普及应用，导致联网传感器、智能设备数量急剧增加，随之而来的海量时序监控数据存储、处理问题，也为时序数据库高效压缩、存储数据能力提出了更高的要求。
[0003]针对时序数据的压缩时，主要分为无损压缩与有损压缩。无损压缩利用数据统计冗余进行压缩，压缩率受统计冗余限制，压缩率不高，有损压缩通常利用拟合的思想，在压缩过程中损失一定的信息来换取高的压缩率，因此，需要基于大数据的时序数据高效压缩方法。

技术实现思路

[0004]本专利技术提供一种能在提高压缩率的同时保证数据完整性的基于大数据的时序数据高效压缩方法，以解决现有的问题。
[0005]本专利技术的基于大数据的时序数据高效压缩方法采用如下技术方案：该方法包括：获取时序数据中各个数值对应的时间戳，并对时间戳进行压缩得到时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据的时序数据高效压缩方法，其特征在于，该方法包括：获取时序数据中各个数值对应的时间戳，并对时间戳进行压缩得到时间戳压缩信息，时间戳压缩信息包括：初始时间戳、时间戳递增量以及时间戳数量；获取时序数据中数值连续重复出现的次数值，根据时序数据的数值顺序获取去掉连续重复数值的数值序列，根据数值序列获取数值序列中每个连续重复的数值所对应的次数值的第一序列，将第一序列中的连续相同的次数值进行过滤得到作为第一压缩信息的第三序列；构建数值序列S对应的坐标点序列，并获取所述坐标点序列中两两相邻的坐标点之间的直线方程，对获取的直线方程进行霍夫变换得到霍夫点数列；根据霍夫点数列获取去掉连续重复霍夫点的霍夫点序列，获取霍夫点序列中每个连续重复出现的霍夫点所对应次数值的第二序列，利用对第一序列的过滤方法对第二序列过滤得到第四序列，将第四序列及霍夫点序列作为压缩后的第二压缩信息；将时间戳压缩信息、第一压缩信息、第二压缩信息及时序数据的第一个数值与最后一个数值存储，得到压缩数据。2.根据权利要求1所述的基于大数据的时序数据高效压缩方法，其特征在于，对时间戳进行压缩得到时间戳压缩信息的步骤包括：根据各个时间戳获取初始时间戳、时间戳数量、时间戳递增量；根据初始时间戳、时间戳数量、时间戳递增量，将各个时间戳压缩为时间戳压缩信息。3.根据权利要求1所述的基于大数据的时序数据高效压缩方法，其特征在于，获取时序数据中数值连续重复出现的次数值，根据时序数据的数值顺序获取去掉连续重复数值的数值序列，根据数值序列获取数值序列中每个数值所对应的次数值的第一序列的步骤包括：根据时间戳顺序获取时序数据中各个时间戳对应的数值的原始序列；根据原始序列中数值排列的顺序过滤掉原始序列中的连续重复的数值得到数值序列；获取原始序列中数值连续重复的次数值，根据次数值和数值序列得到数值序列中每个数值所对应的次数值的第一序列。4.根据权利要求1所述的基于大数据的时序数据高效压缩方法，其特征在于，将第一序列中的连续相同的次数值进行过滤得到作为第一压缩信息的第三序列步骤包括：获取第一序列中连续重复...

【专利技术属性】
技术研发人员：肖书英，徐兰英，
申请(专利权)人：南京云蝙信息技术有限公司，
类型：发明
国别省市：