数据压缩方法、装置、设备、计算机存储介质及程序产品制造方法及图纸

本申请公开了一种数据压缩方法、装置、设备、计算机存储介质及程序产品，涉及大数据技术领域。该数据压缩方法包括：从数据库中获取同一存储层级的N个数据的目标信息，所述目标信息包括目标时间段内数据的访问频率，N为正整数；基于所述目标信息，对所述N个数据中访问频率低于预设阈值的数据进行压缩。根据本申请实施例，能够在不影响数据业务处理效率的前提下，高效、合理地实现对数据库中数据的压缩。合理地实现对数据库中数据的压缩。合理地实现对数据库中数据的压缩。

【技术实现步骤摘要】
数据压缩方法、装置、设备、计算机存储介质及程序产品


[0001]本申请属于大数据
，尤其涉及一种数据压缩方法、装置、设备、计算机存储介质及程序产品。

技术介绍

[0002]目前，为了提高数据的存储效率，例如时序数据库在数据写入的过程中通常会对数据进行编码压缩，以减少磁盘空间的使用量。如此，在经编码压缩之后，在后续写数据以及读数据的过程中都能够减少I/O操作的数据量从而提高性能，
[0003]然而，上述压缩方案的实质是通过对数据库中的数据进行全量编码压缩，以用CPU(中央处理器，Central Processing Unit/Processor)时间换取磁盘空间或网络I/O传输。这样，在数据吞吐量较大时，需要对大量写入数据进行数据编码压缩，使得磁盘读取速率变慢，较为影响业务。
[0004]有鉴于上，业务仍然亟待一种新型数据压缩方式，以在不影响数据业务处理效率的前提下，高效、合理地实现对数据库中数据的压缩。

技术实现思路

[0005]本申请实施例提供一种数据压缩方法、装置、设备、计算机存储介质及程序产品，能够在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：从数据库中获取同一存储层级的N个数据的目标信息，所述目标信息包括目标时间段内数据的访问频率，N为正整数；基于所述目标信息，对所述N个数据中访问频率低于预设阈值的数据进行压缩。2.根据权利要求1所述的方法，其特征在于，在所述从数据库中获取同一存储层级的N个数据的目标信息之前，所述方法还包括：分别在所述N个数据中增加目标频率字段；其中，所述目标频率字段用于按照时间顺序记录在所述目标时间段内的数据的访问频率。3.根据权利要求2所述的方法，其特征在于，所述N个数据中还包括压缩标识字段，所述压缩标识字段的第一状态用于表征数据无需进行压缩处理，所述压缩标识的第二状态用于表征数据需要进行压缩处理；所述基于所述目标信息，对所述N个数据中访问频率低于预设阈值的数据进行压缩，包括：在达到所述目标时间段的结束节点的情况下，对所述N个数据在所述目标时间段内数据的访问频率进行统计，得到统计结果；基于所述统计结果，将目标数据中包括的压缩标识字段由第一状态切换至第二状态；所述目标数据为所述N个数据中所述目标时间段内访问频率低于所述预设阈值的数据；对所述压缩标识字段为所述第二状态的目标数据进行压缩。4.根据权利要求2所述的方法，其特征在于，所述数据库为时序型数据库，所述同一存储层级的所述N个数据包括N个page；所述分别在所述N个数据中增加目标频率字段，包括：分别在所述N个page中的PageHeader结构中增加所述目标频率字段。5....

【专利技术属性】
技术研发人员：鲁楠，肖建光，邓星辰，王一同，李远哲，武智晖，尚晶，陈卓，陈乐，杨晨，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：