一种数据压缩方法及装置制造方法及图纸

本申请提供一种数据压缩方法及装置，在本申请中，服务器获取压缩后的数据，该数据至少包括第一部分和第二部分。服务器对第一部分进行解压缩，在对第一部分解压缩之后，对第二部分进行解压缩，其中，所述第一部分的热度值高于所述第二部分的热度值。由于第一部分排在第二部分前面，并且第一部分的热度值相较于第二部分的热度值高，第一部分被访问的概率也比较高，因此，可以降低解压缩第一部分的读放大比率，而解压缩第二部分的放大比率相对于现有的压缩方式大致相同，从而降低了服务器的平均读放大比率。放大比率。放大比率。

【技术实现步骤摘要】
一种数据压缩方法及装置


[0001]本申请涉及计算机
，尤其涉及一种数据压缩方法及装置。

技术介绍

[0002]目前，全世界每天产生的新增计算机数据，以及巨大的存量数据，将会带来更高的存储效率和存储资源需求，数据缩减技术正是因此而发展和成熟的技术。
[0003]数据缩减技术的原理可以理解为，对于频繁使用的数据可以使用较短的代码代替，每个数据的代码不同，基于该原理，可以对待压缩的多个对象中存在的重复数据进行压缩，以此减少该多个对象所占用的存储空间。
[0004]常用的数据缩减技术包括合并压缩和差量压缩。图1为一种合并压缩的流程示意图。如图1所示，合并压缩的过程可以包括：通过相似指纹的方式识别多个相似对象，将该多个相似对象进行合并，其中，每个对象中存在多个字节，示例性地，可以以字节为粒度对每个对象进行扫描，如果在后的数据(字节)与在先的数据(字节)重复，则可以使用该数据对应的代码替换在后的数据。差量压缩与合并压缩不同之处在于，差量压缩在多个相似对象中，选取一个标准对象，将其余每个对象与该标准对象进行比对，保留与标准对象中的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取压缩后的数据，所述数据至少包括第一部分和第二部分；对所述第一部分进行解压缩；在所述第一部分解压缩之后，对所述第二部分进行解压缩；其中，所述第一部分的热度值高于所述第二部分的热度值。2.如权利要求1所述的方法，其特征在于，所述第一部分的热度值用于指示所述第一部分的被访问频次和/或访问时间；所述第二部分的热度值用于指示所述第二部分的被访问频次和/或访问时间。3.如权利要求1或2所述的方法，其特征在于，所述方法应用于存储设备，所述存储设备至少包括一级存储器和二级存储器，所述一级存储器的性能高于所述二级存储器；所述第一部分存储于所述一级存储器中，所述第二部分存储于所述二级存储器中。4.一种数据处理方法，其特征在于，所述方法包括：获取待压缩的多个对象；确定每个所述对象的热度值；将所述多个对象按照热度值由高到低的顺序进行排序，并对排序后的所述多个对象进行压缩。5.如权利要求4所述的方法，其特征在于，将所述多个对象按照热度值由高到低的顺序进行排序，还包括：合并所述多个对象，令合并后所述多个对象按照热度值由高到低连续地存储在一段目标存储空间中。6.如权利要求4或5所述的方法，其特征在于，所述多个对象中每两个对象之间的相似度超过预设阈值。7.如权利要求4
‑
6任一项所述的方法，其特征在于，所述相似度是通过所述对象的相似指纹确定的。8.如权利要求4
‑
7任一项所述的方法，其特征在于，所述方法应用于存储设备，所述存储设备至少包括一级存储器和二级存储器，所述一级存储器的性能高于所述二级存储器；该方法还包括：将压缩后的数据中热度值超过第一预设阈值的部分存储在所述一级存储器；将所述第二数据中热度值低于第二预设阈值的部分存储在所述二级存储器。9.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取压缩后的数据，所述数据至少包括第一部分和第二部分；解压缩模块，用于对所述第一部分进行解压缩；在对所述第一部分解压缩之后，对所述第二部分进行解压缩；其中，所述第一部分的热度值高于所述第二部分的热度值。10.如权利要求9所述的装置...

【专利技术属性】
技术研发人员：程桢，黄增士，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：