数据压缩方法及装置制造方法及图纸

公开了一种数据压缩方法及装置，涉及数据存储领域，解决了硬件压缩算法对不适配的其他数据类型的压缩效率较低，压缩系统的数据压缩效率受到影响的问题

【技术实现步骤摘要】
数据压缩方法及装置
[0001]本申请要求于
2022
年
06
月
02
日提交国家知识产权局
、
申请号为
202210624708.9、
申请名称为“一种计算设备中的数据处理方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中
。


[0002]本申请涉及数据存储领域，尤其涉及一种数据压缩方法及装置
。

技术介绍

[0003]随着大数据
(big data)、
人工智能
(artificial intelligence
，
AI)、
云计算技术的发展，大量的数据不断产生
。
为了降低数据存储成本，处理器可以采用数据压缩算法压缩原始数据，即将原始数据按照特定方法重构，从而降低数据冗余度，缩减原始数据占用的存储容量
。
针对于不同类型的数据，不同的压缩算法的压缩效率不同
。
压缩系统通常会设置一个硬件加速卡，该硬件加速卡中部署有一种压缩算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据压缩方法，其特征在于，所述方法包括：预处理源数据得到第一数据，所述第一数据的类型适配硬件压缩算法；根据所述硬件压缩算法对所述第一数据进行压缩
。2.
根据权利要求1所述的方法，其特征在于，所述预处理源数据得到第一数据，包括：根据所述硬件压缩算法的数据滑窗，从所述源数据中确定预处理数据；所述数据滑窗用于指示数据压缩过程中查询冗余数据的数据范围，所述预处理数据在所述数据滑窗内存在冗余数据；从所述预处理数据中选择所述第一数据
。3.
根据权利要求2所述的方法，其特征在于，所述预处理源数据得到第一数据，还包括：根据所述硬件压缩算法的数据滑窗，从所述源数据中确定第二数据；所述第二数据在所述数据滑窗内不存在冗余数据；根据所述第二数据的数据类型，选择第一数据压缩模型；根据所述第一数据压缩模型对所述第二数据进行压缩
。4.
根据权利要求1所述的方法，其特征在于，所述源数据包括多个数据块；所述预处理源数据得到第一数据，包括：从所述多个数据块中确定符合设定条件的第三数据块，所述设定条件为：利用所述硬件压缩算法压缩数据块的预测数据量大于或等于所述数据块的数据量；从所述多个数据块中除所述第三数据块外的其他数据块中确定所述第一数据
。5.
根据权利要求4所述的方法，其特征在于，所述方法还包括：输出所述第三数据块
。6.
根据权利要求1所述的方法，其特征在于，所述预处理源数据得到第一数据，包括：对所述源数据进行空间变换，获取所述第一数据和变换信息；所述变换信息用于指示所述源数据和所述第一数据之间的数据映射关系
。7.
根据权利要求6所述的方法，其特征在于，所述方法还包括：获取所述第一数据对应的第一压缩数据；输出所述变换信息和所述第一压缩数据
。8.
根据权利要求1所述的方法，其特征在于，所述预处理源数据得到第一数据，包括：识别所述源数据中符合设定的数据模式的第四数据；所述设定的数据模式包括：数据为全0字串，数据为全1字串，或者字串之间的变化规律符合设置的规律中至少一种；从所述源数据包括的除所述第四数据外的其他数据中确定所述第一数据
。9.
根据权利要求8所述的方法，其特征在于，所述方法还包括：根据所述第四数据的数据模式，选择第二数据压缩模型；根据所述第二数据压缩模型对所述第四数据进行压缩
。10.
根据权利要求1至9中任一项所述的方法，其特征在于，所述硬件压缩算法包括伦佩尔
‑
齐夫
Lz77
压缩算法
。11.
一种数据压缩装置，其特征在于，所述装置应用于压缩设备，所述装置包括：预处理单元，用于预处理源数据得到第一数据，所述第一数据的类型适配硬件压缩算法；硬件压缩单元，用于根据所述硬件压缩算法对所述第一数据进行压缩
。
12.
根据权利要求
11
所述的装置，其特征在于，所述预处理单元，具体用于：根据所述硬件压缩算法的数据滑窗，从所述源数据中确定预处理数据；所述数据滑窗用于指示数据压缩过程中查询冗余数据的数据范围，所述预处理数据在所述数据滑窗内存在冗余数据；所述预处理单元，还具体用于：从所述预处理数据中选择所述第一数据
。13.
根据权利要求
12
所述的装置，其特征在于，所述预处理单元，还具体用于：根据所述硬件压缩算法的数据滑窗，从所述源数据中确定第二数据；所述第二数据在所述数据滑窗内不存在冗余数据；所述预处理单元，还具体用于：根据所述第二数据的数据...

【专利技术属性】
技术研发人员：张剑，张希舟，曹文龙，全绍晖，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：