数据压缩方法及装置、存储介质制造方法及图纸

本申请公开了一种数据压缩方法及装置、存储介质。该方法包括：确定给定数据块压缩过程中计算资源的使用情况；以及根据所述给定数据块压缩过程中计算资源的使用情况，确定待压缩的数据块所需的计算资源，其中，所述待压缩的数据块与所述给定数据块具有相似性。采用本申请的方案，通过确定压缩过程中所需的计算资源来确定压缩性能，提高了数据压缩过程中压缩性能。能。能。

【技术实现步骤摘要】
数据压缩方法及装置、存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据压缩方法及装置、存储介质。

技术介绍

[0002]目前存在的压缩技术利用传统信息理论得到的算法。这导致压缩，尤其是无损压缩的结果就是查找和移除文件中的冗余数据。传统的压缩算法，即使是那些利用AI和ML的新的压缩算法，均聚焦于冗余。发现的冗余越多，压缩比会更好。
[0003]例如，哈夫曼(Huffman)和行程长度(Run
‑
length)算法倾向于发现纯粹的冗余，意味着它们倾向于注意到一块数据(例如文本的特征)，从而在更大块的数据中尽可能地发现大量的和该块数据完全相同的复制的数据。那些算法在某种程度上执行得较好，但是它们的主要的问题是它们已经发展到压缩的瓶颈，所有那些基于冗余的算法不能发现新的产生冗余的方式。
[0004]已有的方法都是基于去除或减少选出的数据块中存在的冗余。除了专注于存在的冗余，而不是产生更多的冗余，传统的压缩算法的问题实质在于它们均考虑了具有固定大小的或一定大小可变的数据块，或者考虑了仅存在于一个文件中的包含的所有的大量的数据块。并且大部分的传统的压缩算法仅执行检查小数据块中的冗余，也就是2的指数(即4,8,16,32,63,128,256字节)。
[0005]仅依赖于已有的在小块数据中发现冗余，限制了那些传统的压缩算法的性能。

技术实现思路

[0006]本申请提供一种数据压缩方法及装置、存储介质，以提高数据压缩过程中的压缩性能。
[0007]第一方面，提供了一种数据压缩方法，所述方法包括：
[0008]确定给定数据块压缩过程中计算资源的使用情况；
[0009]根据所述给定数据块压缩过程中计算资源的使用情况，确定待压缩的数据块所需的计算资源，其中，所述待压缩的数据块与所述给定数据块具有相似性。
[0010]在一种可能的实现中，所述给定数据块压缩过程中计算资源的使用情况包括以下至少一项：
[0011]被用于最后一个压缩文件的计算资源；
[0012]被应用于压缩过的整个文件的计算资源。
[0013]在另一种可能的实现中，所述确定给定数据块压缩过程中计算资源的使用情况，包括：
[0014]读取压缩数据时的元件性能，以测量所述给定数据块压缩过程中计算资源的使用情况。
[0015]在又一种可能的实现中，所述方法还包括：
[0016]基于人工智能驱动的算法使用对应的性能标签评估压缩算法的性能。
[0017]在又一种可能的实现中，所述方法还包括：
[0018]读取设定大小的待压缩的数据块；
[0019]分析在所述待压缩的数据块中增加冗余的可能性；
[0020]确定在所述待压缩的数据块中生成冗余数据的函数的索引号；
[0021]采用所述索引号对应的函数在所述待压缩的数据块中生成冗余数据。
[0022]在又一种可能的实现中，所述分析在所述待压缩的数据块中增加冗余的可能性，包括：
[0023]根据所述待压缩的数据块的数据类型，分析在所述待压缩的数据块中增加冗余的可能性。
[0024]在又一种可能的实现中，所述方法还包括：
[0025]生成热图，所述热图包括在所述待压缩的数据块中冗余的m位长的高值数字，m为正整数。
[0026]在又一种可能的实现中，所述方法还包括：
[0027]将所述冗余数据存储在所述待压缩的数据块中。
[0028]第二方面，提供了一种数据压缩装置，所述装置包括：
[0029]第一确定单元，用于确定给定数据块压缩过程中计算资源的使用情况；
[0030]第二确定单元，用于根据所述给定数据块压缩过程中计算资源的使用情况，确定待压缩的数据块所需的计算资源，其中，所述待压缩的数据块与所述给定数据块具有相似性。
[0031]在一种可能的实现中，所述给定数据块压缩过程中计算资源的使用情况包括以下至少一项：
[0032]被用于最后一个压缩文件的计算资源；
[0033]被应用于压缩过的整个文件的计算资源。
[0034]在另一种可能的实现中，所述第一确定单元，用于读取压缩数据时的元件性能，以测量所述给定数据块压缩过程中计算资源的使用情况。
[0035]在又一种可能的实现中，所述装置还包括：
[0036]评估单元，用于基于人工智能驱动的算法使用对应的性能标签评估压缩算法的性能。
[0037]在又一种可能的实现中，所述装置还包括：
[0038]读取单元，用于读取设定大小的待压缩的数据块；
[0039]分析单元，用于分析在所述待压缩的数据块中增加冗余的可能性；
[0040]第三确定单元，用于确定在所述待压缩的数据块中生成冗余数据的函数的索引号；
[0041]第一生成单元，用于采用所述索引号对应的函数在所述待压缩的数据块中生成冗余数据。
[0042]在又一种可能的实现中，所述分析单元，用于根据所述待压缩的数据块的数据类型，分析在所述待压缩的数据块中增加冗余的可能性。
[0043]在又一种可能的实现中，所述装置还包括：
[0044]第二生成单元，用于生成热图，所述热图包括在所述待压缩的数据块中冗余的m位
长的高值数字，m为正整数。
[0045]在又一种可能的实现中，所述装置还包括：
[0046]存储单元，用于将所述冗余数据存储在所述待压缩的数据块中。
[0047]第三方面，提供了一种数据压缩装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种实现所述的方法。
[0048]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第一方面的任一种实现所述的方法。
[0049]采用本申请的数据压缩方案，具有如下有益效果：
[0050]通过确定压缩过程中所需的计算资源来确定压缩性能，提高了数据压缩过程中压缩性能。
附图说明
[0051]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]图1为本申请实施例提供的一种数据压缩方法的流程示意图；
[0053]图2为本申请实施例提供的另一种数据压缩方法的流程示意图；
[0054]图3为本申请实施例提供的一种数据压缩装置的结构示意图；
[0055]图4为本申请实施例提供的另一种数据压缩装置的结构示意图。
具体实施方式
[0056]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：确定给定数据块压缩过程中计算资源的使用情况；根据所述给定数据块压缩过程中计算资源的使用情况，确定待压缩的数据块所需的计算资源，其中，所述待压缩的数据块与所述给定数据块具有相似性。2.根据权利要求1所述的方法，其特征在于，所述给定数据块压缩过程中计算资源的使用情况包括以下至少一项：被用于最后一个压缩文件的计算资源；被应用于压缩过的整个文件的计算资源。3.根据权利要求2所述的方法，其特征在于，所述确定给定数据块压缩过程中计算资源的使用情况，包括：读取压缩数据时的元件性能，以测量所述给定数据块压缩过程中计算资源的使用情况。4.根据权利要求1～3中任一项所述的方法，其特征在于，所述方法还包括：基于人工智能驱动的算法使用对应的性能标签评估压缩算法的性能。5.根据权利要求1～3中任一项所述的方法，其特征在于，所述方法还包括：读取设定大小的所述待压缩的数据块；分析在所述待压缩的数据块中增加冗余的可能性；确定在所述待压缩的数据块中生成冗余数据的函数的索引号；采用所述索引号对应的...

【专利技术属性】
技术研发人员：白志得，哈米德，白智德，黄坤，殷燕，
申请(专利权)人：深圳智慧林网络科技有限公司，
类型：发明
国别省市：