System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据压缩方法和电子设备技术_技高网

数据压缩方法和电子设备技术

技术编号:40364456 阅读:5 留言:0更新日期:2024-02-20 22:11
本申请公开了一种数据压缩方法和电子设备,涉及数据压缩技术领域。其中,数据压缩方法包括:确定待压缩数据的第一数据特征;第一数据特征中可以包括待压缩数据的一个或多个数据特征;根据第一数据特征生成数据压缩算法,并采用生成的数据压缩算法对待压缩数据进行压缩。该方法无需遍历多种数据压缩算法,可以快速实现数据压缩,提高数据压缩的执行效率。

【技术实现步骤摘要】

本申请涉及数据压缩,尤其涉及一种数据压缩方法和电子设备


技术介绍

1、为了使用有限的存储空间存储数量日益增长的数据,可以采用数据压缩算法对原始数据进行压缩,以缩减原始数据占用的存储空间。

2、目前,电子设备可以内置多种数据压缩算法,在对数据进行压缩时,通过轮询的方式遍历多种数据压缩算法,从多种数据压缩算法中选择一种最优的数据压缩算法来压缩数据。然而,如果内置的数据压缩算法较多,通过轮询的方式依次尝试每种数据压缩算法,耗费的时间非常长,数据压缩的执行效率过于低下;如果内置的数据压缩算法较少,又无法保证对每种数据都具有较高的压缩率,导致压缩后的数据可能仍需要占用很大的存储空间。

3、因此,如何同时提高数据压缩的执行效率和数据的压缩率,是一个亟待解决的问题。


技术实现思路

1、本申请实施例提供一种数据压缩方法和电子设备,可以提高数据压缩的执行效率,并提供数据的压缩率。

2、第一方面,本申请实施例提供一种数据压缩方法,由电子设备执行,该方法可以包括:确定待压缩数据的第一数据特征;其中,第一数据特征中可以包括待压缩数据的一个或多个数据特征;根据第一数据特征生成数据压缩算法,并采用生成的数据压缩算法对待压缩数据进行压缩。

3、本申请实施例提供的数据压缩方法,根据待压缩数据的数据特征生成数据压缩算法,用来对待压缩数据进行压缩。该方法无需遍历多种数据压缩算法,可以快速实现数据压缩,提高数据压缩的执行效率。

4、在一种可能的实现方式中,在生成数据压缩算法时,可以根据第一数据特征对应的目标压缩算子生成数据压缩算法。根据待压缩数据的数据特征对应的目标压缩算子生成的数据压缩算法,与其他数据压缩算法相比,更有针对性,可以提高待压缩数据的数据压缩率。

5、在一种可能的实现方式中,电子设备中存储有对应关系信息,对应关系信息中保存有多组数据特征与算子集信息之间的对应关系。根据预存的对应关系信息,可以确定第一数据特征对应的目标算子集信息;根据目标算子集信息所指示的目标压缩算子,生成数据压缩算法。根据预存的对应关系信息,可以快速确定待压缩数据的数据特征对应的目标压缩算子,进一步节省数据压缩所用的时间。

6、在一种可能的实现方式中,目标算子集信息包括至少一个目标压缩算子的标识,以及至少一个目标压缩算子中每个目标压缩算子的权重值;在生成数据压缩算法时,可以根据所述至少一个目标压缩算子的标识,获取目标压缩算子,根据每个目标压缩算子的权重值,将获取的目标压缩算子组合,得到数据压缩算法。

7、示例性地,电子设备中存储有压缩算子库,压缩算子库中包括多种压缩算子。针对目标算子集信息中包含的一个或多个目标压缩算子的标识,从压缩算子库中查找到一个或多个目标压缩算子,根据每个目标压缩算子的权重值,将获取的目标压缩算子组合,例如,按照目标压缩算子的权重值由小到大的顺序,依次将每个目标压缩算子进行组合,可以得到数据压缩算法。

8、上述实施例中,根据每个目标压缩算子的权重值,将目标压缩算子组合,得到的数据压缩算法可以更有效地对待压缩数据进行压缩。

9、在一种可能的实现方式中,可以通过如下方式,确定数据特征与算子集信息的对应关系信息:提取训练数据的第二数据特征,第二数据特征包括训练数据的一个或多个数据特征;第二数据特征为对应关系信息中包含的任意一个数据特征;分别确定第二数据特征中包含的每个数据特征的关联压缩算子,并获取每个关联压缩算子的初始权重值;分别将每个关联压缩算子的初始权重值,作为每个关联压缩算子的待训练权重值,重复执行如下训练过程:根据每个关联压缩算子的待训练权重值,将多个关联压缩算子组合,得到待检验压缩算法;采用待检验压缩算法对训练数据进行压缩,并确定训练数据的压缩率;若训练数据的压缩率未达到设定的收敛条件,则调整每个关联压缩算子的待训练权重值;直至训练数据的压缩率达到设定的收敛条件,根据当前的每个关联压缩算子的标识和每个关联压缩算子的待训练权重值,生成第二数据特征对应的算子集信息。也就是说,将当前的关联压缩算子作为第二数据特征对应的算子集信息所指示的压缩算子,将当前的关联压缩算子的待训练权重值作为第二数据特征对应的算子集信息所指示的压缩算子的权重值,得到第二数据特征与算子集信息的对应关系。其中,收敛条件可以包括相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值。

10、当相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值时,说明训练数据的压缩率已经达到或接近最高,即使再调整关联压缩算子及其对应的权重值,也无法再提高训练数据的压缩率,因此,可以将基于当前的关联压缩算子和当前各关联压缩算子的权重值,生成算子集信息。

11、通过上述训练过程,可以得到多组数据特征与算子集信息的对应关系,并保存在特征与算子对应信息中。使用特征与算子对应信息中的一组数据特征对应的算子集信息,对该数据特征关联的待压缩数据进行压缩时,可以保证具有较高的数据压缩率。

12、在一种可能的实现方式中,在获取训练数据的第二数据特征之后,可以根据保存的数据特征与压缩算子的关联关系,分别确定第二数据特征中的每个数据特征的关联压缩算子;针对第一关联压缩算子,分别获取第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重,得到多个设定映射权重;第一关联压缩算子为关联压缩算子中的任意一个;根据多个设定映射权重,确定第一关联压缩算子的初始权重值。例如,可以将多个设定映射权重之和,作为第一关联压缩算子的初始权重值,或者,可以将多个设定映射权重的平均值,作为第一关联压缩算子的初始权重值。

13、在另一种可能的实现方式中,在获取训练数据的第二数据特征之后,针对第一数据特征,可以分别获取多个压缩算子与第一数据特征之间的设定映射权重;其中,第一数据特征为第二数据特征中的任意一个数据特征;根据每个压缩算子对应的设定映射权重的大小,从多个压缩算子中选择第一设定数量的压缩算子,作为第一数据特征的关联压缩算子;通过上述过程,可以获取每个数据特征的关联压缩算子。针对第一关联压缩算子,可以根据第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重,确定第一关联压缩算子的初始权重值;其中,第一关联压缩算子为关联压缩算子中的任意一个。例如,可以将第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重之和,作为第一关联压缩算子的初始权重值;或者,可以将第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重的平均值,作为第一关联压缩算子的初始权重值。

14、在一种可能的实现方式中,在生成待检验压缩算法时,可以根据每个关联压缩算子的待训练权重值的大小,从多个关联压缩算子中选择第二设定数量的关联压缩算子,将第二设定数量的关联压缩算子组合,得到待检验压缩算法。

1本文档来自技高网...

【技术保护点】

1.一种数据压缩方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述第一数据特征生成数据压缩算法包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一数据特征对应的目标压缩算子生成数据压缩算法,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标算子集信息包括至少一个目标压缩算子的标识,以及所述至少一个目标压缩算子中每个目标压缩算子的权重值;所述根据所述目标算子集信息所指示的目标压缩算子生成数据压缩算法,包括:

5.根据权利要求4所述的方法,其特征在于,所述按照每个目标压缩算子的权重值,将获取的目标压缩算子组合,得到所述数据压缩算法,包括:

6.根据权利要求3~5任一项所述的方法,其特征在于,通过如下方式确定所述对应关系信息:

7.根据权利要求6所述的方法,其特征在于,所述收敛条件包括相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值。

8.根据权利要求6或7所述的方法,其特征在于,所述分别确定所述第二数据特征中包含的每个数据特征的关联压缩算子,包括:

9.根据权利要求6~8任一项所述的方法,其特征在于,所述获取每个关联压缩算子的初始权重值,包括:

10.根据权利要求6~9任一项所述的方法,其特征在于,所述根据每个关联压缩算子的待训练权重值,将多个关联压缩算子组合,得到待检验压缩算法,包括:

11.根据权利要求6~10任一项所述的方法,其特征在于,所述调整每个关联压缩算子的待训练权重值,包括:

12.一种数据压缩装置,其特征在于,包括:

13.根据权利要求12所述的装置,其特征在于,所述数据压缩单元,具体用于:

14.根据权利要求13所述的装置,其特征在于,所述数据压缩单元,具体用于:

15.根据权利要求14所述的装置,其特征在于,所述目标算子集信息包括至少一个目标压缩算子的标识,以及所述至少一个目标压缩算子中每个目标压缩算子的权重值;所述数据压缩单元,具体用于:

16.根据权利要求15所述的装置,其特征在于,所述数据压缩单元,具体用于:

17.根据权利要求14~16任一项所述的装置,其特征在于,所述装置还包括:

18.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序;所述处理器用于读取所述存储器中存储的所述计算机程序并执行,以使得如权利要求1~11任一项所述的方法被执行。

19.一种芯片,其特征在于,包括处理器和供电电路;所述供电电路用于为所述处理器供电,所述处理器用于执行计算机程序,以实现如权利要求1~11任一项所述的方法。

20.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1~11中任一项所述的方法。

21.一种计算机程序产品,其特征在于,包含有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1~11中任一项所述的方法。

...

【技术特征摘要】

1.一种数据压缩方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述第一数据特征生成数据压缩算法包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一数据特征对应的目标压缩算子生成数据压缩算法,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标算子集信息包括至少一个目标压缩算子的标识,以及所述至少一个目标压缩算子中每个目标压缩算子的权重值;所述根据所述目标算子集信息所指示的目标压缩算子生成数据压缩算法,包括:

5.根据权利要求4所述的方法,其特征在于,所述按照每个目标压缩算子的权重值,将获取的目标压缩算子组合,得到所述数据压缩算法,包括:

6.根据权利要求3~5任一项所述的方法,其特征在于,通过如下方式确定所述对应关系信息:

7.根据权利要求6所述的方法,其特征在于,所述收敛条件包括相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值。

8.根据权利要求6或7所述的方法,其特征在于,所述分别确定所述第二数据特征中包含的每个数据特征的关联压缩算子,包括:

9.根据权利要求6~8任一项所述的方法,其特征在于,所述获取每个关联压缩算子的初始权重值,包括:

10.根据权利要求6~9任一项所述的方法,其特征在于,所述根据每个关联压缩算子的待训练权重值,将多个关联压缩算子组合,得到待检验压缩算法,包括:

11.根据权利要...

【专利技术属性】
技术研发人员:夏辉华张希舟
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1