数据压缩方法、数据压缩装置、介质及设备制造方法及图纸

本申请提供一种数据压缩方法、数据压缩装置、计算机可读存储介质及电子设备，涉及数据压缩技术领域，该方法可以基于待压缩数据中各字段对应的词频，为待压缩数据生成个性化的压缩标识集合，基于个性化的压缩标识集合对待压缩数据进行压缩，可以降低压缩率，并提升压缩性能和解压性能，即，相较于相关技术，可以实现更优越的压缩效果。此外，由于本申请可以依据各字段对应的词频生成个性化的压缩标识集合，因此，个性化的压缩标识集合与待压缩数据的匹配度更高，在保证压缩率、压缩性能和解压性能的前提下，可以避免浪费设备资源，即，可以使用最少的设备资源实现最佳的压缩效果。最少的设备资源实现最佳的压缩效果。最少的设备资源实现最佳的压缩效果。

【技术实现步骤摘要】
数据压缩方法、数据压缩装置、介质及设备


[0001]本申请涉及数据压缩
，具体而言，涉及一种数据压缩方法、数据压缩装置、计算机可读存储介质及电子设备。

技术介绍

[0002]数据压缩(Data Compression，DC)，是用更少的空间对原有数据进行编码的过程，在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。通常，压缩率、压缩性能、解压性能等可以用作评价压缩效果的指标。
[0003]一般来说，数据压缩采用的手段在于：通过较少的数据位表示较多的数据位的数据，或者，应用压缩算法实现数据压缩。同一压缩算法对不同类型数据的压缩效果差别较大，而实际业务场景中，待压缩的数据通常不具备统一的特性，因此，对所有待压缩的数据都应用现有方式进行统一压缩，可能会出现压缩效果不佳的问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的相关技术的信息。

技术实现思路

[0005]本申请的目的在于提供一种数据压缩方法、数据压缩装置、计算机可读存储介质及电子设备，可以基于待压缩数据中各字段对应的词频，为待压缩数据生成个性化的压缩标识集合，基于个性化的压缩标识集合对待压缩数据进行压缩，可以降低压缩率，并提升压缩性能和解压性能，即，相较于相关技术，可以实现更优越的压缩效果。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请的一方面，提供一种数据压缩方法，该方法包括：
[0008]获取待压缩数据，并确定待压缩数据中各字段对应的词频，得到词频集合；
[0009]基于词频集合，差异化生成针对待压缩数据中的字段的压缩标识，得到压缩标识集合；
[0010]基于压缩标识集合对待压缩数据进行压缩，得到第一压缩结果。
[0011]根据本申请的一方面，提供一种数据压缩装置，该装置包括：
[0012]词频获取单元，用于获取待压缩数据，并确定待压缩数据中各字段对应的词频，得到词频集合；
[0013]压缩标识生成单元，用于基于词频集合，差异化生成针对待压缩数据中的字段的压缩标识，得到压缩标识集合；
[0014]数据压缩单元，用于基于压缩标识集合对待压缩数据进行压缩，得到第一压缩结果。
[0015]根据本申请的一方面，提供一种计算机程序产品或计算机程序，该计算机程序产
品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。
[0016]根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的方法。
[0017]根据本申请的一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的方法。
[0018]本申请示例性实施例可以具有以下部分或全部有益效果：
[0019]在本申请的一示例实施方式所提供的数据压缩方法中，可以基于待压缩数据中各字段对应的词频，为待压缩数据生成个性化的压缩标识集合，基于个性化的压缩标识集合对待压缩数据进行压缩，可以降低压缩率，并提升压缩性能和解压性能，即，相较于相关技术，可以实现更优越的压缩效果。此外，由于本申请可以依据各字段对应的词频生成个性化的压缩标识集合，因此，个性化的压缩标识集合与待压缩数据的匹配度更高，在保证压缩率、压缩性能和解压性能的前提下，可以避免浪费设备资源，即，可以使用最少的设备资源实现最佳的压缩效果。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1示意性示出了根据本申请的一个实施例的数据压缩方法的流程图；
[0023]图2示意性示出了根据本申请的一个实施例的用于实现数据压缩方法的架构示意图；
[0024]图3示意性示出了根据本申请的一个实施例的算法压缩模块中包含的算法示意图；
[0025]图4示意性示出了根据本申请的另一个实施例的数据压缩方法的流程图；
[0026]图5示意性示出了根据本申请的一个实施例的数据压缩装置的结构示意图；
[0027]图6示意性示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可
以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。
[0029]请参阅图1，图1示意性示出了根据本申请的一个实施例的数据压缩方法的流程图。如图1所示，该方法包括如下步骤。
[0030]步骤S110：获取待压缩数据，并确定待压缩数据中各字段对应的词频，得到词频集合。
[0031]步骤S120：基于词频集合，差异化生成针对待压缩数据中的字段的压缩标识，得到压缩标识集合。
[0032]步骤S130：基于压缩标识集合对待压缩数据进行压缩，得到第一压缩结果。
[0033]实施图1所示的方法，可以基于待压缩数据中各字段对应的词频，为待压缩数据生成个性化的压缩标识集合，基于个性化的压缩标识集合对待压缩数据进行压缩，可以降低压缩率，并提升压缩性能和解压性能，即，相较于相关技术，可以实现更优越的压缩效果。此外，由于本申请可以依据各字段对应的词频生成个性化的压缩标识集合，因此，个性化的压缩标识集合与待压缩数据的匹配度更高，在保证压缩率、压缩性能和解压性能的前提下，可以避免浪费设备资源，即，可以使用最少的设备资源实现最佳的压缩效果。
[0034]下面，对于本示例实施方式的上述步骤进行更加详细的说明。
[0035]在步骤S110中，获取待压缩数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：获取待压缩数据，并确定所述待压缩数据中各字段对应的词频，得到词频集合；基于所述词频集合，差异化生成针对所述待压缩数据中的字段的压缩标识，得到压缩标识集合；基于所述压缩标识集合对所述待压缩数据进行压缩，得到第一压缩结果。2.根据权利要求1所述的方法，其特征在于，基于所述词频集合，差异化生成针对所述待压缩数据中的字段的压缩标识，得到压缩标识集合，包括：从所述词频集合中确定处于第一阈值范围的一类词频，将各所述一类词频对应的字段确定为无需压缩字段；从所述词频集合中确定处于第二阈值范围的二类词频，确定各所述二类词频对应的压缩存储容量；其中，所述第二阈值范围的下限值大于所述第一阈值范围的上限值；根据各所述二类词频对应的压缩存储容量，差异化生成各所述二类词频对应的字段的压缩标识。3.根据权利要求2所述的方法，其特征在于，确定各所述二类词频对应的压缩存储容量，包括：根据各所述二类词频所属的词频范围，确定各所述二类词频对应的压缩存储容量；其中，所述第二阈值范围包含各所述词频范围。4.根据权利要求1所述的方法，其特征在于，还包括：基于数据类别对所述第一压缩结果中的数据进行分组，得到多个数据组；对所述多个数据组进行组内数据合并，得到多个合并结果；将所述多个合并结果确定为第二压缩结果。5.根据权利要求4所述的方法，其特征在于，还包括：响应于数据处理逻辑插入操作，基于数据处理逻辑调整所述第二压缩结果，以得到第三压缩结果。6.根据权利要求5所述的方法，其特征在于，还包...

【专利技术属性】
技术研发人员：汪忠祥，
申请(专利权)人：同盾网络科技有限公司，
类型：发明
国别省市：