数据压缩方法、装置、设备及存储介质制造方法及图纸

本申请涉及数据存储领域，公开了一种数据压缩方法、装置、设备及存储介质，所述方法包括：获取数据表的元数据；根据数据表的存储大小和日期分区表标识对数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表；按照第一分级规则对待压缩的非日期分区表进行冷热分级，以获得待压缩的非日期分区表的使用等级；按照第二分级规则对待压缩的日期分区表中的各分区进行冷热分级，以获得待压缩的日期分区表的各分区的使用等级；根据使用等级按照预设压缩规则确定待压缩的日期分区表和非日期分区表的各分区的目标压缩等级；按照目标压缩等级对待压缩的日期分区表和非日期分区表的各分区进行数据压缩。对数据表进行分类压缩，优化数据表的存储。

Data compression method, device, equipment and storage medium

【技术实现步骤摘要】
数据压缩方法、装置、设备及存储介质
本申请涉及数据存储领域，尤其涉及一种数据压缩方法、装置、设备及存储介质。
技术介绍
目前，随着计算机技术的发展，为了便于数据的调用和查询，大部分企业的企业数据都保存在数据库中，而随着企业的不断发展，数据库中的数据量逐渐增加，企业需要花费大量的硬盘资源去储存这些数据，增加了企业的负担，因此，可以对数据库中的数据进行数据压缩，以减小数据表占用硬盘的大小。目前的数据压缩大多是对数据表进行主观的分类，然后对部分数据表进行全部压缩，但是，依靠主观因素进行压缩的分类可能会导致分类不够合理，并且在分类不合理的情况下，在使用数据表时，需要先对已经压缩了的数据表进行解压操作，不仅消耗资源并且也增加了使用数据表前的等待时间，使用不便。因此，如何对数据表进行分类压缩，以降低数据表占用硬盘的大小，优化数据表的存储成为亟待解决的问题。
技术实现思路
本申请提供了一种数据压缩方法、装置、设备及存储介质，以对数据表进行分类压缩，降低数据表占用硬盘的大小，优化数据表的存储。第一方面，本申请提供了一种数据压缩方法，所述方法包括：获取数据表的元数据，所述元数据包括所述数据表的存储大小和日期分区表标识；根据所述数据表的存储大小和日期分区表标识对所述数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表；按照第一分级规则对所述待压缩的非日期分区表进行冷热分级，以获得所述待压缩的非日期分区表的使用等级；按照第二分级规则对所述待压缩的日期分区表中的各分区进行冷热分级，以获得所述待压缩的日期分区表的各分区的使用等级；根据所述使用等级按照预设压缩规则确定所述待压缩的日期分区表和待压缩的非日期分区表的各分区的目标压缩等级；按照所述目标压缩等级对所述待压缩的日期分区表和待压缩的非日期分区表的各分区进行数据压缩。第二方面，本申请还提供了一种数据压缩装置，所述装置包括：元数据模块，用于获取数据表的元数据，所述元数据包括所述数据表的存储大小和日期分区表标识；表分类模块，用于根据所述数据表的存储大小和日期分区表标识对所述数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表；非日期分级模块，用于按照第一分级规则对所述待压缩的非日期分区表进行冷热分级，以获得所述待压缩的非日期分区表的使用等级；日期分级模块，用于按照第二分级规则对所述待压缩的日期分区表中的各分区进行冷热分级，以获得所述待压缩的日期分区表的各分区的使用等级；压缩等级模块，用于根据所述使用等级按照预设压缩规则确定所述待压缩的日期分区表和待压缩的非日期分区表的各分区的目标压缩等级；数据压缩模块，用于按照所述目标压缩等级对所述待压缩的日期分区表和待压缩的非日期分区表的各分区进行数据压缩。第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据压缩方法。第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据压缩方法。本申请公开了一种数据压缩方法、装置、设备及存储介质，通过从元数据中获取数据表的存储大小和日期分区表标识，并根据数据表的存储大小和日期分区表标识对数据表进行分类，得到待压缩的日期分区表和待压缩的非日期分区表，对于待压缩的日期分区表和待压缩的非日期分区表分别采用不同的分级规则进行冷热分级，从而分别获得待压缩的日期分区表和待压缩的非日期分区表的使用等级，最终根据使用等级按照预设压缩规则确定待压缩的日期分区表和待压缩的非日期分区表的目标压缩等级，并根据确定的目标压缩等级进行数据压缩。根据数据表的类型采取不同的分级规则，并根据数据表的使用等级确定相应的目标压缩等级，从而实现对数据表进行分类压缩，优化数据表的存储。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种数据压缩方法的示意流程图；图2是本申请实施例提供的对数据表进行分类的步骤示意流程图；图3是本申请实施例提供的对待压缩的非日期分区表进行冷热分级的步骤示意流程图；图4是本申请实施例提供的对待压缩的日期分区表中的各分区进行冷热分级的步骤示意流程图；图5为本申请实施例提供的一种数据压缩装置的示意性框图；图6为本申请一实施例提供的一种计算机设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本申请的实施例提供了一种数据压缩方法、装置、计算机设备及存储介质。该数据压缩方法可用于对数据库中的数据表进行分类压缩，从而优化数据表的存储，降低数据表占用硬盘的大小。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本申请实施例提供的一种数据压缩方法的示意流程图。该数据压缩方法通过对数据库中的数据表进行类型和使用次数的分类，对于不同类别的数据表采取不同的压缩方法，以优化数据表的存储。如图1所示，该数据压缩方法，具体包括：步骤S101至步骤S106。S101、获取数据表的元数据。其中，所述元数据是指数据表的数据，包括数据表的存储大小和日期分区表标识等信息。其中，数据表的存储大小是指数据库中的每个数据表所占用磁盘空间的大小，日期分区表标识是指标识该数据表是否是按照日期将数据进行分区储存的数据表的标识。示例性的，获取到的数据表的存储大小可以分别记为：st1、st2、st3……stn，其中，stn对应的是表tn的存储大小。将获取到的数据表的日期分区表标识分别记为：p1、本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，包括：/n获取数据表的元数据，所述元数据包括所述数据表的存储大小和日期分区表标识；/n根据所述数据表的存储大小和日期分区表标识对所述数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表；/n按照第一分级规则对所述待压缩的非日期分区表进行冷热分级，以获得所述待压缩的非日期分区表的使用等级；/n按照第二分级规则对所述待压缩的日期分区表中的各分区进行冷热分级，以获得所述待压缩的日期分区表的各分区的使用等级；/n根据所述使用等级按照预设压缩规则确定所述待压缩的日期分区表和待压缩的非日期分区表的各分区的目标压缩等级；/n按照所述目标压缩等级对所述待压缩的日期分区表和待压缩的非日期分区表的各分区进行数据压缩。/n

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：
获取数据表的元数据，所述元数据包括所述数据表的存储大小和日期分区表标识；
根据所述数据表的存储大小和日期分区表标识对所述数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表；
按照第一分级规则对所述待压缩的非日期分区表进行冷热分级，以获得所述待压缩的非日期分区表的使用等级；
按照第二分级规则对所述待压缩的日期分区表中的各分区进行冷热分级，以获得所述待压缩的日期分区表的各分区的使用等级；
根据所述使用等级按照预设压缩规则确定所述待压缩的日期分区表和待压缩的非日期分区表的各分区的目标压缩等级；
按照所述目标压缩等级对所述待压缩的日期分区表和待压缩的非日期分区表的各分区进行数据压缩。


2.根据权利要求1所述的数据压缩方法，其特征在于，所述根据所述数据表的存储大小和日期分区表标识对所述数据表进行分类，以得到待压缩的日期分区表和待压缩的非日期分区表，包括：
根据所述数据表的存储大小将所述数据表按照存储阈值进行分类，以将所述数据表分为待压缩数据表和非待压缩数据表；
根据日期分区标识将所述待压缩数据表分为待压缩的日期分区表和待压缩的非日期分区表。


3.根据权利要求1所述的数据压缩方法，其特征在于，所述按照第一分级规则对所述待压缩的非日期分区表进行冷热分级，包括：
获取所述待压缩的非日期分区表在预设时段内的访问次数；
根据所述访问次数和第一分级阈值对所述待压缩的非日期分区表进行分级。


4.根据权利要求1所述的数据压缩方法，其特征在于，所述按照第二分级规则对所述待压缩的日期分区表中的各分区进行冷热分级，包括：
获取所述待压缩的日期分区表中的各分区在预设时段内的访问次数；
根据所述访问次数和第二分级阈值对所述待压缩的日期分区表中的各分区进行分级。


5.根据权利要求1所述的数据压缩方法，其特征在于，所述按照所述目标压缩等级对所述待压缩的日期分区表和待压缩的非日期分区表的各分区进行数据压缩，包括：
判断所述待压缩的日期分区表和所述待压缩的非日期分区表的实际可压缩等级；
若所述实际可压缩等级小于目标压缩等级，则按照所述实际可压缩等级对所述待压缩的日期分区表和所述待压缩的非日期分区表的各分区...

【专利技术属性】
技术研发人员：黄一格，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44