一种数据库归档清理方法及系统、服务器及存储介质技术方案

本发明专利技术公开了一种数据库归档清理方法及系统、服务器及存储介质，其通过获取归档信息，从归档信息中提取得到归档起始分区信息；根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；然后获取清理信息，从清理信息中提取得到清理起始分区信息，根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理。从而不仅可以实现程序从动归档，而且保证了整个归档过程数据的零丢失和有效性，更增加了对数据完整性的验证，对后端数据库进行归档清理具有很大的借鉴意义。

A database archiving and cleaning method and system, server and storage medium

The invention discloses a database archiving cleaning method and a system, a server and a storage medium, which obtain archiving information from archiving information to obtain archiving initiation partition information; according to the archiving initiation partition information, the corresponding partition data is filtered out from the data to be processed, and the exported partition data is exported. Correct archiving; then get the cleaning information, get the cleaning start partition information from the cleaning information, according to the cleaning start partition information from the correctly archived partition data to filter out the corresponding partition data cleaning. Thus not only can the program be archived passively, but also can ensure the zero loss and validity of the whole archiving process data, and also increase the verification of data integrity, which is of great significance to the backend database archiving cleaning.

【技术实现步骤摘要】
一种数据库归档清理方法及系统、服务器及存储介质
本专利技术涉及软件开发领域，尤其涉及一种数据库归档清理方法及系统、服务器及存储介质。
技术介绍
随着MySQL数据库在互联网企业的大量应用，越来越多的数据选择使用MySQL作为后端存储的一种数据库选型；但随着业务的不断扩展，线上存储的数据越来越多，及时进行数据归档和清理越来越成为困扰数据库维护的一个大难题，现有为了保证归档清理数据的安全性和有效性，主要还停留在手工操作的阶段，这种操作手段不仅耗时，效率低下，而且出现人工失误的风险更大，同时无法对归档数据进行实时验证。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据库归档清理方法及系统、服务器及存储介质，以解决手工操作效率低下、且无法保证归档数据完整性的问题。本专利技术实施例的第一方面，提供了一种数据库归档清理方法，其包括：获取归档信息，从归档信息中提取得到归档起始分区信息；根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；获取清理信息，从清理信息中提取得到清理起始分区信息；根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理。本专利技术实施例的第二方面，提供了一种数据库归档清理系统，其包括：归档信息提取模块：用于获取归档信息，从归档信息中提取得到归档起始分区信息；数据归档模块：用于根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；清理信息提取模块：用于获取清理信息，从清理信息中提取得到清理起始分区信息；数据清理模块：用于根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理。本专利技术实施例的第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。本专利技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。本专利技术实施例中，通过根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；并根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理，从而不仅可以实现程序从动归档，而且保证了整个归档过程数据的零丢失和有效性，更增加了对数据完整性的验证，对后端数据库进行归档清理具有很大的借鉴意义。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的数据库归档清理方法的流程框图；图2为本专利技术实施例提供的步骤S2的子流程框图；图3为本专利技术实施例提供的数据归档的步骤流程图；图4为本专利技术实施例提供的步骤S4的子流程框图；图5为本专利技术实施例提供的数据清理的步骤流程图；图6为本专利技术实施例提供的数据库归档清理系统的模块框图；图7为本专利技术实施例提供的数据归档模块的单元框图；图8为本专利技术实施例提供的数据清理模块的单元框图；图9为本专利技术实施例提供的服务器的结构示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路、以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。如图1所示，本专利技术实施例提供的数据库归档清理方法，其包括：S1、获取归档信息，从归档信息中提取得到归档起始分区信息。首先提供需要进行归档的表数据，所述表数据包括需要归档的库名、表名、归档起始分区、归档结束分区信息，然后对这些信息进行解析，即根据表的分区信息划分不同的粒度，从中提取得到归档起始分区信息。S2、根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；如图2所示，具体操作如下：S21、根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并获取分区数据归档导出的数据量；S22、将分区数据导入到验证数据库中，并记录分区数据导入的数据量；S23、将导出的数据量与导入的数据量进行对比，当对比结果一致时，判断数据归档成功。即如图3所示，根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，记录分区数据归档导出的数据量，并将同一分区数据作为一个单独的文件导出，以减少了对数据库的负载，同时也增加导出的效率。为了验证导出数据文件是否有效以及导出数据是否正常，将导出的文件再次导入到另外一个离线的验证数据库中，从而保证文件是可用的，防止文件破损的意外；如果文件导入成功，则文件可用；如果文件导入失败，则文件不可用，记录归档失败信息。在归档文件可用性得到保证的同时，再对导入和导出的数据量进行比较，如果相同，则归档成功，并将数据量写入数据库；如果不相同，代表归档过程有数据丢失，归档失败，并将失败记录写入数据库，以备未来进行检验验证。S3、获取清理信息，从清理信息中提取得到清理起始分区信息；提供需要进行清理的表数据，所述表数据包括需要归档的库名、表名、清理起始分区、清理结束分区信息，然后对这些信息进行解析，即根据表的分区信息划分不同的粒度，从而得到清理起始分区信息。S4、根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理；如图4所示，其具体操作如下：S41、根据数据归档结果来验证归档后的分区数据是否正确归档；S42、当数据归档成功则判断本文档来自技高网...

【技术保护点】
1.一种数据库归档清理方法，其特征在于，包括：获取归档信息，从归档信息中提取得到归档起始分区信息；根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；获取清理信息，从清理信息中提取得到清理起始分区信息；根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理。

【技术特征摘要】
1.一种数据库归档清理方法，其特征在于，包括：获取归档信息，从归档信息中提取得到归档起始分区信息；根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档；获取清理信息，从清理信息中提取得到清理起始分区信息；根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理。2.根据权利要求1所述数据库归档清理方法，其特征在于，在筛选出对应的分区数据后，将同一分区数据作为一个单独的文件导出。3.根据权利要求1所述数据库归档清理方法，其特征在于，所述根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并对导出的分区数据进行正确归档的具体步骤如下：根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出，并获取分区数据归档导出的数据量；将分区数据导入到验证数据库中，并记录分区数据导入的数据量；将导出的数据量与导入的数据量进行对比，当对比结果一致时，判断数据归档成功。4.根据权利要求3所述数据库归档清理方法，其特征在于，所述根据清理起始分区信息从正确归档的分区数据中筛选出对应的分区数据进行清理的具体步骤如下：根据数据归档结果来验证归档后的分区数据是否正确归档；当数据归档成功则判断数据正确归档，并根据清理起始分区信息从正确归档的数据中筛选出对应的分区数据进行清理；当数据归档失败则判断数据错误归档，则进行回滚清理操作。5.一种数据库归档清理系统，其特征在于，包括：归档信息提取模块：用于获取归档信息，从归档信息中提取得到归档起始分区信息；数据归档模块：用于根据归档起始分区信息,将从待整理数据中筛选出对应的分区数据导出...

【专利技术属性】
技术研发人员：赵闪，张文明，陈少杰，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北,42