【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种基于mysql数据库的数据清理方法、装置、设备和存储介质。
技术介绍
1、mysql是目前最流行的开源关系型数据库管理系统，它被广泛应用于web应用程序和各种类型的软件开发中。然而，随着时间推移和业务发展，数据库中的数据不断增加，再加之数据复制、数据备份、数据冗余等原因，使得mysql数据库的数据量越来越大。数据量过大不仅会造成存储资源的浪费，还会出现mysql数据库的i/o性能降低，数据维护困难的问题。因此，亟需提供一种能够对mysql数据库中的数据进行定期清理，防止数据表数据量过大的方法。
技术实现思路
1、有鉴于此，本公开实施例提供了一种基于mysql数据库的数据清理方法、装置、设备和存储介质，能够对mysql数据库中的数据进行定期清理，防止数据表数据量过大。
2、第一方面，本公开实施例提供了一种基于mysql数据库的数据清理方法，采用如下技术方案：
3、所述基于mysql数据库的数据清理方法包括：
4、根据mysql数据库中的多个数据表对应的清理规则，构建清理规则表；
5、定期遍历所述清理规则表，根据清理规则确认所述mysql数据库中是否存在待清理的目标数据表；
6、若存在待清理的目标数据表，则从所述mysql数据库中取出所述目标数据表，根据所述目标数据表和对应的清理规则组装第一sql语句；
7、根据所述第一sql语句，在所述目标数据表中查询符合清理规则的待清理数据；p>
8、判断所述待清理数据是否需要转存；
9、若需要转存，则将所述待清理数据转存至存储服务器；
10、将所述待清理数据从所述目标数据表中删除。
11、可选地，所述根据mysql数据库中的多个数据表对应的清理规则，构建清理规则表，包括：
12、在所述mysql数据库中新建数据库配置表；
13、拆分对应的清理规则，将所述拆分后的清理规则存入所述数据库配置表中，得到所述清理规则表。
14、可选地，所述数据清理方法还包括：在定期遍历所述清理规则表之前，将所述清理规则表存储到内存中；
15、所述遍历所述清理规则表，包括：遍历所述内存中的所述清理规则表。
16、可选地，所述判断所述待清理数据是否需要转存，包括：
17、根据所述待清理数据的关键信息，在所述mysql数据库的其他数据表中查找是否有相似度高于预设阈值的相似数据；
18、若有，则所述待清理数据不需要转存，若没有，则所述待清理数据需要转存；
19、重复以上步骤，直至判断完成所述待清理数据是否需要转存。
20、可选地，所述数据清理方法还包括：在将所述待清理数据从所述目标数据表中删除后，形成清理日志，所述清理日志中记录：已经删除数据的信息，以及，已经删除且不需要转存的数据的相似数据在其他数据表中的存储位置，以便在响应于查询所述已经删除且不需要转存的数据的命令，根据所述存储位置调取所述相似数据。
21、可选地，所述将所述待清理数据转存至存储服务器包括：将所述待清理数据从所述mysql数据库中导出，并以压缩文件的形式上传至所述存储服务器。
22、可选地，所述将所述待清理数据从所述mysql数据库中导出，并以压缩文件的形式上传至所述存储服务器，包括：
23、将待清理数据导出为本地文件；
24、将所述本地文件进行压缩，得到压缩包；
25、将所述压缩包上传至所述存储服务器。
26、第二方面，本公开实施例提供了一种基于mysql数据库的数据清理装置，采用如下技术方案：
27、所述数据清理装置包括：
28、构建模块，用于根据mysql数据库中的多个数据表对应的清理规则，构建清理规则表；
29、遍历模块，用于定期遍历所述清理规则表，根据清理规则确认所述mysql数据库中是否存在待清理的目标数据表；
30、组装模块，用于在所述mysql数据库中存在待清理的目标数据表时，从所述mysql数据库中取出所述目标数据表，根据所述目标数据表和对应的清理规则组装第一sql语句；
31、查询模块，用于根据所述第一sql语句，在所述目标数据表中查询符合清理规则的待清理数据；
32、判断模块，用于判断所述待清理数据是否需要转存；
33、转存模块，用于在需要转存时，将所述待清理数据转存至存储服务器；
34、删除模块，用于将所述待清理数据从所述目标数据表中删除。
35、第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：
36、所述电子设备包括：
37、至少一个处理器；以及，
38、与所述至少一个处理器通信连接的存储器；其中，
39、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的基于mysql数据库的数据清理方法。
40、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的基于mysql数据库的数据清理方法。
41、本公开实施例提供了基于mysql数据库的数据清理方法、装置、设备和存储介质，由于在数据清理方法中，根据mysql数据库中的多个数据表对应的清理规则，构建清理规则表，定期遍历清理规则表，根据清理规则确认mysql数据库中是否存在待清理的目标数据表，若存在待清理的目标数据表，则从mysql数据库中取出目标数据表，根据目标数据表和对应的清理规则组装第一sql语句，根据第一sql语句，在目标数据表中查询符合清理规则的待清理数据，判断待清理数据是否需要转存；若需要转存，则将其转存至存储服务器，将待清理数据从目标数据表中删除。在以上数据清理方法中，不仅能够实现对mysql数据库中的数据根据清理规则进行定期清理，还能够在清理过程中兼顾到数据转存的需求，对有需要的数据进行转存，既达到了防止mysql数据库中数据表数据量过大的目的，还兼顾了数据存储的全面性。
42、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
本文档来自技高网...【技术保护点】
1.一种基于MYSQL数据库的数据清理方法，其特征在于，包括：
2.根据权利要求1所述的数据清理方法，其特征在于，所述根据MYSQL数据库中的多个数据表对应的清理规则，构建清理规则表，包括：
3.根据权利要求1所述的数据清理方法，其特征在于，还包括：在定期遍历所述清理规则表之前，将所述清理规则表存储到内存中；
4.根据权利要求1所述的数据清理方法，其特征在于，所述判断所述待清理数据是否需要转存，包括：
5.根据权利要求4所述的数据清理方法，其特征在于，还包括：在将所述待清理数据从所述目标数据表中删除后，形成清理日志，所述清理日志中记录：已经删除数据的信息，以及，已经删除且不需要转存的数据的相似数据在其他数据表中的存储位置，以便在响应于查询所述已经删除且不需要转存的数据的命令，根据所述存储位置调取所述相似数据。
6.根据权利要求1所述的数据清理方法，其特征在于，所述将所述待清理数据转存至存储服务器包括：将所述待清理数据从所述MYSQL数据库中导出，并以压缩文件的形式上传至所述存储服务器。
7.根据权利要求1所述
8.一种基于MYSQL数据库的数据清理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的基于MYSQL数据库的数据清理方法。
...【技术特征摘要】
1.一种基于mysql数据库的数据清理方法，其特征在于，包括：
2.根据权利要求1所述的数据清理方法，其特征在于，所述根据mysql数据库中的多个数据表对应的清理规则，构建清理规则表，包括：
3.根据权利要求1所述的数据清理方法，其特征在于，还包括：在定期遍历所述清理规则表之前，将所述清理规则表存储到内存中；
4.根据权利要求1所述的数据清理方法，其特征在于，所述判断所述待清理数据是否需要转存，包括：
5.根据权利要求4所述的数据清理方法，其特征在于，还包括：在将所述待清理数据从所述目标数据表中删除后，形成清理日志，所述清理日志中记录：已经删除数据的信息，以及，已经删除且不需要转存的数据的相似数据在其他数据表中的存储位置，以便在响应于查询所述已经删除且不需要转存...
【专利技术属性】
技术研发人员：林皓，陈家富，王哲，熊明强，贾春燕，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。