一种数据清理方法及终端技术

本发明专利技术公开一种数据清理方法及终端，获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理，由于连接信息能够用于判断源数据库是否连接成功，只有连接成功才可进行数据清理，而结构表的描述信息体现了数据库中数据表的数据存储情况，基于连接信息和描述信息生成每一结构表对应的源数据规划，基于源数据规划对每一源数据库中的结构表进行数据清理，能够针对数据库的多样化数据进行兼容性清理，且实现了大量数据的自动清理，从而有效、快速地清理大量数据。快速地清理大量数据。快速地清理大量数据。

【技术实现步骤摘要】
一种数据清理方法及终端


[0001]本专利技术涉及数据清理
，尤其涉及一种数据清理方法及终端。

技术介绍

[0002]随着业务系统数据量的不断增加，服务器中存储的数据表也越来越多，大量系统数据会随着时间推移占用越来越多的存储空间，影响服务器性能，因此，企业在完成数据分析和挖掘之后，都会定期对服务器中的数据进行清理。目前传统的数据清理大多是基于人工进行数据库SQL(Structured Query Language，结构化查询语言)脚本清理，从而达到数据清理的效果；但这种清理方式效率低且复杂度高，无法准确地清理不需要的数据，且难以满足不同数据库类型的数据处理要求及需求。
[0003]在数据清理的过程中，若需要将数据进行迁移备份，需要固定编码，运维成本较高，编码后还需要重启服务，容易影响业务系统的运行时效性，因此无法快速清理大量数据。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种数据清理方法及终端，能够有效、快速地清理大量数据。
[0005]为了解决上述技术问题，本专利技术采用的一种技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据清理方法，其特征在于，包括：获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理。2.根据权利要求1所述的一种数据清理方法，其特征在于，所述连接信息包括连接状态和连接配置信息；所述基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划包括：判断所述连接信息的所述连接状态是否为连接正常，若是，则根据所述连接配置信息和所述描述信息生成每一所述结构表对应的源数据规划。3.根据权利要求1所述的一种数据清理方法，其特征在于，所述源数据规划包括数据清理规则和数据清理及迁移规则；所述基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理包括：判断所述源数据规划的类型，若为所述数据清理规则，则基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理，若为所述数据清理及迁移规则，则基于所述数据清理及迁移规则对所述每一源数据库中的每一所述结构表进行数据清理。4.根据权利要求3所述的一种数据清理方法，其特征在于，所述数据清理规则包括事前数据清理规则、事中数据清理规则和事后数据清理规则；所述基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理包括：根据所述事中数据清理规则获取所述每一源数据库中的每一所述结构表的待清理数据；判断所述待清理数据是否有匹配的所述事前数据清理规则，若是，则根据所述事前数据清理规则对所述结构表进行事前数据处理，并对所述事前数据处理后的结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；若否，对所述结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；判断所述待清理数据是否有匹配的所述事后数据清理规则，若是，则根据所述事后数据清理规则对所述数据清理后的结构表进行事后数据处理。5.根据权利要求2所述的一种数据清理方法，其特征在于，所述基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理包括：根据所述源数据规划中的所述连接配置信息确定每一源数据库对应的数据库类型；根据所述数据库类型动态插件式调用所述每一源数据库；根据所述源数据规划使用SQL解析工具生成所述每一源数据库的每一所述结构表对应的数据清理任务，并将所述数据清理任务打包发布至分布式定时系统中进行数据清理。6.一种数据清理终端，包括存储器、处理器及存储在存储器上并可在所述处...

【专利技术属性】
技术研发人员：刘柏良，徐晓文，高素华，李国庆，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：