【技术实现步骤摘要】
本申请涉及大数据领域，尤其涉及一种数据表清理方法、装置、设备、存储介质及程序产品。
技术介绍
1、随着监管部门相关数据安全、信息保护规范要求的出台，明确对于某些满足清理条件的数据必须及时进行清理，若数据未及时清理，则存在被监管部门处罚的风险。需要清理的数据中就包含复杂清理数据表。
2、复杂清理数据表是指不能根据单表的状态标志来判断是否具备清理条件，需要判断多个字段，关联多个表才能进行数据清理的数据表。在实际操作中，对应复杂清理数据表，因为无法定位需要关联哪些数据表进行清理，为了避免数据误删除往往对数据进行冗余存储，或者，依靠开发人员的经验判断需要关联的数据表，该需要关联的数据表中存在清理需要的字段信息，再通过上下游开发人员之间的沟通明确复杂清理数据表的数据清理逻辑，从而执行数据清理。
3、上述对复杂清理数据表的清理需要依靠开发人员的经验，通过上下游开发人员沟通明确清理逻辑，则会存在数据清理效率较低，人力资源投入较多的问题。
技术实现思路
1、本专利技术提供一种数据表清理方法、装置、设备、存储介质及程序产品，用以解决现有技术中存在的数据清理效率较低，人力资源投入较多的问题。
2、第一方面，本专利技术提供一种数据表清理方法，所述方法包括：
3、对各个目标清理要求进行分词处理，获取各个分词处理结果；所述目标清理要求为目标复杂清理数据表对应的清理要求；所述分词处理结果中包含清理字段；
4、针对每一清理字段，确定包含所述清理字段的第
5、根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理sql语句，根据所述清理sql语句对所述目标复杂清理数据表进行清理。
6、可选的，确定包含所述清理字段的第一数据表，包括：
7、在元数据管理系统中检索包含所述清理字段的第一数据表；所述元数据管理系统中记录有各个数据表分别对应的字段信息。
8、可选的，所述元数据管理系统中还记录有各个数据表分别对应的加工sql语句；所述加工sql语句用于表示所述数据表的加工过程；从所述第一数据表中筛选第二数据表，包括：
9、针对每一所述第一数据表，对所述加工sql语句进行血缘分析以获取血缘分析结果；所述血缘分析结果包括所述清理字段的来源表；
10、根据各个第一数据表的血缘分析结果确定所述清理字段的来源表为自身的所述第二数据表；每一清理字段对应至少一个所述第二数据表。
11、可选的，根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理sql语句，包括：
12、生成清理参数表；所述清理参数表中包括所述目标复杂清理数据表、所述分词处理结果、第二数据表和目标字段的名称；所述目标字段的名称为所述第二数据表中与所述清理字段对应的字段名称；
13、将账户id字段确定为关联字段；
14、根据所述关联字段和所述清理参数表生成针对所述目标复杂清理数据表的清理sql语句。
15、可选的，所述分词处理结果还包括：判断逻辑、清理条件；根据所述关联字段和所述清理参数表生成针对所述目标复杂清理数据表的清理sql语句，包括：
16、根据清理sql语句模板、所述关联字段和所述清理参数表生成针对所述目标复杂清理数据表的清理sql语句；所述清理sql语句模板中包含分别由目标字段、判断逻辑、清理条件组成的筛选条件之间的关系。
17、可选的，所述方法还包括：
18、将所述目标复杂清理数据表对应的所述清理参数表存储到所述元数据管理系统；
19、当所述清理参数表中任一所述第二数据表不再记录所述目标字段时，则更新所述清理参数表，并根据更新后的所述清理参数表重新生成所述清理sql语句。
20、第二方面，本专利技术提供一种数据表清理装置，所述装置包括：
21、分词处理模块，用于对各个目标清理要求进行分词处理，获取各个分词处理结果；所述目标清理要求为目标复杂清理数据表对应的清理要求；所述分词处理结果中包含清理字段；
22、筛选模块，用于针对每一清理字段，确定包含所述清理字段的第一数据表，从所述第一数据表中筛选第二数据表；所述第二数据表为关于所述清理字段的原始数据表；
23、处理模块，用于根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理sql语句，根据所述清理sql语句对所述目标复杂清理数据表进行清理。
24、第三方面，本专利技术提供一种电子设备，包括：至少一个处理器和存储器；
25、存储器存储计算机执行指令；
26、至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项的方法。
27、第四方面，本专利技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面任一项的方法。
28、第五方面，本专利技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的方法。
29、本专利技术提供的一种数据表清理方法、装置、设备、存储介质及程序产品，通过对各个目标清理要求进行分词处理，获取各个分词处理结果，所述目标清理要求为目标复杂清理数据表对应的清理要求；所述分词处理结果中包含清理字段，针对每一清理字段，确定包含所述清理字段的第一数据表，从所述第一数据表中筛选第二数据表；所述第二数据表为关于所述清理字段的原始数据表，根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理sql语句，根据所述清理sql语句对所述目标复杂清理数据表进行清理，通过对目标清理要求进行分词处理并确定包含清理字段的原始数据表，从而生成清理sql语句，实现对复杂清理数据表的自动化清理，可以提高清理效率，减少人力资源的消耗。
本文档来自技高网...【技术保护点】
1.一种数据表清理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定包含所述清理字段的第一数据表，包括：
3.根据权利要求2所述的方法，其特征在于，所述元数据管理系统中还记录有各个数据表分别对应的加工SQL语句；所述加工SQL语句用于表示所述数据表的加工过程；从所述第一数据表中筛选第二数据表，包括：
4.根据权利要求1所述的方法，其特征在于，根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理SQL语句，包括：
5.根据权利要求4所述的方法，其特征在于，所述分词处理结果还包括：判断逻辑、清理条件；根据所述关联字段和所述清理参数表生成针对所述目标复杂清理数据表的清理SQL语句，包括：
6.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
7.一种数据表清理装置，其特征在于，所述装置包括：
8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种数据表清理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定包含所述清理字段的第一数据表，包括：
3.根据权利要求2所述的方法，其特征在于，所述元数据管理系统中还记录有各个数据表分别对应的加工sql语句；所述加工sql语句用于表示所述数据表的加工过程；从所述第一数据表中筛选第二数据表，包括：
4.根据权利要求1所述的方法，其特征在于，根据所述第二数据表中的所述清理字段和所述分词处理结果生成清理sql语句，包括：
5.根据权利要求4所述的方法，其特征在于，所述分词处理结果还包括：判断逻辑、清理条件；根据所述关联字段...
【专利技术属性】
技术研发人员：赵乐，张海军，李甲长，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。