数据清理方法、装置、设备、介质和程序产品制造方法及图纸

本公开提供了一种数据清理方法、装置、设备、介质和程序产品，涉及数据处理技术领域，可以应用于金融科技领域或其他领域。该数据清理方法包括：根据数据库中待清理的数据表，获取第一清理条件，第一清理条件包括至少一个条件占位符，数据库中每个数据表配置有至少一个第一清理条件，为至少两个数据表配置的第一清理条件中的至少一个条件占位符不同；根据待清理的数据表，将第一清理条件中的至少一个条件占位符替换为目标值，以得到第二清理条件；将第二清理条件作为入参，调用查询任务，以获取第一待清理数据列表；遍历第一待清理数据列表，以获取待清理数据的第一主键信息；将获取到的第一主键信息作为入参，调用删除任务，以执行数据删除操作。数据删除操作。数据删除操作。

【技术实现步骤摘要】
数据清理方法、装置、设备、介质和程序产品


[0001]本公开涉及数据处理领域，具体地涉及一种数据清理方法、装置、设备、介质和程序产品。

技术介绍

[0002]在软件系统运行过程中，数据库中会逐步累积大量的历史数据，因此，需定时对历史数据进行清理，以避免影响数据库查询效率；同时，对于涉及特定地区的数据，例如欧盟内国家的客户的数据，在与客户终止业务关系后，也要及时清理。
[0003]目前，在对数据表进行数据清理时，一般根据每个表的清理特点和条件独立开发一个清理程序，每次新增表都需要新增一个对应的清理程序，开发效率低，且开发成本较高。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种数据清理方法、装置、设备、介质和程序产品。
[0005]根据本公开的第一个方面，提供了一种数据清理方法，其中，包括：
[0006]根据数据库中待清理的数据表，获取第一清理条件，其中，所述第一清理条件包括至少一个条件占位符，所述数据库中每个所述数据表配置有至少一个所述第一清理条件，为至少两个所述数据表配置的所述第一清理条件中的至少一个所述条件占位符不同；
[0007]根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件；
[0008]将所述第二清理条件作为入参，调用查询任务，以获取第一待清理数据列表；
[0009]遍历所述第一待清理数据列表，以获取待清理数据的第一主键信息；
[0010]将获取到的所述第一主键信息作为入参，调用删除任务，以执行数据删除操作。
[0011]根据本公开的实施例，所述条件占位符包括清理日期占位符和清理地区占位符；所述根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件，包括：
[0012]根据所述地区号和所述数据表名，获取数据保留周期；
[0013]根据当前时间和所述数据保留周期，计算数据保留边界值；
[0014]利用所述数据保留边界值替换所述待清理日期占位符；以及，
[0015]利用所述地区号替换所述清理地区占位符。
[0016]根据本公开的实施例，所述条件占位符包括数据状态占位符；所述根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件，包括：
[0017]根据用户输入的数据状态，获取数据状态值；
[0018]利用所述数据状态值替换所述数据状态占位符。
[0019]根据本公开的实施例，所述遍历所述第一待清理数据列表，以获取至少一个待清
理记录的第一主键信息，包括：
[0020]在数据库的配置文件中获取主键字段，或者，读取数据库表结构获取主键字段；
[0021]根据获取到的所述主键字段，确定主键名；
[0022]通过java反射机制，获取所述主键名的主键值；
[0023]由所述主键名和所述主键值构成所述第一主键信息。
[0024]根据本公开的实施例，所述数据清理方法还包括：
[0025]根据待清理数据的地区号和待清理数据的数据表，获取第三清理条件，所述第三清理条件包括预设地区中的至少一个已解约客户；
[0026]将所述第三清理条件作为入参，调用所述查询任务，以获取第二待清理数据列表；
[0027]遍历所述第二待清理数据列表，以获取待清理数据的第二主键信息；
[0028]将获取到的所述第二主键信息作为入参，调用所述删除任务，以执行数据删除操作。
[0029]根据本公开的实施例，所述已解约客户标识包括：已解约，且解约时间超过预设阈值的客户的身份标识。
[0030]根据本公开的第二个方面，提供了一种数据清理装置，其中，包括：
[0031]第一获取模块，用于根据数据库中待清理的数据表，获取第一清理条件，其中，所述第一清理条件包括至少一个条件占位符，所述数据库中每个所述数据表配置有至少一个所述第一清理条件，为至少两个所述数据表配置的所述第一清理条件中的至少一个所述条件占位符不同；
[0032]替换模块，用于根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件；
[0033]查询模块，用于将所述第二清理条件作为入参，调用查询任务，以获取第一待清理数据列表；
[0034]第二获取模块，用于遍历所述第一待清理数据列表，以获取待清理数据的第一主键信息；
[0035]清理模块，用于将获取到的所述第一主键信息作为入参，调用删除任务，以执行数据删除操作。
[0036]本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述的数据清理方法。
[0037]本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的数据清理方法。
[0038]本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的数据清理方法。
[0039]上述一个或多个实施例具有如下优点或益效果：
[0040]本公开的实施例的数据清理方法通过为每个数据表配置相应的第一清理条件，不同的数据表配置的第一清理条件中的条件占位符不同，在实际清理时，利用待清理的数据表的真实清理参数(也即目标值，例如具体的数据保留周期等)替换条件占位符，即可通过查询任务实现针对该数据表的数据筛选，进而对筛选出的数据通过删除任务执行数据删除
操作，以实现数据清理。由此，相较于传统方案中需为每个数据表单独开发一个清理程序的方案而言，本公开的实施例通过一个清理程序(也即本公开实施例的数据清理方法)即可对多个数据表进行数据清理，大大增加了清理程序的适用范围，并且，在新增数据表时仅需对应新增相应的第一清理条件即可，而无需再开发一个清理程序，从而节省了程序开发过程，降低了数据库的维护成本。
附图说明
[0041]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
[0042]图1示意性示出了根据本公开实施例的数据清理方法、装置、电子设备、存储介质和程序产品的应用场景图；
[0043]图2示意性示出了根据本公开实施例的数据清理方法的流程图；
[0044]图3示意性示出了根据本公开实施例的将条件占位符替换为目标值的流程图之一；
[0045]图4示意性示出了根据本公开实施例的将条件占位符替换为目标值的流程图之二；
[0046]图5示意性示出了根据本公开实施例的获取第一主键信息的流程图；
[0047]图6示意性示出了根据本公开实施例的数据清理方法的流程图之二；
[0048]图7示意性示出了根据本公开实施例的数据清理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据清理方法，其特征在于，包括：根据数据库中待清理的数据表，获取第一清理条件，其中，所述第一清理条件包括至少一个条件占位符，所述数据库中每个所述数据表配置有至少一个所述第一清理条件，为至少两个所述数据表配置的所述第一清理条件中的至少一个所述条件占位符不同；根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件；将所述第二清理条件作为入参，调用查询任务，以获取第一待清理数据列表；遍历所述第一待清理数据列表，以获取待清理数据的第一主键信息；将获取到的所述第一主键信息作为入参，调用删除任务，以执行数据删除操作。2.根据权利要求1所述的数据清理方法，其特征在于，所述条件占位符包括清理日期占位符和清理地区占位符；所述根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件，包括：根据所述地区号和所述数据表名，获取数据保留周期；根据当前时间和所述数据保留周期，计算数据保留边界值；利用所述数据保留边界值替换所述待清理日期占位符；以及，利用所述地区号替换所述清理地区占位符。3.根据权利要求1或2所述的数据清理方法，其特征在于，所述条件占位符包括数据状态占位符；所述根据待清理的所述数据表，将所述第一清理条件中的所述至少一个条件占位符替换为目标值，以得到第二清理条件，包括：根据用户输入的数据状态，获取数据状态值；利用所述数据状态值替换所述数据状态占位符。4.根据权利要求1所述的数据清理方法，其特征在于，所述遍历所述第一待清理数据列表，以获取至少一个待清理记录的第一主键信息，包括：在数据库的配置文件中获取主键字段，或者，读取数据库表结构获取主键字段；根据获取到的所述主键字段，确定主键名；通过java反射机制，获取所述主键名的主键值；由所述主键名和所述主键值构成所述第一主键信息。5.根据权利要求1所述的数据清理方法，其特征在于...

【专利技术属性】
技术研发人员：吕光，卢永安，张海阔，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：