业务信息清洗方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种业务信息清洗方法、装置、计算机设备和存储介质。所述方法包括：获取待清洗业务信息对应的清洗目标；从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，并根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则；将所述目标信息清洗规则输入至信息清洗规则引擎；所述信息清洗规则引擎用于按照所述目标信息清洗规则对所述待清洗业务信息进行信息清洗，得到所述待清洗业务信息中各业务数据记录对应的信息清洗结果；在所述待清洗业务信息中，将通过所述清洗条件的业务数据记录作为清洗后业务信息。采用本方法能够提高信息清洗的效率。洗的效率。洗的效率。

【技术实现步骤摘要】
业务信息清洗方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种业务信息清洗方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，出现了信息清洗技术，这个技术采用硬编码的形式执行检查，如需新增或修改清洗规则，需重新开发清洗规则后上线。
[0003]传统的方法中，一般采用硬编码形式进行信息清洗，清洗规则在上线后无法再调整，然而受金融信息变化影响，清洗规则可能有需调整阈值的需求。而且由于金融信息存在临时风险，可能存在紧急上线新的信息清洗规则的需求，因此，现有的采用硬编码清洗规则执行金融信息的数据清洗方案无法应对需实时调整在线运行系统的清洗规则的需求。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够条件实时自适应信息清洗的业务信息清洗方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种业务信息清洗方法。所述方法包括：获取待清洗业务信息对应的清洗目标；所述清洗目标是根据所述待清洗业务信息对应的业务清洗需求而确定的；从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，并根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则；将所述目标信息清洗规则输入至信息清洗规则引擎；所述信息清洗规则引擎用于按照所述目标信息清洗规则对所述待清洗业务信息进行信息清洗，得到所述待清洗业务信息中各业务数据记录对应的信息清洗结果；所述信息清洗结果用于表征对应的所述业务数据记录是否通过所述目标清洗规则构成的清洗条件；在所述待清洗业务信息中，将通过所述清洗条件的业务数据记录作为清洗后业务信息。
[0006]在其中一个实施例中，所述从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，包括：对预设的所述清洗规则模板集合中的各所述清洗规则模板对应的规则名称进行提取，并作为各所述清洗规则模板对应的名称标识，所述名称标识用于表征各所述清洗规则模板所能够清洗的信息清洗参数类型；获取所述清洗目标对应的清洗类型标识，所述清洗类型标识用于表征所述清洗目标所需要清洗的信息清洗数据类型；将所述清洗类型标识对应的信息清洗数据类型遍历所述清洗规则模板集合中的各所述清洗规则模板对应信息清洗参数类型，确定与所述清洗目标相匹配的清洗规则模板。
[0007]在其中一个实施例中，所述将所述清洗类型标识对应的信息清洗数据类型遍历所述清洗规则模板对应信息清洗参数类型，确定与所述清洗目标相匹配的清洗规则模板之后，还包括：若所述清洗目标与所述清洗规则模板匹配失败，则提示装载与所述清洗类型标识对应的信息清洗数据类型相匹配的所述清洗规则模板；基于装载后的所述清洗规则模板，使用所述清洗类型标识对应的信息清洗数据类型对装载后所述清洗规则模板对应信息
清洗参数类型进行检验；若对所述信息清洗参数类型的检验为通过，则将装载后的所述清洗规则模板作为所述清洗目标相匹配的清洗规则模板。
[0008]在其中一个实施例中，所述根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则，包括：根据所述清洗目标确定所述清洗规则模板中需要调整的所述信息清洗参数；基于所述待清洗业务信息，根据所述清洗规则模板中信息清洗参数的限制条件对需要调整的所述信息清洗参数进行联合调整，得到已调整信息清洗参数；若所述已调整信息清洗参数超出所述信息清洗参数对应的调整范围，则修改所述限制条件后再进行所述信息清洗参数的调整，得到所述目标信息清洗规则。
[0009]在其中一个实施例中，所述根据所述待清洗业务信息对所述信息清洗参数的限制条件对所述清洗规则模板中需要调整的所述信息清洗参数按照进行调整，得到已调整信息清洗参数之后，还包括：获取所述清洗规则模板中的信息清洗关键值，所述信息清洗关键值表征所述预设的清洗规则模板集合中对应的清洗规则模板；基于所述已调整信息清洗参数以及所述清洗规则模板中的信息清洗关键值建立对应关系。
[0010]在其中一个实施例中，所述将所述目标信息清洗规则输入至信息清洗规则引擎，得到所述待清洗业务信息中各业务数据记录对应的信息清洗结果，包括：将所述待清洗业务信息中各业务数据记录中的业务数据与所述目标信息清洗规则对应的信息清洗参数进行对比；若所述业务数据记录中任意业务数据与所述信息清洗参数的对比结果均为通过，则输出该业务数据记录对应的信息清洗结果；若所述业务数据记录中任意业务数据与所述信息清洗参数的对比结果出现任意一项为未通过，则删除该所述业务数据对应的业务数据记录。
[0011]第二方面，本申请还提供了一种业务信息清洗装置。所述装置包括：清洗目标获取模块，用于获取待清洗业务信息对应的清洗目标；所述清洗目标是根据所述待清洗业务信息对应的业务清洗需求而确定的；目标信息清洗规则得到模块，用于从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，并根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则；信息清洗结果得到模块，用于将所述目标信息清洗规则输入至信息清洗规则引擎；所述信息清洗规则引擎用于按照所述目标信息清洗规则对所述待清洗业务信息进行信息清洗，得到所述待清洗业务信息中各业务数据记录对应的信息清洗结果；所述信息清洗结果用于表征对应的所述业务数据记录是否通过所述目标清洗规则构成的清洗条件；清洗后业务信息得到模块，用于在所述待清洗业务信息中，将通过所述清洗条件的业务数据记录作为清洗后业务信息。
[0012]在其中一个实施例中，目标信息清洗规则得到模块，用于对预设的所述清洗规则模板集合中的各所述清洗规则模板对应的规则名称进行提取，并作为各所述清洗规则模板对应的名称标识，所述名称标识用于表征各所述清洗规则模板所能够清洗的信息清洗参数类型；获取所述清洗目标对应的清洗类型标识，所述清洗类型标识用于表征所述清洗目标所需要清洗的信息清洗数据类型；将所述清洗类型标识对应的信息清洗数据类型遍历所述清洗规则模板集合中的各所述清洗规则模板对应信息清洗参数类型，确定与所述清洗目标相匹配的清洗规则模板。
[0013]在其中一个实施例中，目标信息清洗规则得到模块，还用于若所述清洗目标与所述清洗规则模板匹配失败，则提示装载与所述清洗类型标识对应的信息清洗数据类型相匹
配的所述清洗规则模板；基于装载后的所述清洗规则模板，使用所述清洗类型标识对应的信息清洗数据类型对装载后所述清洗规则模板对应信息清洗参数类型进行检验；若对所述信息清洗参数类型的检验为通过，则将装载后的所述清洗规则模板作为所述清洗目标相匹配的清洗规则模板。
[0014]在其中一个实施例中，目标信息清洗规则得到模块，用于根据所述清洗目标确定所述清洗规则模板中需要调整的所述信息清洗参数；基于所述待清洗业务信息，根据所述清洗规则模板中信息清洗参数的限制条件对需要调整的所述信息清洗参数进行联合调整，得到已调整信息清洗参数；若所述已调整信息清洗参数超出所述信息清洗参数对应的调整范围，则修改所述限制条件后再本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务信息清洗方法，其特征在于，所述方法包括：获取待清洗业务信息对应的清洗目标；所述清洗目标是根据所述待清洗业务信息对应的业务清洗需求而确定的；从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，并根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则；将所述目标信息清洗规则输入至信息清洗规则引擎；所述信息清洗规则引擎用于按照所述目标信息清洗规则对所述待清洗业务信息进行信息清洗，得到所述待清洗业务信息中各业务数据记录对应的信息清洗结果；所述信息清洗结果用于表征对应的所述业务数据记录是否通过所述目标清洗规则构成的清洗条件；在所述待清洗业务信息中，将通过所述清洗条件的业务数据记录作为清洗后业务信息。2.根据权利要求1所述的方法，其特征在于，所述从预设的清洗规则模板集合中确定与所述清洗目标相匹配的清洗规则模板，包括：对预设的所述清洗规则模板集合中的各所述清洗规则模板对应的规则名称进行提取，并作为各所述清洗规则模板对应的名称标识，所述名称标识用于表征各所述清洗规则模板所能够清洗的信息清洗参数类型；获取所述清洗目标对应的清洗类型标识，所述清洗类型标识用于表征所述清洗目标所需要清洗的信息清洗数据类型；将所述清洗类型标识对应的信息清洗数据类型遍历所述清洗规则模板集合中的各所述清洗规则模板对应信息清洗参数类型，确定与所述清洗目标相匹配的清洗规则模板。3.根据权利要求2所述的方法，其特征在于，所述将所述清洗类型标识对应的信息清洗数据类型遍历所述清洗规则模板对应信息清洗参数类型，确定与所述清洗目标相匹配的清洗规则模板之后，还包括：若所述清洗目标与所述清洗规则模板匹配失败，则提示装载与所述清洗类型标识对应的信息清洗数据类型相匹配的所述清洗规则模板；基于装载后的所述清洗规则模板，使用所述清洗类型标识对应的信息清洗数据类型对装载后所述清洗规则模板对应信息清洗参数类型进行检验；若对所述信息清洗参数类型的检验为通过，则将装载后的所述清洗规则模板作为所述清洗目标相匹配的清洗规则模板。4.根据权利要求1所述的方法，其特征在于，所述根据所述清洗目标调整所述清洗规则模板中的信息清洗参数，得到目标信息清洗规则，包括：根据所述清洗目标确定所述清洗规则模板中需要调整的所述信息清洗参数；基于所述待清洗业务信息，根据所述清洗规则模板中信息清洗参数的限制条件对需要调整的所述信息清洗参数进行联合调整，得到已调整信息清洗参数；若所述已调整信息清洗参数超出所述信息清洗参数对应的调整范围，则修改所述...

【专利技术属性】
技术研发人员：秦家祥，伍如意，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：