业务数据清洗方法、装置、电子设备制造方法及图纸

公开一种业务数据清洗方法、装置、电子设备及机器可读存储介质。在本申请中，从对接的业务系统中获取待执行数据清洗的业务数据；确定与所述业务数据关联的数据元；以及，获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。基于所见即所得的命名实体进行数据清洗，避免了用户进行繁琐的数据清洗配置，提高了数据清洗维护效率，并方便命名实体的积累和共享利用。共享利用。共享利用。

【技术实现步骤摘要】
业务数据清洗方法、装置、电子设备


[0001]本申请一个或多个实施例涉及计算机应用
，尤其涉及业务数据清洗方法、装置、电子设备及机器可读存储介质。

技术介绍

[0002]随着IT技术的发展和普及，各行各业累积的业务数据越来越多。当需要对累积的海量业务数据通过数据治理平台进行数据清洗时，通常需要数据治理平台的开发人员在数据治理平台后台配置复杂的正则表达式用于数据清洗。然而，正则表达式通常比较复杂晦涩，普通用户难以理解和使用，致使数据清洗时配置及维护的效率极为低下。比如：电子政务系统中的公安数据涉及待数据清洗的数据元的个数数万以万计，为每个数据元配置及维护复杂的正则表达式，极其复杂且难于管理及维护。

技术实现思路

[0003]本申请提供一种业务数据清洗方法，所述方法包括：
[0004]从对接的业务系统中，获取待执行数据清洗的业务数据；
[0005]确定与所述业务数据关联的数据元；
[0006]获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。
[0007]可选的，所述业务数据包括若干列数据；
[0008]所述确定与所述业务数据关联的数据元，包括：
[0009]响应于用户在输出的业务数据与数据元关联界面的设置，确定与所述若干列数据分别关联的数据元。
[0010]可选的，所述命名实体对应被预配置了用于执行数据清洗的清洗规则；
[0011]所述获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗，包括：
[0012]获取与所述若干列数据数据分别关联的数据元；
[0013]获取与所述关联的数据元关联的至少一个命名实体；
[0014]基于获取的所述关联的命名实体对应的清洗规则，对所述若干列数据按关联的数据元分别执行数据清洗。
[0015]可选的，所述清洗规则包括真伪性校验规则、合法性校验规则中任一或组合；其中，所述真伪性校验规则用于校验目标列数据的属性与关联的目标数据元定义的属性是否一致，所述合法性校验规则用于校验目标列数据的属性的取值是否合法。
[0016]可选的，所述合法性校验规则包括缺失值校验规则、重复值校验规则、异常值校验规则的中任一或组合。
[0017]可选的，在获取与所述数据元关联的至少一个命名实体之前，还包括：
[0018]响应于用户在输出的命名实体配置界面中输入的命名实体名，生成对应的命名实
体。
[0019]可选的，还包括：
[0020]响应于用户在输出的命名实体对应清洗规则配置界面中导入的、与命名实体对应的用于数据清洗的正则表达式，生成与命名实体对应的清洗规则。
[0021]本申请还提供一种业务数据清洗方法，应用于数据治理平台，所述数据治理平台包括数据清洗子系统、与所述数据清洗子系统对接的数据元管理子系统、与所述数据元管理子系统对接的命名实体管理子系统，所述方法包括：
[0022]数据清洗子系统从对接的业务系统中，获取待执行数据清洗的业务数据；
[0023]数据清洗子系统，确定数据元管理子系统中与所述业务数据关联的数据元；
[0024]数据清洗子系统，通过数据元管理子系统获取命名实体管理子系统中与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。
[0025]本申请还提供一种业务数据清洗装置，所述装置包括：
[0026]获取模块，从对接的业务系统中，获取待执行数据清洗的业务数据；
[0027]确定模块，确定与所述业务数据关联的数据元；
[0028]清洗模块，获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。
[0029]可选的，所述业务数据包括若干列数据；
[0030]所述确定模块进一步：
[0031]响应于用户在输出的业务数据与数据元关联界面的设置，确定与所述若干列数据分别关联的数据元。
[0032]可选的，所述命名实体对应被预配置了用于执行数据清洗的清洗规则；
[0033]所述清洗模块进一步：
[0034]获取与所述若干列数据数据分别关联的数据元；
[0035]获取与所述关联的数据元关联的至少一个命名实体；
[0036]基于获取的所述关联的命名实体对应的清洗规则，对所述若干列数据按关联的数据元分别执行数据清洗。
[0037]可选的，所述清洗规则包括真伪性校验规则、合法性校验规则中任一或组合；其中，所述真伪性校验规则用于校验目标列数据的属性与关联的目标数据元定义的属性是否一致，所述合法性校验规则用于校验目标列数据的属性的取值是否合法。
[0038]可选的，所述合法性校验规则包括缺失值校验规则、重复值校验规则、异常值校验规则的中任一或组合。
[0039]可选的，在获取与所述数据元关联的至少一个命名实体之前，所述确定模块进一步：
[0040]响应于用户在输出的命名实体配置界面中输入的命名实体名，生成对应的命名实体。
[0041]可选的，所述确定模块进一步：
[0042]响应于用户在输出的命名实体对应清洗规则配置界面中导入的、与命名实体对应的用于数据清洗的正则表达式，生成与命名实体对应的清洗规则。
[0043]本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；
[0044]所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行上述的方法。
[0045]本申请还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，执行上述的方法。
[0046]通过以上实施例，从对接的业务系统中获取待执行数据清洗的业务数据；确定与所述业务数据关联的数据元；以及，获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。基于所见即所得的命名实体进行数据清洗，避免了用户进行繁琐的数据清洗配置，提高了数据清洗维护效率，并方便命名实体的积累和共享利用。
附图说明
[0047]图1是一示例性实施例提供的一种业务数据清洗方法的流程图；
[0048]图2是一示例性实施例提供的一种数据治理平台的系统架构图；
[0049]图3是一示例性实施例提供的一种电子设备的硬件结构图；
[0050]图4是一示例性实施例提供的一种业务数据清洗装置的框图。
具体实施方式
[0051]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据清洗方法，所述方法包括：从对接的业务系统中，获取待执行数据清洗的业务数据；确定与所述业务数据关联的数据元；获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗。2.根据权利要求1所述的方法，所述业务数据包括若干列数据；所述确定与所述业务数据关联的数据元，包括：响应于用户在输出的业务数据与数据元关联界面的设置，确定与所述若干列数据分别关联的数据元。3.根据权利要求1所述的方法，所述命名实体对应被预配置了用于执行数据清洗的清洗规则；所述获取与所述数据元关联的至少一个命名实体，并基于获取的至少一个命名实体对所述业务数据执行数据清洗，包括：获取与所述若干列数据数据分别关联的数据元；获取与所述关联的数据元关联的至少一个命名实体；基于获取的所述关联的命名实体对应的清洗规则，对所述若干列数据按关联的数据元分别执行数据清洗。4.根据权利要求3所述的方法，所述清洗规则包括真伪性校验规则、合法性校验规则中任一或组合；其中，所述真伪性校验规则用于校验目标列数据的属性与关联的目标数据元定义的属性是否一致，所述合法性校验规则用于校验目标列数据的属性的取值是否合法。5.根据权利要求4所述的方法，所述合法性校验规则包括缺失值校验规则、重复值校验规则、异常值校验规则的中任一或组合。6.根据权利要求1所述的方法，在获取与所述数据元关联的至少一个命名实体之前，还包括：响应于用户在输出的命名实体配置界面中输入的命名实体名，生成对应的命名实...

【专利技术属性】
技术研发人员：赵寒冰，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：