异构数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种异构数据处理方法、装置、电子设备及存储介质，该方法包括：确定待处理异构数据的目标数据源；获取与所述目标数据源对应的数据处理模板，所述数据处理模板用于描述多个处理单元的组合关系和调用方式；确定所述数据处理模板中的多个处理单元以及所述多个处理单元的组合关系和调用方式；根据所述多个处理单元的组合关系和调用方式，调用所述多个处理单元对所述待处理异构数据进行处理，得到规范数据。本发明专利技术针对每个数据源不再需要单独开发对应的处理程序，只需要基于已有的处理单元配置对应的数据处理模板即可进行处理，从而提高了数据处理的效率，简化了数据处理的代码。代码。代码。

【技术实现步骤摘要】
异构数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种异构数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的异构数据进行预处理，以保证大数据分析与预测结果的准确性与价值性。
[0003]对于异构数据的处理，不同的数据源具有不同的处理方式。现有技术中，在对异构数据进行处理时，需要针对每个数据源，分别开发对应的处理程序，导致数据处理效率较低，代码繁琐。

技术实现思路

[0004]本专利技术实施例提供一种异构数据处理方法、装置、电子设备及存储介质，以提高异构数据的处理效率，简化代码。
[0005]依据本专利技术实施例的第一方面，提供了一种异构数据处理方法，包括：
[0006]确定待处理异构数据的目标数据源；
[0007]获取与所述目标数据源对应的数据处理模板，所述数据处理模板用于描述多个处理单元的组合关系和调用方式；
[0008]确定所述数据处理模板中的多个处理单元以及所述多个处理单元的组合关系和调用方式；
[0009]根据所述多个处理单元的组合关系和调用方式，调用所述多个处理单元对所述待处理异构数据进行处理，得到规范数据。
[0010]依据本专利技术实施例的第二方面，提供了一种异构数据处理装置，包括：
[0011]数据源确定模块，用于确定待处理异构数据的目标数据源；
[0012]处理模板获取模块，用于获取与所述目标数据源对应的数据处理模板，所述数据处理模板用于描述多个处理单元的组合关系和调用方式；
[0013]处理单元确定模块，用于确定所述数据处理模板中的多个处理单元以及所述多个处理单元的组合关系和调用方式；
[0014]数据处理模块，用于根据所述多个处理单元的组合关系和调用方式，调用所述多个处理单元对所述待处理异构数据进行处理，得到规范数据。
[0015]依据本专利技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的异构数据处理方法的步骤。
[0016]依据本专利技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的
异构数据处理方法的步骤。
[0017]本专利技术实施例提供的异构数据处理方法、装置、电子设备及存储介质，通过确定待处理异构数据的目标数据源，获取与目标数据源对应的数据处理模板，确定数据处理模板中的多个处理单元以及多个处理单元的组合关系和调用方式，根据多个处理单元的组合关系和调用方式，调用多个处理单元对待处理异构数据进行处理，得到规范数据，由于只需要对简单的处理单元进行程序的开发，针对每个数据源不再需要单独开发对应的处理程序，只需要基于已有的处理单元配置对应的数据处理模板即可进行处理，从而提高了数据处理的效率，简化了数据处理的代码。
附图说明
[0018]图1是本专利技术实施例提供的一种异构数据处理方法的流程图；
[0019]图2是本专利技术实施例中使用语法解析引擎对判定模板、数据清洗模板和数据封装模板进行解析的示意图；
[0020]图3是本专利技术实施例提供的一种异构数据处理装置的结构框图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]图1是本专利技术实施例提供的一种异构数据处理方法的流程图，该异构数据处理方法可以由服务器等电子设备执行，如图1所示，该异构数据处理方法包括：
[0023]步骤110，确定待处理异构数据的目标数据源。
[0024]在需要对待处理异构数据进行处理时，需要确定待处理异构数据的来源，即确定待处理异构数据的目标数据源，进而可以基于目标数据源采用对应的数据处理模板来对待处理异构数据进行处理。
[0025]在确定待处理异构数据的目标数据源时，可以预先配置一个处理系统接收来自对应的一个目标数据源的异构数据，这样该处理系统接收到的待处理异构数据均是目标数据源的数据；或者，还可以使用待处理异构数据中的某个字段来表示数据源，从而获取该字段的值，得到目标数据源；或者，还可以采用判断规则对待处理异构数据进行判断，确定目标数据源。
[0026]在本专利技术的一个实施例中，所述确定待处理异构数据的目标数据源，包括：根据所述待处理异构数据中的数据源字段，确定所述待处理异构数据的目标数据源。
[0027]待处理异构数据中可以使用数据源字段来表征待处理异构数据的来源，在获取到待处理异构数据时，可以识别待处理异构数据的数据源字段，获取数据源字段的值，得到待处理异构数据的目标数据源。通过待处理异构数据中的数据源字段来表征待处理异构数据的目标数据源，可以准确快速地确定待处理异构数据所对应的目标数据源。
[0028]在本专利技术的另一个实施例中，所述确定待处理异构数据的目标数据源，包括：根据多个数据源对应的判定模板，对所述待处理异构数据进行数据源的判定，确定所述待处理
异构数据的目标数据源。
[0029]可以预先配置每个数据源对应的判定模板，在需要确定待处理异构数据的目标数据源时，分别使用每个数据源对应的判定模板来对待处理异构数据进行判定，如果待处理异构数据经过其中一个数据源的判定模板判定后，得到的判定结果为否，则该数据源不是待处理异构数据的目标数据源；如果待处理异构数据经过其中一个数据源的判定模板判定后，得到的判定结果为是，则确定该数据源为目标数据源。不同数据源的数据会具有不同的特征，例如，对于订单数据和员工数据，订单数据就会包括订单号、订单金额、订单详细信息等数据，员工数据会包括姓名、工号等数据，对于订单数据对应的判定模板可以是用于判断是否包括订单号、是否有订单金额等，对于员工数据对应的判定模板可以是用于判断是否包括姓名、是否有工号等，这样经过判定模板的判定，便可以确定异构数据的数据源。
[0030]在待处理异构数据中没有表征数据源的字段时，通过每个数据源的判定模板来对待处理异构数据进行判定，可以得到待处理异构数据的目标数据源。
[0031]在一种可选的实施方式中，所述判定模板包括至少一个判定单元以及所述至少一个判定单元的判定关系；
[0032]根据多个数据源对应的判定模板，对所述待处理异构数据进行数据源的判定，确定所述待处理异构数据的目标数据源，包括：针对每个数据源，调用所述数据源对应的判定模板中的至少一个判定单元，对所述待处理异构数据进行判定，得到每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构数据处理方法，其特征在于，包括：确定待处理异构数据的目标数据源；获取与所述目标数据源对应的数据处理模板，所述数据处理模板用于描述多个处理单元的组合关系和调用方式；确定所述数据处理模板中的多个处理单元以及所述多个处理单元的组合关系和调用方式；根据所述多个处理单元的组合关系和调用方式，调用所述多个处理单元对所述待处理异构数据进行处理，得到规范数据。2.根据权利要求1所述的方法，其特征在于，根据所述多个处理单元的组合关系和调用方式，调用所述多个处理单元对所述待处理异构数据进行处理，得到规范数据，包括：根据所述多个处理单元的调用方式，分别调用所述多个处理单元对所述待处理异构数据进行处理，得到每个处理单元的处理结果；根据所述多个处理单元的组合关系，对多个所述处理单元的处理结果进行组合处理，得到所述规范数据。3.根据所述权利要求1所述的方法，其特征在于，所述确定待处理异构数据的目标数据源，包括：根据所述待处理异构数据中的数据源字段，确定所述待处理异构数据的目标数据源。4.根据权利要求1所述的方法，其特征在于，所述确定待处理异构数据的目标数据源，包括：根据多个数据源对应的判定模板，对所述待处理异构数据进行数据源的判定，确定所述待处理异构数据的目标数据源。5.根据权利要求4所述的方法，其特征在于，所述判定模板包括至少一个判定单元以及所述至少一个判定单元的判定关系；根据多个数据源对应的判定模板，对所述待处理异构数据进行数据源的判定，确定所述待处理异构数据的目标数据源，包括：针对每个数据源，调用所述数据源对应的判定模板中的至少一个判定单元，对所述待处理异构数...

【专利技术属性】
技术研发人员：陆航，张熠，史忠伟，
申请(专利权)人：五八有限公司，
类型：发明
国别省市：