一种多源数据处理方法及数据工厂技术

本发明专利技术公开了一种多源数据处理方法及数据工厂，包括配置至少一个数据输入节点和一个数据输出节点，并在每一数据输入节点中添加对应的数据源；在所述数据源中选择待处理数据对应的输入字段，获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；在数据输入节点和数据输出节点之间配置至少一个处理节点，并在每一处理节点中添加数据处理规则，所述输入表单由数据输入节点开始经处理节点处理后汇集至数据输出节点形成汇总表单；根据处理后数据的用途配置汇总表单的输出字段形成输出表单，以实现对存储于不同数据源中的业务数据的整合与分析，处理过程可配置多种数据处理规则，灵活性强。灵活性强。灵活性强。

【技术实现步骤摘要】
一种多源数据处理方法及数据工厂


[0001]本专利技术涉及工业互联网平台的数据处理
，特别是涉及一种多源数据处理方法及数据工厂。

技术介绍

[0002]对于跨行业跨领域的工业互联网平台而言，为了适应不同行业的企业，平台中大多包含有各种各样的业务场景，例如设备管理、库房管理、生产管理等等，每个管理场景下还可能包含更多的细分业务，如设备管理场景下的设备点检业务、设备维修业务和设备保养业务等。为了使每个业务能够独立的被不同的企业使用，业务场景都是独立运营的，这使得每个业务场景下对应的业务数据也是独立储存的。
[0003]但是独立的业务数据难以对不同业务领域或不同数据源的数据进行动态整合和分析，导致无法基于实时且真实的数据进行分析，不利于企业的管理和发展。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种多源数据处理方法及数据工厂，以解决现有技术中无法跨领域跨行业对业务数据进行整合分析的问题。
[0005]为达到上述目的，本专利技术的第一方面提供一种多源数据处理方法，包括以下步骤：
[0006]S1：配置至少一个数据输入节点和一个数据输出节点，并在每一数据输入节点中添加对应的数据源；
[0007]S2：在所述数据源中选择待处理数据对应的输入字段，获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；
[0008]S3：在数据输入节点和数据输出节点之间配置至少一个处理节点，并在每一处理节点中添加数据处理规则，所述输入表单由数据输入节点开始经处理节点处理后汇集至数据输出节点形成汇总表单；
[0009]S4：根据处理后数据的用途配置汇总表单的输出字段形成输出表单。
[0010]进一步的，所述步骤S3配置处理节点的具体方法为：
[0011]S301：在所述数据输入节点与数据输出节点之间配置至少一个处理节点，当所述处理节点为多个时，以前一处理节点作为后一处理节点的上游节点，后一处理节点作为前一处理节点的下游节点，所述上游节点和下游节点之间逐级指向；
[0012]S302：根据数据处理要求，对每一处理节点配置数据处理规则；
[0013]S303：分别将各数据输入节点中的输入表单导入配置于其末端的第一个处理节点，由第一个处理节点开始对输入表单进行处理，各处理节点对输入表单处理后形成的处理结果可视为其下游节点的输入表单逐级向后传递并处理，直至汇集于数据输出节点首端的最后一个处理节点，经所述最后一个处理节点处理后形成汇总表单。
[0014]进一步的，在步骤S302中，所述数据处理规则至少包括筛选过滤、分组汇总、抽取转换和横向/纵向连接，每一数据节点中均配置有筛选过滤、分组汇总、抽取转换和横向/纵
向连接中的一种数据处理规则。
[0015]进一步的，在步骤S303中，当处理节点的处理规则配置为筛选过滤时，所述处理节点对输入表单进行处理的具体方法为：
[0016]接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为筛选字段或过滤字段，利用所述筛选字段在输入表单中提取该筛选字段对应的数据形成一新的表单并向后传递至其下游节点或数据输出节点中，或利用所述过滤字段在输入表单中对该过滤字段对应的数据过滤后形成一新的表单并向后传递至其下游节点或数据输出节点中。
[0017]进一步的，在步骤S303中，当处理节点的处理规则配置为分组汇总时，所述处理节点对输入表单进行处理的具体方法为：
[0018]接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为分组字段，利用所述分组字段对输入表单中该分组字段下数据相同的行或列进行分组形成多个数据组，然后确定至少一个输入字段为汇总字段并设置对所述汇总字段的汇总方式，利用所述汇总字段以数据组为单位，按照设置的汇总方式对每一数据组中的数据进行汇总形成一新的表单并向后传递至其下游节点或数据输出节点中。
[0019]进一步的，在步骤S303中，当处理节点的处理规则配置为抽取转换时，所述处理节点对输入表单进行处理的具体方法为：
[0020]接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为原始字段并设置该原始字段的转换规则，在所述输入表单中任意位置以新增行或新增列的方式插入与确定的原始字段的数量一致转换字段，并设置所述转换字段的字段名称，利用所述转换规则对原始字段进行处理，然后将处理后的数据填充至对应的转换字段下形成一新的表单并向后传递至其下游节点或数据输出节点中。
[0021]进一步的，在步骤S303中，当处理节点的处理规则配置为横向/纵向连接时，所述处理节点对输入表单进行处理的具体方法为：
[0022]接收来自于数据输入节点和/或上游节点的至少两个输入表单，设置所述至少两个输入表单的横向连接规则或纵向连接规则，确定至少一个输入字段为连接字段，利用所述连接字段按照设置的横向连接规则或纵向连接规则对所述输入表单进行拼接形成一新的表单并向后传递至其下游节点或数据输出节点中。
[0023]进一步的，所述横向/纵向连接均包括内连接和外连接，所述外连接包括左连接、右连接和全连接。
[0024]本专利技术的第二方面提供一种数据工厂，包括：
[0025]业务数据库，用于按照业务类型将业务主体产生的业务数据存储在不同的数据源中；
[0026]数据工厂配置模块，用于构建数据工厂，并根据用户的请求将业务主体关联至所述数据工厂中，以及根据业务流程对所述数据工厂配置至少一个对业务数据进行加工处理的数据流；所述数据流具有至少一个数据输入节点、一个数据输出节点以及至少一个连接数据输入节点和数据输出节点的处理节点；
[0027]数据输入模块，用于根据用户的请求同步获取流入对应数据输入节点的数据源及待处理数据对应的输入字段，并获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；
[0028]处理模块，用于逐一获取流入对应处理节点的输入表单，并按照设置的数据处理规则由数据输入节点末端的第一个处理节点开始对输入表单逐级进行处理，直至汇集于数据输出节点首端的最后一个处理节点，经所述最后一个处理节点处理后形成汇总表单；所述处理节点对输入表单处理后形成的处理结果可视为其下游节点的输入表单逐级向后传递并处理；以及
[0029]数据输出模块，用于获取流入数据输出节点的汇总表单，并根据处理后数据的用途设置汇总表单的输出字段形成输出表单；
[0030]可视化模块，用于按照设定的形式对多数输出表单进行可视化。
[0031]进一步的，还包括一数据校验模块；
[0032]所述数据校验模块用于对所述数据工厂配置模块中配置的数据输入节点、处理节点和数据输出节点之间的处理逻辑和数据结构进行校验。
[0033]本专利技术通过在数据输入节点和数据输出节点之间配置添加有不同数据处理规则的处理节点，通过对不同数据处理规则(即筛选过滤、分组汇总、抽取转换、横向/纵向连接等)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据处理方法，其特征在于，包括以下步骤：S1：配置至少一个数据输入节点和一个数据输出节点，并在每一数据输入节点中添加对应的数据源；S2：在所述数据源中选择待处理数据对应的输入字段，获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；S3：在数据输入节点和数据输出节点之间配置至少一个处理节点，并在每一处理节点中添加数据处理规则，所述输入表单由数据输入节点开始经处理节点处理后汇集至数据输出节点形成汇总表单；S4：根据处理后数据的用途配置汇总表单的输出字段形成输出表单。2.根据权利要求1所述的一种多源数据处理方法，其特征在于，在步骤S3中，所述步骤S3配置处理节点的具体方法为：S301：在所述数据输入节点与数据输出节点之间配置至少一个处理节点，当所述处理节点为多个时，以前一处理节点作为后一处理节点的上游节点，后一处理节点作为前一处理节点的下游节点，所述上游节点和下游节点之间逐级指向；S302：根据数据处理要求，对每一处理节点配置数据处理规则；S303：分别将各数据输入节点中的输入表单导入配置于其末端的第一个处理节点，由第一个处理节点开始对输入表单进行处理，各处理节点对输入表单处理后形成的处理结果可视为其下游节点的输入表单逐级向后传递并处理，直至汇集于数据输出节点首端的最后一个处理节点，经所述最后一个处理节点处理后形成汇总表单。3.根据权利要求2所述的一种多源数据处理方法，其特征在于，在步骤S302中，所述数据处理规则至少包括筛选过滤、分组汇总、抽取转换和横向/纵向连接，每一数据节点中均配置有筛选过滤、分组汇总、抽取转换和横向/纵向连接中的一种数据处理规则。4.根据权利要求3所述的一种多源数据处理方法，其特征在于，在步骤S303中，当处理节点的处理规则配置为筛选过滤时，所述处理节点对输入表单进行处理的具体方法为：接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为筛选字段或过滤字段，利用所述筛选字段在输入表单中提取该筛选字段对应的数据形成一新的表单并向后传递至其下游节点或数据输出节点中，或利用所述过滤字段在输入表单中对该过滤字段对应的数据过滤后形成一新的表单并向后传递至其下游节点或数据输出节点中。5.根据权利要求3所述的一种多源数据处理方法，其特征在于，在步骤S303中，当处理节点的处理规则配置为分组汇总时，所述处理节点对输入表单进行处理的具体方法为：接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为分组字段，利用所述分组字段对输入表单中该分组字段下数据相同的行或列进行分组形成多个数据组，然后确定至少一个输入字段为汇总字段并设置对所述汇总字段的汇总方式，利用所述汇总字段以数据组为单位，按照设置的汇总方式对每一数据组中的数据进行汇总形成一新的表单并向后传递至...

【专利技术属性】
技术研发人员：李健，汪香莲，
申请(专利权)人：重庆允成互联网科技有限公司，
类型：发明
国别省市：