基于DataFlow的多源数据自动抽取与调用方法技术

本申请涉及一种基于DataFlow的多源数据自动抽取与调用方法，通过对前面生成的源数据进行特征标记，在后续执行DFD设计任务的过程中，根据任务属性，从前面已经生成的源数据中调取同属性的多源数据；再根据任务特征，从多源数据中自动抽取出相匹配的源数据，抽取出的源数据与当前DFD设计任务的任务属性和特征相同，可以直接适用于当前任务，将抽取出的源数据直接作为当前任务的源数据文件，经过参数配置，即可得到当前任务的源数据文件，当前任务不需要再单独生成对应的源数据，节省任务执行时间。虽然也是跨越式调用，但能发现多个前期任务中的多源数据，经过业务属性和特征的筛选，调用的多源数据与当前任务是一致的，能够直接作为当前任务的源数据基础，不会造成数据不一致而导致任务卡顿的情形发生。不一致而导致任务卡顿的情形发生。不一致而导致任务卡顿的情形发生。

【技术实现步骤摘要】
基于DataFlow的多源数据自动抽取与调用方法


[0001]本公开涉及数据流设计
，尤其涉及一种基于DataFlow的多源数据自动抽取与调用方法、装置和电子设备。

技术介绍

[0002]Dataflow应用，为一种制作有序流程图的程序软件，描述了数据如何在不同操作之间流动。Dataflow能够将提供给用户的业务流程图进行功能建模，转化成开发人员能够理解的一系列“逻辑模型”图，即以图形化的方法描绘数据在系统中的流动和处理的过程，这些图都应该用规范的DFD描述。
[0003]DFD设计过程就是将数据和处理进行逐层分解就形成了若干层次的DFD。在DFD中，包括数据流、加工、数据存储、外部实体等元素，其中，数据流：用单箭头表示，如一一＞，是由一组固定成分的数据组成，表示数据的流向。数据流图中描述的是数据流，而不是控制流。除了流向数据存储或从数据存储流出的数据不必命名外，每个数据流必须要有一个合适的名字，以反映该数据流的含义。
[0004]在制作一个业务流程图时，由于业务属性的不同，会创建多源数据流，业务总线和直线所对应的数据加工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于DataFlow的多源数据自动抽取与调用方法，其特征在于，包括如下步骤：对执行DFD设计任务所生成的源数据文件，进行特征标记；根据所述DFD设计任务的第一业务属性，建立对应的DataFlow数据库，并将具备特征标记的所述源数据文件存储至与所述DFD设计任务相对应的所述DataFlow数据库中；确定当前DFD设计任务的第二业务属性，将所述第二业务属性与所述第一业务属性进行匹配，判断是否存在同属性的数据加工任务；若存在，则从所述DataFlow数据库中搜索并抽取出与所述数据加工任务相匹配的多源数据信息。2.根据权利要求1所述的基于DataFlow的多源数据自动抽取与调用方法，其特征在于，对执行DFD设计任务所生成的源数据文件，进行特征标记，包括：预设特征标记规则并配置于DataFlow平台；依次执行预先设定的各个DFD设计任务，并生成各个DFD设计任务中的各个源数据文件；按照所述源数据文件的数据特征，对所述DFD设计任务的所述源数据文件进行特征标记，得到若干个具有不同特征标签的所述源数据文件。3.根据权利要求2所述的基于DataFlow的多源数据自动抽取与调用方法，其特征在于，根据所述DFD设计任务的第一业务属性，建立对应的DataFlow数据库，并将具备特征标记的所述源数据文件存储至与所述DFD设计任务相对应的所述DataFlow数据库中，包括：在执行DFD设计任务之前，获取所述DFD设计任务的第一业务属性；按照所述第一业务属性，在平台中创建与所述DFD设计任务相对应的DataFlow数据库；执行所述DFD设计任务时，将该任务所生成的具备特征标签的所述源数据文件，动态存储至与所述DFD设计任务相对应的所述DataFlow数据库中。4.根据权利要求3所述的基于DataFlow的多源数据自动抽取与调用方法，其特征在于，确定当前DFD设计任务的第二业务属性，将所述第二业务属性与所述第一业务属性进行匹配，判断是否存在同属性的数据加工任务，包括：执行当前DFD设计任务，并获取当前DFD设计任务的第二业务属性；将当前DFD设计任务的第二业务属性，与前面已经执行的DFD设计任务的第一业务属性进行匹配，输出匹配结果；根据匹配结果，判断是否存在与当前DFD设计任务同属性的数据加工任务：若不存在，则继续执行当前DFD设计任务，并生成对应的源数据文件，进行特征标记。5.根据权利要求4所述的基于DataFlow的多源数据自动抽取与调用方法，其特征在于，若存在...

【专利技术属性】
技术研发人员：钱浩，肖俊日，韩佳，聂昕，陈德荣，
申请(专利权)人：上海瑞谷拜特软件技术有限公司，
类型：发明
国别省市：