一种基于可视化数据流图编辑和执行处理系统及方法技术方案

本发明专利技术公开基于可视化数据流图编辑和执行处理系统及方法，包括界面编辑模块，所述界面编辑模块用于接收用户从界面编辑的数据处理流程图；数据流图分析模块，所述数据流图分析模块用于对用户编辑的数据处理流程图进行分析，生成执行序列；执行节点分析模块，所述执行节点分析模块对数据流图分析模块生成的执行序列中的每个执行节点按顺序进行业务解析，判断其参数和操作的正确性，并对正确的节点得到将要执行的具体操作，最后输出一个执行操作序列；执行模块，所述执行模块用于将执行节点分析模块生成的执行操作序列，按照要求的时间提交到大数据平台执行，由大数据平台运行之后对实际数据进行处理并得到结果。提高了数据处理逻辑的编写效率。理逻辑的编写效率。理逻辑的编写效率。

【技术实现步骤摘要】
一种基于可视化数据流图编辑和执行处理系统及方法


[0001]本专利技术涉及大数据营销
，尤其涉及一种基于可视化数据流图编辑和执行处理系统及方法。

技术介绍

[0002]在大数据营销领域中，用户、业务对象、标签、群组、事件等数据的存储和处理是不可缺少的基础环节，从外部输入的各种业务相关的数据，需要存储到数据库、大数据系统中，并对数据进行处理，并将处理结果输出到业务分析等外部系统使用。依据业务需求，处理结果包括但不限于标签、群组、宽表等等。
[0003]但是，目前常见的数据库和大数据平台工具大都不具备直接使用界面进行数据处理流程编写的能力，有些工具包具备初步的可视化编写能力，但大都是面向底层数据库，大部分时候用户都需要写大量的代码来完成处理逻辑，无法有效的满足面向业务的便捷性和多用户场景下的安全性。

技术实现思路

[0004]为了克服上述技术缺陷，本专利技术提供一种基于可视化数据流图编辑和执行处理系统及方法，编写过程中可以实时预览每一步的计算结果，因为编写解析过程会结合业务和租户信息，用户可以专注编写业务而不用考虑底层数据的存储和命名等，提高了数据处理逻辑的编写效率。
[0005]本专利技术的技术方案是：一种基于可视化数据流图编辑和执行处理系统，包括
[0006]界面编辑模块，所述界面编辑模块用于接收用户从界面编辑的数据处理流程图；
[0007]数据流图分析模块，所述数据流图分析模块用于对用户编辑的数据处理流程图进行分析，生成执行序列，所述执行序列为一个线性执行序列，序列中每一个节点为一步数据处理流程，包括数据的读取、处理和输出；
[0008]执行节点分析模块，所述执行节点分析模块对数据流图分析模块生成的执行序列中的每个执行节点按顺序进行业务解析，判断其参数和操作的正确性，并对正确的节点得到将要执行的具体操作，最后输出一个实际将要在数据库、大数据平台执行的读取、处理和输出执行操作序列，并对错误定义和处理进行检查和报错，提醒用户修改；
[0009]执行模块，所述执行模块用于将执行节点分析模块生成的执行操作序列，按照要求的时间提交到大数据平台执行，由大数据平台运行之后对实际数据进行处理并得到结果。
[0010]进一步的，所述数据处理流程图是用户在界面上选择、配置并组合数据读取、处理、输出组件，形成的数据处理流程图，为一个有向无环图DAG。
[0011]进一步的，所述数据流图分析模块中对用户编辑的数据处理流程图进行分析的具体步骤为：对数据处理流程图节点执行后序遍历或者拓扑排序，得到节点的执行顺序，该执行顺序保证所有上游节点都执行完才执行下游节点，然后输出执行序列。
[0012]进一步的，所述执行节点分析模块中业务解析步骤为：分析每个节点的定义和配置，并结合业务属性，格式化生成大数据平台将要执行的操作的SQL语句。
[0013]本专利技术还提供一种基于可视化数据流图编辑和执行处理方法，具体步骤如下：
[0014]步骤S1：用户在界面上选择、配置并组合数据读取、处理、输出组件，形成的数据处理流程图，为一个有向无环图DAG；
[0015]步骤S2：对用户编辑的数据处理流程图进行分析，生成执行序列，所述执行序列为一个线性执行序列，序列中每一个节点为一步数据处理流程，包括数据的读取、处理和输出；
[0016]步骤S3：对数据流图分析模块生成的执行序列中的每个执行节点按顺序进行业务解析，判断其参数和操作的正确性，并对正确的节点得到将要执行的具体操作，最后输出一个实际将要在数据库、大数据平台执行的读取、处理和输出执行操作序列，并对错误定义和处理进行检查和报错，提醒用户修改；
[0017]步骤S4：将执行节点分析模块生成的执行操作序列，按照要求的时间提交到大数据平台执行，由大数据平台运行之后对实际数据进行处理并得到结果。
[0018]进一步的，所述步骤S2中对用户编辑的数据处理流程图进行分析的具体步骤为：对数据处理流程图节点执行后序遍历或者拓扑排序，得到节点的执行顺序，该执行顺序保证所有上游节点都执行完才执行下游节点，然后输出执行序列。
[0019]进一步的，所述步骤S3中业务解析步骤为：分析每个节点的定义和配置，并结合业务属性，格式化生成大数据平台将要执行的操作的SQL语句。
[0020]采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0021]本申请的技术方案提供了一种基于可视化数据流图编辑和执行处理系统及方法，避免了传统方式的直接编写程序，编写过程中可以实时预览每一步的计算结果，因为编写解析过程会结合业务和租户信息，用户可以专注编写业务而不用考虑底层数据的存储和命名等，提高了数据处理逻辑的编写效率。
附图说明
[0022]图1为一种基于可视化数据流图编辑和执行处理系统的系统框图；
[0023]图2为基于可视化数据流图编辑和执行处理流程图；
[0024]图3为编辑数据处理流程图。
具体实施方式
[0025]下面结合附图对本专利技术做进一步的说明。
[0026]如图1所示，本申请的一种基于可视化数据流图编辑和执行处理系统，包括
[0027]界面编辑模块，所述界面编辑模块用于接收用户从界面编辑的数据处理流程图；所述数据处理流程图是用户在界面上选择、配置并组合数据读取、处理、输出组件，形成的数据处理流程图，为一个有向无环图DAG。在图论中，如果一个有向图从任意顶点出发无法经过若干条边回到该点，则这个图是一个有向无环图(DAG，Directed Acyclic Graph)。图由顶点和连接这些顶点的边所构成。每条边都带有从一个顶点指向另一个顶点的方向的图为有向图。有向图中的道路为一系列的边，系列中每条边的终点都是下一条边的起点。如果
一条路径的起点是这条路径的终点，那么这条路径就是一个环。有向无环图即为没有环出现的有向图。在本文应用中，每个处理节点为有向无环图的顶点，处理节点执行的前后依赖关系为有向无环图的边。
[0028]数据流图分析模块，所述数据流图分析模块用于对用户编辑的数据处理流程图进行分析，生成执行序列，所述执行序列为一个线性执行序列，序列中每一个节点为一步数据处理流程，包括数据的读取、处理和输出；所述数据流图分析模块中对用户编辑的数据处理流程图进行分析的具体步骤为：对数据处理流程图节点执行后序遍历或者拓扑排序(公知算法)，得到节点的执行顺序，该执行顺序保证所有上游节点都执行完才执行下游节点，然后输出执行序列。
[0029]执行节点分析模块，所述执行节点分析模块对数据流图分析模块生成的执行序列中的每个执行节点按顺序进行业务解析，判断其参数和操作的正确性，并对正确的节点得到将要执行的具体操作，最后输出一个实际将要在数据库、大数据平台执行的读取、处理和输出执行操作序列，并对错误定义和处理进行检查和报错，提醒用户修改；所述执行节点分析模块中业务解析步骤为：分析每个节点的定义和配置，并结合业务属性，格式化生成大数据平台将要执行的操作的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可视化数据流图编辑和执行处理系统，其特征在于：包括界面编辑模块，所述界面编辑模块用于接收用户从界面编辑的数据处理流程图；数据流图分析模块，所述数据流图分析模块用于对用户编辑的数据处理流程图进行分析，生成执行序列，所述执行序列为一个线性执行序列，序列中每一个节点为一步数据处理流程，包括数据的读取、处理和输出；执行节点分析模块，所述执行节点分析模块对数据流图分析模块生成的执行序列中的每个执行节点按顺序进行业务解析，判断其参数和操作的正确性，并对正确的节点得到将要执行的具体操作，最后输出一个实际将要在数据库、大数据平台执行的读取、处理和输出执行操作序列，并对错误定义和处理进行检查和报错，提醒用户修改；执行模块，所述执行模块用于将执行节点分析模块生成的执行操作序列，按照要求的时间提交到大数据平台执行，由大数据平台运行之后对实际数据进行处理并得到结果。2.根据权利要求1所述的一种基于可视化数据流图编辑和执行处理系统，其特征在于：所述数据处理流程图是用户在界面上选择、配置并组合数据读取、处理、输出组件，形成的数据处理流程图，为一个有向无环图DAG。3.根据权利要求1所述的一种基于可视化数据流图编辑和执行处理系统，其特征在于：所述数据流图分析模块中对用户编辑的数据处理流程图进行分析的具体步骤为：对数据处理流程图节点执行后序遍历或者拓扑排序，得到节点的执行顺序，该执行顺序保证所有上游节点都执行完才执行下游节点，然后输出执行序列。4.根据权利要求1所述的一种基于可视化数据流图编辑和执行处理系统，其特征在于：所述执行节点分...

【专利技术属性】
技术研发人员：马丹，叶俊钦，陈龙，程龙，李征，
申请(专利权)人：上海欣兆阳信息科技有限公司，
类型：发明
国别省市：