一种基于有向无环图的数据处理方法和处理系统技术方案

本发明专利技术提供一种基于有向无环图的数据处理方法和处理系统，该方法包括：显示第一用户界面，第一用户界面包括节点，节点包括源点、算子及宿点；响应于对节点的选择操作，将选择的目标节点的图标显示于第一用户界面的第一显示区域内；响应于对目标节点的连接操作，采用节点连接线将包括源点、算子和宿点的目标节点连接，创建为有向无环图；在有向无环图中，节点连接线将源点获取的数据输入至算子，将算子处理后的数据输入至宿点以输出目标数据。本发明专利技术可提供可视化的用户界面，用于创建能够用于静态数据处理或实时数据处理的有向无环图，不需要采用专业的计算机编程语句，操作方便。

【技术实现步骤摘要】
一种基于有向无环图的数据处理方法和处理系统
本专利技术涉及大数据处理领域，尤其涉及一种基于有向无环图的数据处理方法和处理系统。
技术介绍
流计算是目前数据处理领域里的一个重要组成部分。与传统的数据处理系统把数据存储在硬盘或其他存储服务后再进行计算处理不同，流计算处理实时传入的数据并且实时的体现出数据的价值，普遍认为数据流的价值随时间的流逝而减低。现有的流计算系统，使用SQL(StructuredQueryLanguage，结构化查询语言)语句生成对应的DAG(DirectedAcyclicGraph，有向无环图)，并用有向无环图生成包含数据流逻辑的节点，以将有向无环图里的数据流逻辑分配给不同的节点，对于用户的专业性要求较高，且操作不便。
技术实现思路
有鉴于此，本专利技术提供一种基于有向无环图的数据处理方法和处理系统，用于解决现有的流计算系统需要采用专业的计算机编程语句才能够生成数据流对应的有向无环图，专业性要求高，操作不便的问题。为解决上述技术问题，本专利技术提供一种基于有向无环图的数据处理方法，包括：显示第一用户界面，所述第一用户界面包括用于创建有向无环图的节点，所述节点包括用于获取数据源的输入数据的源点、用于对输入数据进行处理的算子及用于输出目标数据的宿点；响应于对所述节点的选择操作，将选择的目标节点的图标显示于第一用户界面的第一显示区域内；响应于对所述目标节点的连接操作，采用节点连接线将包括所述源点、算子和宿点的目标节点连接，创建为有向无环图；其中，在所述有向无环图中，所述节点连接线将所述源点获取的数据输入至所述算子，并把所述算子处理后的数据输入至所述宿点以输出目标数据。可选地，所述第一用户界面还包括第二显示区域，所述第二显示区域用于显示所述节点。可选地，所述选择操作为点击所述节点的点击操作，或者，将所述节点拖拽至所述第一显示区域的拖拽操作。可选地，所述目标节点包括输出锚点和/或输入锚点，所述连接操作为从一所述目标节点的输出锚点向另一所述目标节点的输入锚点拖拽的拖拽操作。可选地，所述方法还包括：响应于对所述第一显示区域内的所述目标节点或所述节点连接线的配置操作，显示信息配置界面；基于用户在所述信息配置界面输入的配置信息，对所述第一显示区域内显示的所述目标节点或所述节点连接线进行配置。可选地，所述目标节点的配置信息包括以下至少一项：名称、描述信息、输出字段结构和参数配置。可选地，所述节点连接线的配置信息包括以下至少一项：数据过滤信息和数据分流信息。可选地，所述目标节点包括输出锚点和/或输入锚点，响应于对所述目标节点的连接操作，采用节点连接线将包括所述源点、算子和宿点的目标节点连接的步骤，包括：基于预设显示方式显示与目标输出锚点匹配的输入锚点；采用节点连接线从所述目标输出锚点连向目标输入锚点。可选地，所述方法还包括：响应于对创建的有向无环图的保存操作，将创建的有向无环图转换成json格式的代码保存。可选地，所述方法还包括：响应于对创建的有向无环图的发布操作，将创建的有向无环图转换成json格式的代码；将所述json格式的代码转换为Flink对应的数据流；运行所述数据流，生成流作业。可选地，所述方法还包括：响应于对创建的有向无环图的导出操作，将创建的有向无环图转换成json格式的代码，并将所述json格式的代码转换为压缩文件导出。可选地，所述方法还包括：响应于对创建的有向无环图的导入操作，将导入文件转换后的有向无环图显示于当前界面。可选地，所述响应于对创建的有向无环图的导入操作，将导入文件转换后的有向无环图显示于当前界面包括：响应于导入压缩的json格式的代码的导入操作，解压所述压缩的json格式的代码；将解压后的json格式的代码转换为有向无环图，并覆盖当前创建的有向无环图。可选地，所述方法还包括：响应于上传算子的上传操作，将上传的算子添加至用于创建有向无环图的节点中。可选地，所述方法还包括：响应于对所述流作业进行调试的调试操作，对所述流作业进行调试，并显示调试结果。可选地，所述方法还包括：响应于对所述流作业的日志查看操作，显示所述流作业的日志。可选地，所述方法还包括：响应于对所述流作业的运行状态的查看操作，获取所述流作业中对至少部分所述节点的监控信息，并显示所述监控信息。本专利技术还提供一种基于有向无环图的数据处理系统，包括：显示模块，用于显示第一用户界面，所述第一用户界面包括用于创建有向无环图的节点，所述节点包括用于获取数据源的输入数据的源点、用于对输入数据进行处理的算子及用于输出目标数据的宿点；第一执行模块，用于响应于对所述节点的选择操作，将选择的目标节点的图标显示于第一用户界面的第一显示区域内；第二执行模块，用于响应于对所述目标节点的连接操作，采用节点连接线将包括所述源点、算子和宿点的目标节点连接，创建为有向无环图；其中，在所述有向无环图中，所述节点连接线将所述源点获取的数据输入至所述算子，并把所述算子处理后的数据输入至所述宿点以输出目标数据。可选地，所述第一用户界面还包括第二显示区域，所述第二显示区域用于显示所述节点。可选地，所述选择操作为点击所述节点的点击操作，或者，将所述节点拖拽至所述第一显示区域的拖拽操作。可选地，所述目标节点包括输出锚点和/或输入锚点，所述连接操作为从一所述目标节点的输出锚点向另一所述目标节点的输入锚点拖拽的拖拽操作。可选地，所述系统还包括：第三执行模块，用于响应于对所述第一显示区域内的所述目标节点或所述节点连接线的配置操作，显示信息配置界面；第四执行模块，用于基于用户在所述信息配置界面输入的配置信息，对所述第一显示区域内显示的所述目标节点或所述节点连接线进行配置。可选地，所述目标节点的配置信息包括以下至少一项：名称、描述信息、输出字段结构和参数配置。可选地，所述节点连接线的配置信息包括以下至少一项：数据过滤信息和数据分流信息。可选地，所述目标节点包括输出锚点和/或输入锚点，所述第二执行模块，还用于基于预设显示方式显示与目标输出锚点匹配的输入锚点；采用节点连接线从所述目标输出锚点连向目标输入锚点。可选地，所述系统还包括：第五执行模块，用于响应于对创建的有向无环图的保存操作，将创建的有向无环图转换成json格式的代码保存。可选地，所述系统还包括：第六执行模块，用于响应于对创建的有向无环图的发布操作，将创建的有向无环图转换成json格式的代码；将所述json格式的代码转换为Flink对应的数据流；运行所述数据流，生成流作业。可选地，所述系统还包括：第七执行模块，用于响应于对创建的有向无环图的导出操作，将创建的有向无环图转换成json格式的代码，并将所述json格式的代码转换为压缩文件导出。可选地，所述系统还包括：第八执行模块，用于响应于对创建的有向无环图的导入操作，将导入文件转换后的有向无环图显示于当前界面。可选地，所述系统还包括：所述第八执行模块，进一步用于响应于导入压缩的json格式的代码的导入操作，解压所述压缩的json格式的代码；将解压后的json格式的代码转换为有向无环图，并覆盖当前创建的有向无环图。可选地，所述系统还包括：第九执行模块，用于响应于上传算子的上传操作，将上传的算子添加至用于创建有向无环图的节点中。可选地，所述系统还包括：第十执行模块，用于响应于对所本文档来自技高网...

【技术保护点】
1.一种基于有向无环图的数据处理方法，其特征在于，包括：显示第一用户界面，所述第一用户界面包括用于创建有向无环图的节点，所述节点包括用于获取数据源的输入数据的源点、用于对输入数据进行处理的算子及用于输出目标数据的宿点；响应于对所述节点的选择操作，将选择的目标节点的图标显示于第一用户界面的第一显示区域内；响应于对所述目标节点的连接操作，采用节点连接线将包括所述源点、算子和宿点的目标节点连接，创建为有向无环图；其中，在所述有向无环图中，所述节点连接线将所述源点获取的数据输入至所述算子，并把所述算子处理后的数据输入至所述宿点以输出目标数据。

【技术特征摘要】
1.一种基于有向无环图的数据处理方法，其特征在于，包括：显示第一用户界面，所述第一用户界面包括用于创建有向无环图的节点，所述节点包括用于获取数据源的输入数据的源点、用于对输入数据进行处理的算子及用于输出目标数据的宿点；响应于对所述节点的选择操作，将选择的目标节点的图标显示于第一用户界面的第一显示区域内；响应于对所述目标节点的连接操作，采用节点连接线将包括所述源点、算子和宿点的目标节点连接，创建为有向无环图；其中，在所述有向无环图中，所述节点连接线将所述源点获取的数据输入至所述算子，并把所述算子处理后的数据输入至所述宿点以输出目标数据。2.如权利要求1所述的方法，其特征在于，所述第一用户界面还包括第二显示区域，所述第二显示区域用于显示所述节点。3.如权利要求1或2所述的方法，其特征在于，所述选择操作为点击所述节点的点击操作，或者，将所述节点拖拽至所述第一显示区域的拖拽操作。4.如权利要求1所述的方法，其特征在于，所述目标节点包括输出锚点和/或输入锚点，所述连接操作为从一所述目标节点的输出锚点向另一所述目标节点的输入锚点拖拽的拖拽操作。5.如权利要求1所述的方法，其特征在于，还包括：响应于对所述第一显示区域内的所述目标节点或所述节点连接线的配置操作，显示信息配置界面；基于用户在所述信息配置界面输入的配置信息，对所述第一显示区域内显示的所述目标节点或所述节点连接线进行配置。6.一种基于有向无环图的数据处理系统，其特征...

【专利技术属性】
技术研发人员：邱剑生，郭璐，胡宗星，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：北京,11