面向数据流的大数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及一种面向数据流的大数据处理方法、装置和计算机设备。所述方法包括：获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流，当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号，根据JSON格式的算子对象，创建表征业务流程调度入口函数，以实现各算子对象的实例所对应的业务功能。采用本方法在业务流程修改时，无需重新编写调用语句，提高数据处理效率。提高数据处理效率。提高数据处理效率。

【技术实现步骤摘要】
面向数据流的大数据处理方法、装置和计算机设备


[0001]本申请涉及大数据处理
，特别是涉及一种面向数据流的大数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着大数据技术的快速发展，现有的大数据处理平台(例如Spark、Flink、Storm等)都提供了数据流处理模型，并且提供了自动的数据分割、任务调度、负载均衡、数据缓存、数据通信等算子，其大幅度降低了系统开发的复杂度，并能够适应大容量和高并发的高通量需求。
[0003]此外，随着功能模块封装的流行性，可视化编程在许多非计算机领域得到广泛的应用，但基本上属于编程结构和语句的图形化表述，现有基于大数据处理平台的数据流处理平台仍然具有一些不可忽略的问题，例如，若每次要处理新的业务都需要重新开始编码，对于已经编写并封装好的模块，也需要重复编写调用语句，容易出错；并且，由于业务的模块代码调度没有一个很直观的展示，导致使用门槛较高，用户友好度较差，无疑拉长了处理时长。
[0004]由此看来，现有的面向数据流的大数据处理方法存在处理效率低下的问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数据流的大数据处理方法，其特征在于，所述方法包括：获取用户终端上传的DAG图，所述图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，所述DAG图中图形算子之间的数据流向表征业务流程数据流；当所述DAG图满足预设合理性要求时，将所述DAG图中的各图形算子对应转换为JSON格式的算子对象，所述JSON格式的算子对象存放有对应的图形算子的父节点在所述DAG图中的编号；根据所述JSON格式的算子对象，创建业务流程调度入口函数。2.根据权利要求1所述的面向数据流的大数据处理方法，其特征在于，所述获取用户终端上传的DAG图之前，还包括：获取用户终端上传的算子jar包，所述算子jar包包括算子和算子所依赖的静态数据文件；根据预设图形算子生成规则，生成与所述算子对应的图形算子；发送DAG图绘制消息至所述用户终端，所述DAG图绘制消息携带所述图形算子，所述图形算子用于供用户根据业务流程进行排列组合得到DAG图。3.根据权利要求1所述的面向数据流的大数据处理方法，其特征在于，判断所述DAG图是否满足预设合理性要求包括：检查所述DAG图中是否存在环，以及检查所述DAG图中各图形算子的输入参数的完整性和规范性；当所述DAG图中不存在环且所述DAG图中各图形算子的输入参数满足完整性和规范性要求时，判定所述DAG图满足预设合理性要求，否则，判定所述DAG图未通过合理性检查，发送DAG图重绘消息至所述用户终端。4.根据权利要求1至3任意一项所述的面向数据流的大数据处理方法，其特征在于，所述将所述DAG图中的各图形算子对应转换为JSON格式的算子对象包括：将所述DAG图中各图形算子对应转换为JSON格式的算子对象，并设置每个算子对象的属性，所述属性包括名称属性、编号属性、父节点编号属性和参数列表属性。5.根据权利要求1至3任一项所述的面向数据流的大数据处理方法，其特征在于，所述根据所述JSON格式的算子对象，创...

【专利技术属性】
技术研发人员：阳王东，池伟鸣，李肯立，唐艳阳，邹骁锋，周旭，肖国庆，胡逸騉，
申请(专利权)人：湖南大学，
类型：发明
国别省市：