【技术实现步骤摘要】
本专利技术涉及一种通过将spark sql转化为数据处理管道图方法，旨在方便sql用户快速使用数据开发平台的操作方法。
技术介绍
1、为降低数据开发人员使用spark进行大数据治理的学习成本，提升开发者的开发效率，现有的技术手段提供了数据开发平台。基于该数据开发平台，可以通过前端可视化配置数据处理管道图，并进行参数配置或低代码的开发，就可以使用内置的spark处理引擎进行大数据开发。
技术实现思路
1、本专利技术的目的是：提升具备sql编程能力的客户使用数据开发平台的效率。
2、为了达到上述目的，本专利技术的技术方案是提供了一种将spark sql转化为数据处理管道图的方法，其特征在于，包括以下步骤：
3、步骤1、通过解析sql语句，获取数据处理的业务逻辑，形成抽象语法树，抽象语法树由节点组成，每个节点代表sql语句的不同部分或操作；
4、步骤2、将抽象语法树的元素按算子进行拆解，填充算子内部配置信息以及执行逻辑，并形成算子之间的关系，即执行依赖顺序，从...
【技术保护点】
1.一种将Spark SQL转化为数据处理管道图的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种将Spark SQL转化为数据处理管道图的方法，其特征在于，所述步骤2包括以下步骤：
3.如权利要求1所述的一种将Spark SQL转化为数据处理管道图的方法，其特征在于，所述步骤3包括：
【技术特征摘要】
1.一种将spark sql转化为数据处理管道图的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种将spark sql转化为数据处理管道图...
【专利技术属性】
技术研发人员：梁永锋，肖培栋，张玉双，
申请(专利权)人：万达信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。