【技术实现步骤摘要】
Spark任务的提交方法、系统、客户端及服务端
本专利技术涉及数据处理
，特别涉及一种Spark任务的提交方法、系统、客户端及服务端。
技术介绍
ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，其为大数据处理主流的计算框架，同Mapreduce、Flink是同类产品。传统的Spark任务提交是在操作系统上使用spark-submit命令的方式提交任务，提交示例如下：spark-submit\--masteryarn\--queueroot.engineering\--classorg.app.SparkPi\/home/hadoop/sparkApp.jar。上述提交方式需要登录大数据集群的边缘节点，在大数据集群的边缘节点提交spark任务，因此，该任务提交方式存在如下缺陷：(1)任务启动时间长：传统的使用spark-submit提交任务启动时间长，从任务提交到启动完成需要耗时90秒左右。(2)数据不能共享：对于公共的数据，使用传统的...
【技术保护点】
1.一种Spark任务的提交方法，其特征在于，包括：/n客户端接收用户输入的Spark任务提交请求，以http方式将Spark任务提交请求通过与服务器连接的Socket路径发出；/n服务端获取以http方式发来的Spark任务提交请求，根据所述Spark任务提交请求，创建基于共享统一切入点变量的会话，根据所述基于共享统一切入点变量的会话，提交Spark任务至大数据集群的边缘节点；其中，所述大数据集群的边缘节点中存在Spark应用，所述Spark应用以常驻进程的方式监听预设端口的Spark任务。/n
【技术特征摘要】
1.一种Spark任务的提交方法，其特征在于，包括：
客户端接收用户输入的Spark任务提交请求，以http方式将Spark任务提交请求通过与服务器连接的Socket路径发出；
服务端获取以http方式发来的Spark任务提交请求，根据所述Spark任务提交请求，创建基于共享统一切入点变量的会话，根据所述基于共享统一切入点变量的会话，提交Spark任务至大数据集群的边缘节点；其中，所述大数据集群的边缘节点中存在Spark应用，所述Spark应用以常驻进程的方式监听预设端口的Spark任务。
2.如权利要求1所述的Spark任务的提交方法，其特征在于，还包括：
服务端接收大数据集群的边缘节点反馈的Spark任务执行结果，将Spark任务执行结果发出；
客户端接收根据所述Spark任务提交请求反馈的Spark任务执行结果；在Spark任务执行结果为任务提交失败时，重新以http方式发送Spark任务提交请求。
3.一种Spark任务的提交方法，应用于客户端，其特征在于，包括：
接收用户输入的Spark任务提交请求；
以http方式将Spark任务提交请求通过与服务器连接的Socket路径发出。
4.一种Spark任务的提交方法，应用于服务端，其特征在于，包括：
获取以http方式发来的Spark任务提交请求；
根据所述Spark任务提交请求，创建基于共享统一切入点变量的会话；
根据所述基于共享统一切入点变量的会话，提交Spark任务至大数据集群的边缘节点；其中，所述大数据集群的边缘节点中存在Spark应用，所述Spark应用以常驻进程的方式监听预设端口的Spark任务。
5.如权利要求4所述的Spark任务的提交方法，其特征在于，还包括：
在向大数据集群的边缘节点发出第一次启动Spark应用命令时，申请预设容量的资源；所述预设容量的资源用于供多个以http方式提交的Spark任务共享。
6.如权利要求4所述的Spark任务的提交方法，其特征在于，还包括：
检测大数据集群的边缘节点的状态；
根据大数据集群的边缘节点的状态，选择边缘节点；
提交Spark任务至大数据集群的边缘节点，包括：提交Spark任务至选择的边缘节点。
7.如权利要求6所述的Spark任务的提交方法，其特征在于，所述状态包括正常状态和异常状态；
根据大数据集群的边缘节点的状态，选择边缘节点，包括：选择正常状态的边缘节点；
提交Spark任务至选择的边缘节点，包括：提交Spark任务至正常状态的边缘节点。
8.如权利要求6所述的Spark任务的提交方法，其特征在于，所述状态包括忙碌状态和空闲状态；
根据大数据集群的边缘节点的...
【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。