【技术实现步骤摘要】
一种提交并守护spark任务的方法及装置
本专利技术涉及分布式系统领域，尤其涉及一种提交并守护spark任务的方法及装置。
技术介绍
目前，随着各行业对数据的重视程度的日益加深，分布式系统广泛用于解决大数据的使用问题。Docker是一个开源的应用容器引擎，针对于很多基于Docker部署的系统来说，应用系统是单独部署在容器中的，spark集群一般也是单独部署在多个容器中的。现有技术中可以使用命令行的方式提交spark任务，也可以使用spark提供的SparkLauncher提交spark任务，即在spark内部通过提交任务的方式，在spark集群中执行需要提交任务的程序或命令。虽然各个容器之间可以通过网络互通，但对于SparkLauncher提交spark任务这种实现方式来说，需要调用spark容器中的脚本，但这个脚本在应用系统容器中是不可见的，即现有的基于Docker部署的微服务系统中的应用系统微服务容器与spark集群容器之间不能提交spark任务。现有技术的缺点是无论使用命令行的方式提交spark...
【技术保护点】
1.一种提交并守护spark任务的方法，其特征在于，所述方法基于Docker及SpringClound实现SparkLauncher提交并守护spark任务，包括以下步骤：/n步骤S101：部署及装置Docker集群环境；/n步骤S102：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；/n步骤S103：应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；/n步骤S104：应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；/n步骤S105：...
【技术特征摘要】
1.一种提交并守护spark任务的方法，其特征在于，所述方法基于Docker及SpringClound实现SparkLauncher提交并守护spark任务，包括以下步骤：
步骤S101：部署及装置Docker集群环境；
步骤S102：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
步骤S103：应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
步骤S104：应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
步骤S105：所述应用程序微服务通过SpringClound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
步骤S106：所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
2.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S103“应用程序微服务”，是在Spark环境系统中部署的java应用程序微服务。
3.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S105“传递参数信息给所述Spark监听微服务”，包括解析Spark服务目录以及提交的spark任务的参数信息。
4.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S106“通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护”，由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
5.一种提交并守护spark任务的装置，其特征在于，所述装置基于Docker及SpringClound实现SparkLauncher提交并守护spark任务，所述装置包括：
部署Docker集群模块：部署及装...
【专利技术属性】
技术研发人员：付少波，喻波，王志海，董爱华，安鹏，
申请(专利权)人：北京明朝万达科技股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。