本申请公开了一种任务处理方法及其装置、系统、计算机可读存储介质。任务处理方法应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述方法包括：建立代理组件服务器，封装代理组件接口；通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统。本发明专利技术通过一个代理组件服务器，通过封装代理组件接口，由代理组件服务器去集中处理提交到Spark会话请求，解决部署在开源容器集群管理系统(K8S)的大数据分析平台中的Spark计算任务能够与Yarn资源调度系统进行任务提交、数据结果输出的问题。结果输出的问题。结果输出的问题。
【技术实现步骤摘要】
一种任务处理方法及其装置、系统、计算机可读存储介质
[0001]本申请涉及数据处理
，尤其涉及一种任务处理方法及其装置、系统、计算机可读存储介质。
技术介绍
[0002]企业大数据平台汇聚的是企业重要资产，其处于核心数据区，在网络上属于隔离保护层级，不允许直接与公网互联。随着互联网的快速发展，在机房有限的计算资源中实现大数据计算任务、单机计算任务、业务服务等多种任务的有效处理，成为人们关注的重点研究课题。计算资源包括计算机CPU(Central Processing Unit,中央处理器)、内存、网络吞吐量、以及I/O(Input/Output,输入/输出)等。
[0003]目前，大数据计算任务、单机计算任务和处理业务服务分别由不同的服务器处理，因此，整个机房中需要部署处理各种任务的机器。其中，处理大数据计算任务的服务器中通常安装有Yarn(Yet another resource negotiator，另一种资源协调者)资源调度系统，Yarn资源调度系统基于预设的分布式计算组件和预设的Yarn容器，对大数据计算任务进行处理。而业务服务可包括nginx、tomcat以及其他类型的业务服务。
[0004]随着云原生的发展，一种大数据查询分析可视化平台如Zeppelin Notebook、Jupyter以及企业基于Spark计算引擎自研的计算分析平台，通常会部署在K8S容器化环境中。集群具体可以为开源容器集群管理系统(Kubernetes，K8S)，实现在容器组上部署调度节点和执行节点，实现资源隔离。
[0005]这种部署方式需要在容器内部启动Spark计算任务提交到Yarn计算集群中，由于Spark启动任务节点位于容器中，是一个容器内部对外隔离的网络环境，在提交任务去做交互式查询时候，与大数据计算集群通信时，计算集群无法返回数据給容器中的启动节点，整个操作会存在网络问题，造成无法满足大数据场景下交互式数据查询分析结果输出的需求。
技术实现思路
[0006]本申请主要解决计算集群无法返回数据給容器中的启动节点，造成无法满足大数据场景下交互式数据查询分析结果输出的需求的技术问题，提供一种任务处理方法及其装置、系统、计算机可读存储介质。
[0007]为解决上述技术问题，本申请采用的一个技术方案是：提供一种任务处理方法，所述方法应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述方法包括：
[0008]建立代理组件服务器，封装代理组件接口；
[0009]通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统。
[0010]可选地，所述通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统的步骤具体包括：
[0011]提交Spark会话请求；
[0012]根据接收到的Spark会话请求，创建Spark交互式会话；
[0013]在创建的Spark交互式会话中，提交Spark交互式任务的执行代码；
[0014]提供执行所述Spark交互式任务的执行代码接口。
[0015]可选地，所述提供执行所述Spark交互式任务的执行代码接口的步骤之后，所述方法还包括：
[0016]发出结束Spark交互式会话的结束指令；
[0017]根据接收到的所述结束指令，结束Spark交互式任务。
[0018]可选地，
[0019]所述根据接收到的Spark会话请求，创建Spark交互式会话的步骤之后，所述方法还包括：
[0020]创建封装接口，向所述客户端返回唯一会话标识；其中，所述封装接口封装Spark交互式任务提交所述Yarn资源调度系统启动的预设参数和资源需求；
[0021]封装所述预设参数和资源需求并提交到所述Yarn资源调度系统，用以创建所述Spark交互式会话，
[0022]保持所述Spark交互式会话连接并返回所述唯一会话标识。
[0023]可选地，所述保持所述Spark交互式会话连接并返回所述唯一会话标识的步骤之后，所述方法还包括：
[0024]接收返回的所述唯一会话标识，并在所述代理组件服务器创建的所述Spark交互式会话中，提交Spark交互式任务的代码去调用所述代理组件服务器的所述执行代码接口。
[0025]可选地，
[0026]所述代理组件服务器的所述执行代码接口接收到所述执行代码时，识别所述唯一会话标识，调用对应的Spark交互式会话去提交到所述Yarn资源调度系统中执行代码，根据所述Yarn资源调度系统返回的结果数据。
[0027]可选地，所述提供执行所述Spark交互式任务的执行代码接口的步骤之后，所述方法还包括：
[0028]根据空闲时长进行Spark交互式会话的主动回收，以避免所述Spark交互式任务长期占用资源。
[0029]可选地，
[0030]所述创建的Spark交互式会话中，提交Spark交互式任务的代码的步骤之前，所述方法还包括：
[0031]监测所述Spark交互式会话是否被所述代理组件服务器主动回收；
[0032]若是，则重新调用所述代理组件服务器提交新的Spark会话请求并更新所述唯一会话标识。
[0033]为解决上述技术问题，本申请采用的另一个技术方案是：一种任务处理装置，所述装置应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述装置包括：
[0034]建立代理组件服务器，封装代理组件接口；
[0035]通过所述代理组件接口提交Spark会话请求到所述Yarn资源调度系统。
[0036]为解决上述技术问题，本申请采用的另一个技术方案是：一种任务处理系统，所述
任务处理系统应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述任务处理系统包括客户端和Yarn资源调度系统，所述任务处理系统用于：
[0037]建立代理组件服务器，封装代理组件接口；
[0038]所述客户端通过所述代理组件接口提交Spark会话请求到所述Yarn资源调度系统。
[0039]为解决上述技术问题，本申请采用的另一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行所述程序数据以实现上述的方法。
[0040]本申请实施例的有益效果是：区别于现有技术，本申请提供一种任务处理方法，所述方法应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述方法包括：建立代理组件服务器，封装代理组件接口；通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统。本专利技术通过一个代理组件服务器，通过封装代理组件接口，由代理组件服务器去集中处理提交到Spark会话请求，解决部署在开源容器集群管理系统(K8S)的大数据分析平台中的Spark计算任务能够与Yarn资源调度系统进行任务提交、数据结果输出的问题。
附图说明...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法应用于资源调度节点，所述资源调度节点基于开源容器集群管理系统，所述方法包括：建立代理组件服务器，封装代理组件接口；通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统。2.根据权利要求1所述的方法，其特征在于，所述通过所述代理组件接口提交Spark会话请求到Yarn资源调度系统的步骤具体包括：提交Spark会话请求；根据接收到的Spark会话请求，创建Spark交互式会话；在创建的Spark交互式会话中，提交Spark交互式任务的执行代码；提供执行所述Spark交互式任务的执行代码接口。3.根据权利要求2所述的方法，其特征在于，所述提供执行所述Spark交互式任务的执行代码接口的步骤之后，所述方法还包括：发出结束Spark交互式会话的结束指令；根据接收到的所述结束指令，结束Spark交互式任务。4.根据权利要求3所述的方法，其特征在于，所述根据接收到的Spark会话请求，创建Spark交互式会话的步骤之后，所述方法还包括：创建封装接口，向所述客户端返回唯一会话标识；其中，所述封装接口封装Spark交互式任务提交所述Yarn资源调度系统启动的预设参数和资源需求；封装所述预设参数和资源需求并提交到所述Yarn资源调度系统，用以创建所述Spark交互式会话，保持所述Spark交互式会话连接并返回所述唯一会话标识。5.根据权利要求4所述的方法，其特征在于，所述保持所述Spark交互式会话连接并返回所述唯一会话标识的步骤之后，所述方法还包括：接收返回的所述唯一会话标识，并在所述代理组件服务器创建的所述Spark交互式会话中，提交Spark交互式任务的代码去调用所述代理组件服务器的所述执行代码接口。6.根据权利要求5所述的方法，...
【专利技术属性】
技术研发人员：张浩，苏海红，黄政，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。