一种任务处理方法、装置及系统制造方法及图纸

本申请提供了一种任务处理方法、装置及系统，涉及大数据计算技术领域，所述方法应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述方法包括：接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；通过所述第一容器资源执行所述目标任务。采用本申请，能够提高总资源使用率。

A Task Processing Method, Device and System

This application provides a task processing method, device and system, which relates to the field of large data computing technology. The method is applied to resource scheduling nodes. The resource scheduling nodes are used to schedule resources for at least two types of tasks. The at least two types of tasks include large data computing tasks. The method includes: receiving task requests for target tasks, and the target tasks are: According to the task request, the first container resource allocated to the target task is determined from the preset container resource pool, and the target task is executed through the first container resource. This application can improve the utilization rate of total resources.

【技术实现步骤摘要】
一种任务处理方法、装置及系统
本申请涉及大数据计算
，特别是涉及一种任务处理方法、装置及系统。
技术介绍
随着互联网的极速发展，在机房有限的计算资源中实现大数据计算任务、单机计算任务、业务服务等多种任务的有效处理，成为人们关注的重点研究课题。计算资源包括计算机CPU(CentralProcessingUnit,中央处理器)、内存、网络吞吐量、以及I/O(Input/Output,输入/输出)等。目前，大数据计算任务、单机计算任务和处理业务服务分别由不同的服务器处理，因此，整个机房中需要部署处理各种任务的机器。其中，处理大数据计算任务的服务器中通常安装有Yarn(Yetanotherresourcenegotiator，另一种资源协调者)资源调度系统，Yarn资源调度系统基于预设的分布式计算组件和预设的Yarn容器，对大数据计算任务进行处理。而业务服务可包括nqinx(enginex，发动机x)、tomcat(公猫应用服务器)、以及其他类型的业务服务。由于机房中需要部署处理各种任务的机器，资源是不能统一共享的，各种任务是由各自的机器执行，资源使用率较低。而且当某一服务器在响应某种任务的任务请求时，只能使用本地的资源，会出现某一服务器中的资源不足，而其他服务器资源空闲的情况，导致总资源的使用率低。
技术实现思路
本申请实施例的目的在于提供一种任务处理方法、装置及系统，以实现提高总资源使用率。具体技术方案如下：第一方面，提供了一种任务处理方法，所述方法应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述方法包括：接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；通过所述第一容器资源执行所述目标任务。可选的，所述至少两类任务还包括单机计算任务和业务服务。可选的，所述目标任务为大数据计算任务；所述方法还包括：根据所述任务请求，从预设的容器资源池中，确定用于执行所述大数据计算任务对应的驱动driver任务的第二容器资源；通过所述第二容器资源执行所述驱动driver任务。可选的，所述容器资源池包括多个子资源池；所述任务请求中携带有所述目标任务所属的任务类型的指示信息；所述根据所述任务请求，从预设的容器资源池，确定为所述目标任务分配的第一容器资源包括：根据所述目标任务所属的任务类型的指示信息，确定所述目标任务所属的任务类型；通过预先存储的任务类型与子资源池的对应关系，确定所述目标任务所属的任务类型对应的目标子资源池；从所述目标子资源池中，确定第一容器资源。可选的，所述方法还包括：如果当前时间处于预设的第一任务类型对应的任务高峰时段，则确定预设的第一任务类型对应的资源量上限与所述第一任务类型的任务当前占用的资源量的差值，得到资源需求量；如果所述资源需求量小于所述容器资源池中当前的未使用的容器资源量，则从所述容器资源池中分配所述资源需求量对应的容器资源给所述第一任务类型对应的子资源池；如果所述资源需求量大于所述容器资源池中当前的未使用的容器资源量，则将当前所述容器资源池中未使用的容器资源分配给所述第一任务类型对应的子资源池。可选的，所述资源调度节点基于开源容器集群管理系统kubernetes，网络应用程序开发框架集群swarm或开源分布式资源管理框架mesos进行容器资源的调度。可选的，所述容器资源为docker容器资源。第二方面，提供了一种任务处理方法，所述方法应用于容器，所述容器用于执行至少两类任务，所述至少两类任务中包括大数据计算任务，所述方法包括：获取资源调度节点分配的目标任务，所述目标任务为所述至少两类任务中的任一类任务；从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源；基于所述分配的计算资源执行所述目标任务。可选的，所述至少两类任务还包括单机计算任务、业务服务和大数据计算任务对应的驱动driver任务。可选的，所述从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源包括：根据所述目标任务所属的任务类型，从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源；其中，为所述目标任务分配的计算资源量上限与所述目标任务所属的任务类型相对应。可选的，所述计算资源包括CPU、内存、磁盘I/O和网络吞吐量中的至少一种。可选的，所述方法还包括：如果基于所述分配的计算资源执行所述目标任务时检测到资源不足，获取与所述目标任务所属的任务类型对应的计算资源量上限；根据所述计算资源量上限和预设的小步申请规则，从所述容器内部的空闲计算资源中，为所述目标任务申请新的计算资源；其中，所述新的计算资源量与所述分配的计算资源量的和不超过所述计算资源量上限；基于新的计算资源执行所述目标任务。可选的，所述资源调度节点基于开源容器集群管理系统kubernetes，网络应用程序开发框架集群swarm或开源分布式资源管理框架mesos进行容器资源的调度。可选的，所述容器为docker容器。第三方面，提供了一种任务处理装置，所述装置应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述装置包括：接收模块，用于接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；第一确定模块，用于根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；第一执行模块，用于通过所述第一容器资源执行所述目标任务。可选的，所述至少两类任务还包括单机计算任务和业务服务。可选的，所述目标任务为大数据计算任务；所述装置还包括：第二确定模块，用于根据所述任务请求，从预设的容器资源池中，确定用于执行所述大数据计算任务对应的驱动driver任务的第二容器资源；第二执行模块，用于通过所述第二容器资源执行所述驱动driver任务。可选的，所述容器资源池包括多个子资源池；所述任务请求中携带有所述目标任务所属的任务类型的指示信息；所述第一确定模块包括：第一确定子模块，用于根据所述目标任务所属的任务类型的指示信息，确定所述目标任务所属的任务类型；第二确定子模块，用于通过预先存储的任务类型与子资源池的对应关系，确定所述目标任务所属的任务类型对应的目标子资源池；第三确定子模块，用于从所述目标子资源池中，确定第一容器资源。可选的，所述装置还包括：第三确定模块，用于在当前时间处于预设的第一任务类型对应的任务高峰时段时，确定预设的第一任务类型对应的资源量上限与所述第一任务类型的任务当前占用的资源量的差值，得到资源需求量；第一分配模块，用于当所述资源需求量小于所述容器资源池中当前的未使用的容器资源量时，从所述容器资源池中分配所述资源需求量对应的容器资源给所述第一任务类型对应的子资源池；第二分配模块，用于当所述资源需求量大于所述容器资源池中当前的未使用的容器资源量时，从将当前所述容器资源池中未使用的容器资源分配给所述第一任务类型对应的子资源池。可选的，所述资源调度节点基于开源容器集群管理系统kubernetes，网络应用程序开发框架集群swarm或开源分布式资源管理框架mesos进行容器资源的调度。可选的，所述容器资源为docker容器本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，所述方法应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述方法包括：接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；通过所述第一容器资源执行所述目标任务。

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述方法包括：接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；通过所述第一容器资源执行所述目标任务。2.根据权利要求1所述的方法，其特征在于，所述至少两类任务还包括单机计算任务和业务服务。3.根据权利要求1或2所述的方法，其特征在于，所述目标任务为大数据计算任务；所述方法还包括：根据所述任务请求，从预设的容器资源池中，确定用于执行所述大数据计算任务对应的驱动driver任务的第二容器资源；通过所述第二容器资源执行所述驱动driver任务。4.根据权利要求1所述的方法，其特征在于，所述容器资源池包括多个子资源池；所述任务请求中携带有所述目标任务所属的任务类型的指示信息；所述根据所述任务请求，从预设的容器资源池，确定为所述目标任务分配的第一容器资源包括：根据所述目标任务所属的任务类型的指示信息，确定所述目标任务所属的任务类型；通过预先存储的任务类型与子资源池的对应关系，确定所述目标任务所属的任务类型对应的目标子资源池；从所述目标子资源池中，确定第一容器资源。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：如果当前时间处于预设的第一任务类型对应的任务高峰时段，则确定预设的第一任务类型对应的资源量上限与所述第一任务类型的任务当前占用的资源量的差值，得到资源需求量；如果所述资源需求量小于所述容器资源池中当前的未使用的容器资源量，则从所述容器资源池中分配所述资源需求量对应的容器资源给所述第一任务类型对应的子资源池；如果所述资源需求量大于所述容器资源池中当前的未使用的容器资源量，则将当前所述容器资源池中未使用的容器资源分配给所述第一任务类型对应的子资源池。6.根据权利要求1至5任一项所述的方法，其特征在于，所述资源调度节点基于开源容器集群管理系统kubernetes，网络应用程序开发框架集群swarm或开源分布式资源管理框架mesos进行容器资源的调度。7.根据权利要求6所述的方法，其特征在于，所述容器资源为docker容器资源。8.一种任务处理方法，其特征在于，所述方法应用于容器，所述容器用于执行至少两类任务，所述至少两类任务中包括大数据计算任务，所述方法包括：获取资源调度节点分配的目标任务，所述目标任务为所述至少两类任务中的任一类任务；从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源；基于所述分配的计算资源执行所述目标任务。9.根据权利要求8所述的方法，其特征在于，所述至少两类任务还包括单机计算任务、业务服务和大数据计算任务对应的驱动driver任务。10.根据权利要求8所述的方法，其特征在于，所述从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源包括：根据所述目标任务所属的任务类型，从所述容器内部的空闲计算资源中，为所述目标任务分配计算资源；其中，为所述目标任务分配的计算资源量上限与所述目标任务所属的任务类型相对应。11.根据权利要求8所述的方法，其特征在于，所述计算资源包括CPU、内存、磁盘I/O和网络吞吐量中的至少一种。12.根据权利要求8所述的方法，其特征在于，所述方法还包括：如果基于所述分配的计算资源执行所述目标任务时检测到资源不足，获取与所述目标任务所属的任务类型对应的计算资源量上限；根据所述计算资源量上限和预设的小步申请规则，从所述容器内部的空闲计算资源中，为所述目标任务申请新的计算资源；其中，所述新的计算资源量与所述分配的计算资源量的和不超过所述计算资源量上限；基于新的计算资源执行所述目标任务。13.根据权利要求8至12任一项所述的方法，其特征在于，所述资源调度节点基于开源容器集群管理系统kubernetes，网络应用程序开发框架集群swarm或开源分布式资源管理框架mesos进行容器资源的调度。14.根据权利要求13所述的方法，其特征在于，所述容器为docker容器。15.一种任务处理装置，其特征在于，所述装置应用于资源调度节点，所述资源调度节点用于对至少两类任务进行资源调度，所述至少两类任务中包括大数据计算任务，所述装置包括：接收模块，用于接收目标任务的任务请求，所述目标任务为所述至少两类任务中的任一类任务；第一确定模块，用于根据所述任务请求，从预设的容器资源池中，确定为所述目标任务分配的第一容器资源；第一执行模块，用于通过所述第一容器资源执行所述目标任务。16.根据权利要求15所述的装置，其特征在于，所述至少两类任务还包括单机计算任务和业务服务。17.根据权利要求15或16所述的装置，其特征在于，所述目标任务为大数据计算任务；所述装置还包括：第二确定模块，用于根据所述任务请求，从预设的容器资源池中，确定用于执行所述大数据计算任务对应的驱动driver任务的第二容器资源；第二执行模块，用于通过所述第二容器资源执行所述驱动driver任务。...

【专利技术属性】
技术研发人员：关海南，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京,11