资源分配方法、主装置、从装置和分布式计算系统制造方法及图纸

本发明专利技术公开了一种资源分配方法、主装置、从装置和分布式计算系统。所述方法包括：获取在分布式集群的各物理节点上可使用的资源总量，为各计算任务设置标准资源限度，将两者下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；将计算任务分配到资源充足的物理节点上，由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。该技术方案能够避免出现多个计算任务争抢同一计算资源导致效率低下的问题。

Resource allocation method, main device, slave device and distributed computing system

The invention discloses a resource allocation method, a main device, a slave device and a distributed computing system. The method comprises: acquiring the total amount of resources can be used in the distributed cluster on physical nodes, set the standard limit for each resource computing tasks, both sent to the appropriate allocation of resources from the physical node device; when receiving computing tasks submitted, access to all physical nodes on the current available resources; according to the resource requirements and / or standard resource limit configuration calculation task of the computing tasks submitted by the current node and the physical resources available to determine the physical node can run the computing task resources; computing tasks assigned to the physical node resources, resource allocation by the physical nodes on the adequate resources from the device in the standard resources within the limits of the resources allocation for the computing task. The scheme can avoid the problem of multiple computing tasks competing for the same computing resources to lead to inefficiency.

【技术实现步骤摘要】
资源分配方法、主装置、从装置和分布式计算系统
本专利技术涉及分布式计算
，具体涉及资源分配方法、主装置、从装置和分布式计算系统。
技术介绍
许多分布式系统都通过调度器来分配、调度计算资源，例如Hadoop可以利用Yarn进行资源调度。但是许多分布式计算系统是不支持调度器的，资源的分配方法往往不能满足用户的需求，可能导致效率低下，甚至出现错误。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的资源分配方法、主装置、从装置和分布式计算系统。依据本专利技术的一个方面，提供了一种资源分配方法，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该方法包括：获取在所述分布式集群的各物理节点上可使用的资源总量；为各计算任务设置标准资源限度；将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点本文档来自技高网...

【技术保护点】
一种资源分配方法，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该方法包括：获取在所述分布式集群的各物理节点上可使用的资源总量；为各计算任务设置标准资源限度；将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资...

【技术特征摘要】
1.一种资源分配方法，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该方法包括：获取在所述分布式集群的各物理节点上可使用的资源总量；为各计算任务设置标准资源限度；将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。2.如权利要求1所述的方法，其中，所述分布式集群的各物理节点被多个分布式系统复用，所述分布式计算系统是所述多个分布式系统中的一个；所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。3.一种资源分配方法，其中，该方法应用于分布式计算系统中的从节点上，所述分布式计算系统部署在分布式集群中，且各从节点对应部署在分布式集群的一个物理节点上，该方法包括：获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；当接收到下发的计算任务时，根据所述计算任务中配置的资源需求和/或标准资源限度，在所述标准资源限度内为所述计算任务分配资源，将分配的资源记录为已分配资源；在所述计算任务结束后，释放相应的已分配资源；当接收到可用资源获取请求时，根据记录的已分配资源和在该物理节点上可用的资源总量，确定该物理节点当前的可用资源并上报。4.如权利要求3所述的方法，其中，所述获取各计算任务的标准资源限度包括：接收下发的Cgrouplimit配置文件副本，所述Cgrouplimit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度；所述在所述标准资源限度内为所述计算任务分配资源包括：以Cgrouplimit方式启动所述计算任务。5.一种资源分配主装置，其中，该装置应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该装置包括：资源总量确定单元，适于获取在所述分布式集群的各物理节点上可使用的资源总量；资...

【专利技术属性】
技术研发人员：倪传蕾，马庆祥，张馨予，陈茁，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11