一种资源调度方法及装置制造方法及图纸

一种资源调度方法及装置，其中方法具体包括资源调度装置接收客户端发送的任务请求，该任务请求包括该任务请求对应的资源标签，该任务请求通过该任务请求包括的资源标签指定执行任务所需的资源；资源调度装置根据节点组中每个节点具有的资源标签，从该节点组中确定目标节点，该目标节点具有该任务请求包括的资源标签；资源调度装置指示该目标节点执行该任务请求指定的任务。一方面，由于任务请求对应的资源标签指定的任务所需的资源，所以可以确定出处理能力适合该任务的目标节点，从而有助于提高该任务节点指定的任务的执行效率。另一方面，从节点组中确定出具有该任务请求包括的资源标签的目标节点，可以有助于提高节点的资源利用率。

【技术实现步骤摘要】
一种资源调度方法及装置
本申请涉及云计算
，尤其涉及一种资源调度方法及装置。
技术介绍
在视频云计算场景下，比如针对交通视频，进行视频编解码、人脸特征提取、车牌识别和拥堵事件监测等处理，需要实现将需要处理的任务调度至云服务器集群中的节点进行处理。另一种资源协调者(YetAnotherResourceNegotiator，YARN)是Hadoop2.X通用的资源管理系统，负责云服务器集群中的节点的资源管理和任务调度。现有技术中基于YARN的资源调度方案，将任务提交到某个资源队列，该资源队列的划分即是逻辑集群的划分，也就是说，该任务会调度至与该资源队列对应的逻辑集群中的节点上运行。举个例子，比如将整个集群的资源划分为3个资源队列，分别为资源队列1、资源队列2和资源队列3，资源队列1对应逻辑集群A，资源队列2对应逻辑集群B，资源队列3对应逻辑集群C，如果将一个任务1提交至资源队列2，那么该任务1就会被调度至逻辑集群B中的节点。现有技术中的资源调度方案中，资源队列和逻辑集群中的节点绑定，如果确定出资源队列，就只能在资源队列对应的逻辑集群中确定出节点。可见，现有技术中的资源调度方案可能会出现任务被调度至处理能力很弱的节点上，导致任务运行效率不高，而且集群中的节点的资源利用率不高。综上，如何实现提高任务的执行效率和节点的资源利用率，仍需进一步深入研究。
技术实现思路
本申请提供一种资源调度方法及装置，用于提高任务的执行效率和节点的资源利用率。第一方面，本申请提供一种资源调度方法，该方法包括：资源调度装置接收客户端发送的任务请求，所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的资源标签指定执行任务所需的资源；资源调度装置根据节点组中每个节点具有的资源标签，从所述节点组中确定目标节点，所述目标节点具有所述任务请求包括的资源标签；资源调度装置指示所述目标节点执行所述任务请求指定的任务。基于该方案，资源调度装置接收客户端发送的任务请求，资源调度装置根据节点组中每个节点具有的资源标签和任务请求包括的资源标签，从所述节点组中确定目标节点，所述目标节点具有所述任务请求包括的资源标签；资源调度装置指示所述目标节点执行所述任务请求指定的任务。一方面，由于所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的资源标签指定执行任务所需的资源，所以根据任务请求指定的任务所需的资源来确定目标节点，可以找到处理能力适合该任务请求指定的任务的节点，从而有助于提高该任务节点指定的任务的执行效率。另一方面，在确定执行该任务请求指定的任务的目标节点时，根据节点具有的资源标签，从节点组中确定出具有该任务请求包括的资源标签，如此，可以合理利用节点组中节点的资源，进而有助于提高节点的资源利用率。在资源调度装置接收到任务请求，并从节点组确定目标节点时，由于有些任务在执行时所需的资源包括图形处理器(graphicsprocessingunit，GPU)，有些任务在执行时所需的资源不包括GPU，因此，如果将没有GPU需求的任务调度到具有GPU的节点上执行，导致急需GPU资源的任务找不到合适的具有GPU资源的节点，从而造成该节点上的GPU资源的浪费。因此，为了避免节点组中GPU资源的浪费，基于上述方法，以下提供几种可选的实现方法。实现方法一，资源调度装置可以根据任务请求对应的资源标签是否包括GPU的资源标签，选择执行该任务请求指定的任务的目标节点。作为一种具体的示例，在该任务请求对应的资源标签未包括GPU的资源标签时，从节点组中选择不具有GPU的资源标签的节点；指示选择的节点执行该任务请求指定的任务。作为另一种具体的示例，在该任务请求对应的资源标签包括GPU的资源标签时，从节点组中选择具有GPU的资源标签的节点；指示选择的节点执行该任务请求指定的任务。通过该实现方法，根据任务请求对应的资源标签是否包括GPU的标签，选择执行所述任务请求指定的任务的目标节点，可以实现根据任务请求指定的任务所需的资源，按需进行GPU资源调度，从而可以提升节点组中节点的资源利用率，尤其是提升GPU资源的利用率，有助于避免因节点中的中央处理器(centralprocessingunit，CPU)资源被耗尽而导致该节点中的富余的GPU资源浪费。实现方法二，任务请求还可以包括执行任务所需的资源量，资源调度装置可以根据该执行任务所需的资源量是否包括GPU资源量，选择执行该任务请求指定的任务的目标节点。作为一种具体的示例，若所述执行任务所需的资源量不包括GPU资源，则从所述节点组中选择不具有所述GPU资源的节点；指示选择的节点执行所述任务请求指定的任务。作为另一种具体的示例，若所述执行任务所需的资源量不包括GPU资源，则从所述节点组中选择不具有所述GPU资源的节点；指示选择的节点执行所述任务请求指定的任务。进一步的，作为一种可能的实现方式，任务请求记录有执行任务所需的资源量；资源调度装置根据节点组中每个节点具有的资源标签从节点组中确定目标节点，具体包括：从所述节点组中选择满足所述任务请求指定的资源量的目标节点。具体的，资源调度装置从节点组中选择满足所述任务请求指定的资源量、且具有所述任务请求包括的资源标签的节点，即为目标节点。如此，确定出的目标节点不仅满足任务请求包括的资源标签指定的执行任务所需的资源，还满足执行任务所需的资源量，从而有助于提高该任务请求指定的任务的执行效率。基于上述任一实施例，进一步还可以包括：资源调度装置获取所述节点组中的每个节点的资源信息，所述资源信息记录有节点的节点标识和节点具有的资源；资源调度装置根据所述节点组中的每个节点的资源信息，记录所述节点组中的每个节点具有的资源标签以及具有的资源量。如此，资源调度装置可以根据节点具有的资源标签和节点具有的资源量，进而可以准确的确定出用于执行任务请求中指定的任务的节点。基于上述任一实施例，进一步还可以包括：在任务请求指定的任务与另一任务具有亲和性时，资源调度装置指示目标节点执行另一任务；在任务请求指定的任务与另一任务具有反亲和性时，资源调度装置指示节点组中与目标节点不同的另一节点执行另一任务。如此，资源调度装置在确定执行任务的节点时，考虑了任务之间的亲和性，从而可以确定出适合执行任务的目标节点。第二方面，本申请提供一种资源调度方法，该方法包括：客户端生成任务请求，任务请求包括该任务请求对应的资源标签，任务请求通过任务请求包括的资源标签指定执行任务所需的资源；然后，客户端向资源调度装置发送任务请求，任务请求用于资源调度装置根据节点组中每个节点具有的资源标签，确定执行任务请求指定的任务的目标节点，目标节点具有任务请求包括的资源标签。基于该方案，客户端生成任务请求，任务请求通过任务请求包括的资源标签指定执行任务所需的资源，客户端向资源调度装置发送任务请求，一方面，以便资源调度装置根据任务请求指定的任务所需的资源来确定目标节点，可以找到处理能力适合该任务请求指定的任务的节点，从而有助于提高该任务节点指定的任务的执行效率。另一方面，以便资源调度装置在确定执行该任务请求指定的任务的目标节点时，根据节点具有的资源标签，从节点组中确定出具有该任务请求包括的资源标签，如此，可以合本文档来自技高网...

【技术保护点】
1.一种资源调度方法，其特征在于，包括：接收客户端发送的任务请求，所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的资源标签指定执行任务所需的资源；根据节点组中每个节点具有的资源标签，从所述节点组中确定目标节点，所述目标节点具有所述任务请求包括的资源标签；指示所述目标节点执行所述任务请求指定的任务。

【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：接收客户端发送的任务请求，所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的资源标签指定执行任务所需的资源；根据节点组中每个节点具有的资源标签，从所述节点组中确定目标节点，所述目标节点具有所述任务请求包括的资源标签；指示所述目标节点执行所述任务请求指定的任务。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述任务请求对应的资源标签未包括所述GPU的资源标签时，从所述节点组中选择不具有所述GPU的资源标签的节点；指示选择的节点执行所述任务请求指定的任务。3.根据权利要求1或2所述的方法，其特征在于，所述任务请求记录有执行所述任务所需的资源量；所述根据节点组中每个节点具有的资源标签从所述节点组中确定目标节点，包括：从所述节点组中选择满足所述任务请求指定的资源量的目标节点。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：获取所述节点组中的每个节点的资源信息，所述资源信息记录有节点的节点标识和节点具有的资源；根据所述节点组中的每个节点的资源信息，记录所述节点组中的每个节点具有的资源标签以及具有的资源量。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：在所述任务请求指定的任务与另一任务具有亲和性时，指示所述目标节点执行所述另一任务；在所述任务请求指定的任务与另一任务具有反亲和性时，指示所述节点组中与所述目标节点不同的另一节点执行所述另一任务。6.一种资源调度方法，其特征在于，包括：生成任务请求，所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的资源标签指定执行任务所需的资源；向资源调度装置发送所述任务请求，所述任务请求用于所述资源调度装置根据节点组中每个节点具有的资源标签，确定执行所述任务请求指定的任务的目标节点，所述目标节点具有所述任务请求包括的资源标签。7.一种装置，其特征在于，包括：通信单元，用于接收客户端发送的任务请求，所述任务请求包括所述任务请求对应的资源标签，所述任务请求通过所述任务请求包括的...

【专利技术属性】
技术研发人员：刘志飘，邓慧财，杰森·T·S·兰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44