任务运行节点的确定方法、装置、设备及介质制造方法及图纸

本申请提供一种任务运行节点的确定方法、装置、设备及介质，包括：获取用于运行待分配任务的多个候选节点，对于任意一个候选节点，根据候选节点当前运行的任务及已分配但未运行的任务占用的资源，计算候选节点的剩余资源，其中，资源至少包括中央处理器CPU资源和内存资源中的一种或多种。获取待分配任务所需的资源，进而根据每个候选节点的剩余资源、待分配任务所需的资源，从多个候选节点中确定出运行待分配任务的目标节点。本申请通过根据候选节点当前运行的任务及已分配但未运行的任务占用的资源计算剩余资源，并根据剩余资源确定运行待分配任务的目标节点的方式，使得节点运行任务的时间更加均衡，有效的提高了节点资源的利用率。利用率。利用率。

【技术实现步骤摘要】
任务运行节点的确定方法、装置、设备及介质


[0001]本申请涉及大数据处理技术，尤其涉及一种任务运行节点的确定方法、装置、设备及介质。

技术介绍

[0002]随着大数据技术的飞速发展，对数据进行处理和分析成为已成为必不可少的步骤，在数据进行处理和分析的过程中，大量的处理及分析任务会分配到不同的节点上，以提高任务的处理及分析效率。
[0003]现有技术中，在确定任务的运行节点时，通常是通过轮询分配算法、就近分配算法或随机分配算法中的一种或多种，从多个节点中确定出目标节点，然后将任务对应分配到目标节点中，由目标节点运行该任务。
[0004]但是现有技术确定任务运行节点的方式容易导致不同节点运行任务的时间不够均衡，降低了对节点资源的利用率。

技术实现思路

[0005]本申请提供一种任务运行节点的确定方法、装置、设备及介质，用以解决现有技术确定任务运行节点的方式容易导致不同节点运行任务的时间不够均衡，降低了对节点资源的利用率的问题。
[0006]第一方面，本申请提供一种任务运行节点的确定方法，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务运行节点的确定方法，其特征在于，包括：获取多个候选节点，候选节点用于运行待分配任务；对于任意一个候选节点，根据所述候选节点当前运行的任务及已分配但未运行的任务占用的资源，计算所述候选节点的剩余资源，所述资源至少包括中央处理器CPU资源和内存资源中的一种或多种；获取所述待分配任务所需的资源；根据每个候选节点的剩余资源、所述待分配任务所需的资源，从多个候选节点中确定出运行所述待分配任务的目标节点。2.根据权利要求1所述的方法，其特征在于，所述获取多个候选节点，包括：获取所述待分配任务的分配请求，所述待分配任务封装在容器中；根据所述分配请求，基于所述容器的标识信息及所述容器与预设节点的亲和性关系，确定运行所述待分配任务的第一候选节点集合；根据所述第一候选节点集合中每个候选节点的请求资源限制信息，从所述第一候选节点集合中确定出运行所述待分配任务的第二候选节点集合；获取所述第二候选节点集合中的多个候选节点。3.根据权利要求2所述的方法，其特征在于，所述对于任意一个候选节点，根据所述候选节点当前运行的任务及已分配但未运行的任务占用的资源，计算所述候选节点的剩余资源，包括：对于任意一个候选节点，根据所述候选节点当前运行的任务，获取所述当前运行的任务占用的第一资源；根据所述候选节点中已分配但未运行的任务的资源信息，确定运行所述已分配但未运行的任务所需的第二资源；获取所述候选节点的总资源；根据所述总资源、所述第一资源及所述第二资源，计算所述候选节点的剩余资源。4.根据权利要求3所述的方法，其特征在于，所述根据所述候选节点中已分配但未运行的任务的资源信息，确定运行所述已分配但未运行的任务所需的第二资源，包括：根据所述候选节点中已分配但未运行的任务的执行器的核参数，确定运行所述已分配但未运行的任务所需的CPU资源；和/或，根据所述候选节点中已分配但未运行的任务的执行器的内存参数，确定运行所述已分配但未运行的任务所需的内存使用量资源；根据所述内存使用量资源与预设的比例系数，确定运行所述已分配但未运行的任务所需的内存缓存量资源；将所述内存使用量资源与所述内存缓存量资源进行加和处...

【专利技术属性】
技术研发人员：亓浩，
申请(专利权)人：联通数字科技有限公司联通云数据有限公司，
类型：发明
国别省市：