【技术实现步骤摘要】
本专利技术涉及计算机，具体而言，涉及一种任务资源调度方法及服务器。
技术介绍
1、目前大数据相关项目和场景越来越多，集群资源划分一向都是集群管理的一大核心问题。越来越多的场景使用集群部署，与之相关的大数据使用场景也变得越来越多，资源调度分配问题也显得日益突出。
2、当前对于另一种资源协调者(yet another resource negotiator，yarn)的容量调度器，虽说官方提供了可以修改执行资源，最大资源，最小资源的xml文件，但是各个队列所需要的资源需要手动的去计算，各个队列所需资源相加要等于100％，而这个计算值并不一定是实际生产环境中的最优解，在环境变化，新队列加入时会产生额外的工作量，影响使用。
技术实现思路
1、本专利技术的目的在于，针对上述现有技术中的不足，提供一种任务资源调度方法及服务器，以便。
2、为实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请实施例提供了一种任务资源调度方法，所述方法应用于集成有预设资源调度平台的服务器，其中，所述预设资源调度平台为另一种资源协调者yarn，所述方法包括：
4、获取所述预设资源调度平台的容量调度器中多个任务队列的初始资源占比；
5、根据每个任务队列的预设资源占比范围和所述每个任务队列的初始资源占比，确定所述每个任务队列的第一资源占比；
6、若所述多个任务队列的第一资源占比之和等于预设资源占比阈值，将所述容量调度器中所述每个任务
7、可选的，所述根据每个任务队列的预设资源占比范围和所述每个任务队列的初始资源占比，确定所述每个任务队列的第一资源占比，包括：
8、若某个任务队列的初始资源占比小于该任务队列的预设资源占比范围的最小资源占比，则确定最小资源占比为该任务队列的第一资源占比；
9、若某个任务队列的初始资源占比大于该任务队列的预设资源占比范围的最大资源占比，则确定最大资源占比为该任务队列的第一资源占比；
10、若某个任务队列的初始资源占比在该任务队列的预设资源占比范围内，则确定初始资源占比为该任务队列的第一资源占比。
11、可选的，所述方法还包括：
12、若所述多个任务队列的第一资源占比之和小于所述预设资源占比阈值，根据所述第一资源占比之和与所述预设资源占比阈值的差值，和所述多个任务队列的第一资源占比，分别确定所述多个任务队列的第二资源占比，使得所述多个任务队列的第二资源占比之和等于所述预设资源占比阈值；
13、将所述容量调度器中所述每个任务队列的初始资源占比调整为：所述每个任务队列的第二资源占比。
14、可选的，所述方法还包括：
15、若所述多个任务队列的第一资源占比之和大于所述预设资源占比阈值，根据所述多个任务队列的优先级，依次调整所述多个任务队列中最高优先级的至少一个任务队列的第一资源占比，得到所述至少一个任务队列的第三资源占比；
16、若调整后所述多个任务队列的资源占比之和等于所述预设资源占比阈值，则将所述容量调度器中所述至少一个任务队列的初始资源占比调整为：所述至少一个任务队列的第三资源占比，并将所述容量调度器中其他任务队列的初始资源占比调整为：所述其他任务队列的第一资源占比。
17、可选的，所述根据所述多个任务队列的优先级，依次调整所述多个任务队列中最高优先级的至少一个任务队列的第一资源占比，得到所述至少一个任务队列的第三资源占比，包括：
18、根据所述多个任务队列的优先级，依次调整所述至少一个任务队列的第一资源占比为所述至少一个任务队列的资源占比范围的最小资源占比，得到所述至少一个任务队列的第三资源占比。
19、可选的，所述方法还包括：
20、若调整后所述多个任务队列的资源占比之和小于所述预设资源占比阈值，则根据调整后的资源占比差值，和调整后所述多个任务队列的资源占比，分别确定所述多个任务队列的第四资源占比，使得所述多个任务队列的第四资源占比之和等于所述预设资源占比阈值；其中，所述调整后的资源占比差值为调整后所述多个任务队列的资源占比之和，与所述预设资源占比阈值的差值；
21、将所述容量调度器中所述每个任务队列的初始资源占比调整为：所述每个任务队列的第四资源占比。
22、可选的，所述方法还包括：
23、获取当前时间周期内所述多个任务队列的使用资源占比，将所述容量调度器中每个任务队列的初始资源占比调整为：所述每个任务队列的使用资源占比；
24、若所述多个任务队列中任一任务队列的使用资源占比不在所述任一任务队列的预设资源占比范围内，则对所述任一任务队列的预设资源占比范围进行调整，以调整下个时间周期的所述容量调度器中各任务队列的资源占比。
25、可选的，所述方法还包括：
26、对所述当前时间周期进行延长得到所述下个时间周期的时长。
27、可选的，所述方法还包括：
28、获取监测周期内所述多个任务队列的使用资源占比；所述监测周期包括：多个子周期；
29、确定所述多个子周期内的优先级最高和满足预设分组条件的使用资源占比最低的一组任务队列；
30、从所述多个子周期的多组任务队列中确定出现频次满足预设条件的任务队列组为待调整任务队列组；
31、调整所述容量调度器中所述待调整任务队列组在所述预设监测时间段内的资源占比。
32、第二方面，本申请实施例还提供了一种服务器，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述服务器运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如第一方面任一项所述的任务资源调度方法的步骤。
33、本申请的有益效果是：本申请实施例提供一种任务资源调度方法，获取预设资源调度平台的容量调度器中多个任务队列的初始资源占比后，根据每个任务队列的预设资源占比范围和每个任务队列的初始资源占比，确定每个任务队列的第一资源占比；最后，若多个任务队列的第一资源占比之和等于预设资源占比阈值，则将容量调度器中每个任务队列的初始资源占比调整为：每个任务队列的第一资源占比。由此，本申请实现了对yarn的容量调度器的任务队列资源占比的调整，在调整中，不强制要求各个任务队列的资源占比相加为100％,而是根据多个任务队列的实际情况进行动态调整。因而本申请的方法广泛适用于各种任务队列，特别是复杂任务队列的资源分配，能够将每个任务队列调整到合适的资源占比(即第一资源占比)。此外，若生产环境发生变化，需要对多个任务队列的资源占比进行重新分配时，本申请的任务资源调度方法也可以保证资源分配的正确执行，可扩展性高且能够更好的适用生产环境。
本文档来自技高网...【技术保护点】
1.一种任务资源调度方法，其特征在于，所述方法应用于集成有预设资源调度平台的服务器，其中，所述预设资源调度平台为另一种资源协调者YARN，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据每个任务队列的预设资源占比范围和所述每个任务队列的初始资源占比，确定所述每个任务队列的第一资源占比，包括：
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述多个任务队列的优先级，依次调整所述多个任务队列中最高优先级的至少一个任务队列的第一资源占比，得到所述至少一个任务队列的第三资源占比，包括：
6.如权利要求4所述的方法，其特征在于，所述方法还包括：
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种服务器，其特征在于，包括：
...【技术特征摘要】
1.一种任务资源调度方法，其特征在于，所述方法应用于集成有预设资源调度平台的服务器，其中，所述预设资源调度平台为另一种资源协调者yarn，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据每个任务队列的预设资源占比范围和所述每个任务队列的初始资源占比，确定所述每个任务队列的第一资源占比，包括：
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述多个任务队列的优先级，依次调整所述多个任务队列中最高优先级的至少一个任务队列的第一资...
【专利技术属性】
技术研发人员：宋文敏，
申请(专利权)人：迈普通信技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。