本申请涉及一种结合大数据集群计算资源的任务调度优化方法和装置，在任务调度之时，通过评估当前待提交任务所需的任务资源需求；判断大数据集群是否有空闲的计算资源：若空闲，则计算对应的空闲资源大小，并结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务；若无空闲，则等待大数据集群释放计算资源，进入轮询等待；将符合资源需求的可提交任务提交运行。根据集群资源使用情况实时分析，决定任务提交范围，在任务向大数据集群提交时，根据当前集群资源空闲情况，动态控制提交任务数量，并能够根据资源剩余情况选择性的做任务提交，避免多个任务全部提交，资源相互争抢导致整体数据计算效率变低。
【技术实现步骤摘要】
本公开涉及任务资源调度，尤其涉及一种结合大数据集群计算资源的任务调度优化方法、装置和电子设备。
技术介绍
1、如附图1所示，现行的任务调度装置中，可以通过定时、任务的依赖事件触发机制将符合条件的任务调度运行起来，提交到后台大数据集群中运行，当大数据集群资源充足的情况下，所有任务都可以获得充足的资源按照预定计划运行完成。
2、但是在任务调度中，依旧存在如下技术问题：
3、当大数据集群资源不足的时候，所有任务都会一起抢占资源，导致每个任务都无法获得充足的资源，最终无法按照预定计划运行完成。
4、因此，有必要针对大数据集群计算资源的任务调度方案进行优化，以提高任务集对集群资源的调度管理效率。
技术实现思路
1、为了解决上述问题，本申请提出一种结合大数据集群计算资源的任务调度优化方法、装置和电子设备。
2、本申请一方面，提出一种结合大数据集群计算资源的任务调度优化方法，包括如下步骤：
3、评估当前待提交任务所需的任务资源需求；
4、判断大数据集群是否有空闲的计算资源：
5、若空闲，则计算对应的空闲资源大小，并结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务；
6、若无空闲，则等待大数据集群释放计算资源，进入轮询等待；
7、将符合资源需求的可提交任务提交运行。
8、作为本申请的一可选实施方案，可选地，在将符合资源需求的可提交任务提交运行之时，还包括：
<
p>9、将待提交任务中的不符合提交运行的任务，放回任务池；10、等待下一次任务提交时机满足预设的定时任务或者事件，重新按照上述步骤提交运行。
11、作为本申请的一可选实施方案，可选地，在评估当前待提交任务所需的任务资源需求之前，还包括：
12、判断任务提交时机是否满足预设的定时任务或者事件：
13、若满足，则进入下一步；
14、反之继续等待。
15、作为本申请的一可选实施方案，可选地，评估当前待提交任务所需的任务资源需求，包括：
16、通过前端获取当前需要提交的任务列表；
17、根据任务列表中的当前待提交任务，评估出提交这些任务所需的任务资源需求f；
18、将任务资源需求f发送至大数据集群的后端。
19、作为本申请的一可选实施方案，可选地，判断大数据集群是否有空闲的计算资源，包括：
20、从大数据集群的后端处，获取当前集群的资源使用情况；
21、根据当前集群的资源使用情况，判断当前集群是否有空闲的计算资源，若有空闲资源，则计算出对应的空闲资源值t；反之进入轮询等待。
22、作为本申请的一可选实施方案，可选地，结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务，包括：
23、后台接收任务资源需求f，并将任务资源需求f与当前集群的空闲资源值t进行自适应适配：
24、遍历任务列表中当前待提交的各个任务，并计算运行各个任务所需计算资源的需求值t；
25、累加各个需求值t，直到达到任务阈值条件：
26、
27、其中，t(n)为任务列表中当前待提交的各个任务所需计算资源的需求值t；
28、获取满足任务阈值条件的各个任务，作为从待提交任务中筛选出的可提交任务。
29、作为本申请的一可选实施方案，可选地，在遍历任务列表中当前待提交的各个任务，并计算运行各个任务所需计算资源的需求值t之后，还包括：
30、判断遍历的各个任务中，是否存在具备任务优先标记的任务：
31、若有，则将具备任务优先标记的任务，挪移至任务列表的表头，优先提交运行；
32、反之放弃。
33、本申请另一方面，提出一种实现所述结合大数据集群计算资源的任务调度优化方法的装置，包括：
34、任务资源需求评估模块，用于评估当前待提交任务所需的任务资源需求；
35、空闲资源适配模块，用于判断大数据集群是否有空闲的计算资源：
36、若空闲，则计算对应的空闲资源大小，并结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务；
37、若无空闲，则等待大数据集群释放计算资源，进入轮询等待；
38、任务提交模块，用于将符合资源需求的可提交任务提交运行。
39、本申请另一方面，还提出一种电子设备，包括：
40、处理器；
41、用于存储处理器可执行指令的存储器；
42、其中，所述处理器被配置为执行所述可执行指令时实现所述的一种结合大数据集群计算资源的任务调度优化方法。
43、本专利技术的技术效果：
44、本申请在任务调度之时，通过评估当前待提交任务所需的任务资源需求；判断大数据集群是否有空闲的计算资源：若空闲，则计算对应的空闲资源大小，并结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务；若无空闲，则等待大数据集群释放计算资源，进入轮询等待；将符合资源需求的可提交任务提交运行。结合大数据集群计算资源进行任务调度优化，根据集群资源使用情况实时分析，决定任务提交范围，在任务向大数据集群提交时，根据当前集群资源空闲情况，动态控制提交任务数量，并能够根据资源剩余情况选择性的做任务提交，避免多个任务全部提交，资源相互争抢导致整体数据计算效率变低。
45、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
本文档来自技高网...
【技术保护点】
1.结合大数据集群计算资源的任务调度优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述结合大数据集群计算资源的任务调度优化方法，其特征在于，在将符合资源需求的可提交任务提交运行之时，还包括：
3.根据权利要求1所述结合大数据集群计算资源的任务调度优化方法，其特征在于，在评估当前待提交任务所需的任务资源需求之前，还包括：
4.根据权利要求1所述的一种结合大数据集群计算资源的任务调度优化方法和装置，其特征在于，评估当前待提交任务所需的任务资源需求，包括：
5.根据权利要求4所述结合大数据集群计算资源的任务调度优化方法，其特征在于，判断大数据集群是否有空闲的计算资源，包括：
6.根据权利要求5所述结合大数据集群计算资源的任务调度优化方法，其特征在于，结合空闲资源大小和任务资源需求，从待提交任务中筛选出可提交任务，包括：
7.根据权利要求6所述结合大数据集群计算资源的任务调度优化方法，其特征在于，在遍历任务列表中当前待提交的各个任务，并计算运行各个任务所需计算资源的需求值t之后，还包括：
8.实现权利要求1-7中任一项所述结合大数据集群计算资源的任务调度优化方法的装置，其特征在于，包括：
9.电子设备，其特征在于，包括：
...
【技术特征摘要】
1.结合大数据集群计算资源的任务调度优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述结合大数据集群计算资源的任务调度优化方法，其特征在于，在将符合资源需求的可提交任务提交运行之时，还包括：
3.根据权利要求1所述结合大数据集群计算资源的任务调度优化方法，其特征在于，在评估当前待提交任务所需的任务资源需求之前，还包括：
4.根据权利要求1所述的一种结合大数据集群计算资源的任务调度优化方法和装置，其特征在于，评估当前待提交任务所需的任务资源需求，包括：
5.根据权利要求4所述结合大数据集群计算资源的任务调度...
【专利技术属性】
技术研发人员：石凯，严林刚，史栋，
申请(专利权)人：杭州观远数据有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。