【技术实现步骤摘要】
作业调度方法、系统及计算设备
本专利技术涉及互联网与计算机
,特别涉及一种作业调度方法、作业调度系统及计算设备。
技术介绍
由于单台计算机提供的计算能力有限,当有计算规模较大的计算作业需要处理时,通常会使用集群来进行计算。集群是由多台计算机通过高速网络互连组成的超级计算机。多个用户通过共享使用集群的方式按需申请计算资源,从而完成自己的计算作业。虽然集群能够按照用户的申请分配可用计算资源,但是集群的资源也是有限的,不可能在任意时刻都能满足所有用户的资源需求,因此集群需要使用作业调度器来对计算资源进行合理的的调度分配,一方面保证资源的充分利用,提高利用效率;另一方面,保证用户公平使用原则,避免出现资源被少量用户长期占用而其他用户无法使用的状况。作业调度器种类繁多,但是主要功能都大同小异,都是解决资源的调度分配的问题。与资源调度密切相关的是调度策略,调度策略即是对资源进行分配的规则。在不同的场景下,为了实现不同的目的,通常会选择不同的调度策略。现有技术中,最为常见的调度策略包括:FIFO,先进先出,按照先后顺序,先提 ...
【技术保护点】
1.一种作业调度方法,在计算设备中执行,所述计算设备与计算机集群耦接,所述计算机集群包括多个适于运行作业的计算节点,并适于基于作业运行周期运行作业,每个作业运行周期包括第一时间段、第二时间段,所述第一时间段的空闲节点数量大于第二时间段的空闲节点数量,所述方法包括步骤:/n接收客户端的作业运行请求,将所述作业添加到作业队列,所述作业队列中包括一个或多个作业;/n确定所述作业队列中每个作业的节点需求数量;/n基于所述第一时间段的空闲节点数量区间,从所述作业队列中获取节点需求数量超过阈值的一个或多个作业作为延时作业;以及/n将所述一个或多个延时作业分配给下一个作业运行周期的第一时 ...
【技术特征摘要】
1.一种作业调度方法,在计算设备中执行,所述计算设备与计算机集群耦接,所述计算机集群包括多个适于运行作业的计算节点,并适于基于作业运行周期运行作业,每个作业运行周期包括第一时间段、第二时间段,所述第一时间段的空闲节点数量大于第二时间段的空闲节点数量,所述方法包括步骤:
接收客户端的作业运行请求,将所述作业添加到作业队列,所述作业队列中包括一个或多个作业;
确定所述作业队列中每个作业的节点需求数量;
基于所述第一时间段的空闲节点数量区间,从所述作业队列中获取节点需求数量超过阈值的一个或多个作业作为延时作业;以及
将所述一个或多个延时作业分配给下一个作业运行周期的第一时间段内的多个空闲节点,以便在下一个作业运行周期的第一时间段运行所述一个或多个延时作业。
2.如权利要求1所述的作业调度方法,其中,将所述一个或多个延时作业分配给下一个作业运行周期的第一时间段内的多个空闲节点的步骤包括:
将所述一个或多个延时作业的运行时间设置为下一个作业运行周期的第一时间段内,以便基于所述第一时间段内的多个空闲节点运行所述一个或多个延时作业。
3.如权利要求2所述的作业调度方法,其中,将所述一个或多个延时作业的运行时间设置为下一个作业运行周期的第一时间段内的步骤包括:
将所述一个或多个延时作业的起始运行时间均设置为下一个作业运行周期的第一时间段的预定时间点,以便从下一个作业运行周期的所述预定时间点开始运行所述一个或多个延时作业。
4.如权利要求2所述的作业调度方法,其中,将所述一个或多个延时作业的运行时间设置为下一个作业运行周期的第一时间段内的步骤包括:
根据所述第一时间段内的各个时间点的空闲节点数量来确定所述一个或多个延时作业的运行时间。
5.如权利要求4所述的作业调度方法,其中,确定所述一个或多个延时作业的运行时间的步骤包括:
确定第一时间段的各个时间点的空闲节点数量,
将所述一个或多个延时作业基于节点需求数量的高低进行排序,
基于所述节点需求数量的顺序、各个时间点的空闲节点数量来确定每个延时作业运行的时间点。
6.如权利要求1-5任一项所述的作业调度方法,其中,从所述作业队列中获取节点需求数量超过阈值的一个或多个作业的步骤包括:
在当前作业运行周期的第二时间段内,每隔预定时间对所述作业队列中的作业进行扫描一次,以确定节点需求数量超过阈值的作业;
基于节点需求数量的高低...
【专利技术属性】
技术研发人员:毛登峰,杨昆,陈健,
申请(专利权)人:北京并行科技股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。