System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 任务调度方法、装置、设备及存储介质制造方法及图纸_技高网

任务调度方法、装置、设备及存储介质制造方法及图纸

技术编号:40187978 阅读:8 留言:0更新日期:2024-01-26 23:51
公开了任务调度方法、装置、设备及存储介质,涉及计算机领域。该任务调度方法包括:获取管理的多个工作节点的资源占用情况,并根据资源占用情况,确定第一工作节点中存在待转移任务。指示第一工作节点将待转移任务转移至第二工作节点。其中,待转移任务实际所需的资源量不等于为待转移任务分配的资源量,或者,第一工作节点为多个工作节点中空闲资源量最大的工作节点,待转移任务为第一工作节点中运行的任务。第二工作节点为多个工作节点中除第一工作节点之外的一个工作节点,第二工作节点空闲资源量满足待转移任务所需的资源量。

【技术实现步骤摘要】

本申请涉及计算机领域,尤其涉及任务调度方法、装置、设备及存储介质


技术介绍

1、云计算(cloudcomputing)是一种基于互联网的计算系统,该计算系统通过网络为用户提供计算资源和服务。云计算使用可扩展资源(如处理单元、存储空间和网络带宽等),按需为用户提供各种计算资源和服务。在云计算处理大流量数据场景下,为避免云计算系统中的计算节点或容器组(pod)出现资源过载,导致云计算系统出现异常,常采用弹性扩展云计算系统中的计算节点或者pod。

2、然而,上述扩展计算节点或pod的方式,存在扩展的计算资源粒度较大,导致计算资源的不均衡分配以及浪费,进而云计算系统中资源的利用率较低。


技术实现思路

1、本申请提供了任务调度方法、装置、设备及存储介质,以提高资源利用率。

2、第一方面,本申请提供了一种任务调度方法,该任务调度方法可应用于计算机系统或应用于支持该计算机系统实现任务调度方法的计算设备,例如该计算设备可为服务器。该任务调度方法可以包括:获取管理的多个工作节点的资源占用情况,并根据资源占用情况,在确定第一工作节点中存在待转移任务后,指示第一工作节点将待转移任务转移至第二工作节点。其中,待转移任务实际所需的资源量不等于为待转移任务分配的资源量,或者,第一工作节点为多个工作节点中空闲资源量最大的工作节点,待转移任务为第一工作节点中运行的任务。第二工作节点为多个工作节点中除第一工作节点之外的一个工作节点,第二工作节点空闲资源量满足待转移任务所需的资源量。

3、在本申请中,在工作节点正在执行的任务所需资源量增加或减少(存在待转移任务)情况下,指示第一工作节点将待转移任务转移至第二工作节点,由于第二工作节点空闲资源量满足该待转移任务所需的资源量,因此第二工作节点可正常运行该待转移任务,替代了采用扩缩计算节点或pod方式解决任务所需资源量增加或减少时,任务能在工作节点正常运行,而导致的资源分配不均或资源浪费,提高了资源的利用率。

4、在一种可能的实现方式中,第二工作节点为分配策略中与待转移任务所需的资源量对应的一个工作节点,该分配策略用于指示任务所需的资源量与工作节点的对应关系。

5、在本申请中,上述第二工作节点为分配策略中与待转移任务所需的资源量对应的一个工作节点是指,第二工作节点与待转移任务所需的资源量满足上述分配策略。实现将相同所需资源量的任务分配至同一工作节点,可避免一个工作节点既处理大数据量的任务,又处理小数据量的任务,导致数据处理延迟或输入/输出抖动的问题,提高了工作节点的处理性能且避免了输入/输出抖动造成的资源浪费,提高了资源利用率。

6、在一种可能的情形中,若管理节点管理的多个工作节点的空闲资源量都不满足运行来自其他工作节点的任务,即多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,上述任务调度方法还包括:指示第一工作节点将待转移任务转移至备用节点。

7、在本申请中,管理节点管理有备用节点,在工作节点空闲的资源量都不满足运行来自其他工作节点的任务时,指示第一工作节点将待转移任务转移中备用节点,以应对突发大流量的任务,使得该大流量的任务能得到及时的响应,避免流量抖动造成任务阻塞。提高了云计算系统对大流量的任务的处理能力。

8、在一种可能的实现方式中,指示第一工作节点将待转移任务转移至第二工作节点,包括:从分配策略中确定与待转移任务所需的资源量匹配的工作节点。并从与待转移任务所需的资源量匹配的工作节点中,选择空闲资源量满足待转移任务所需的资源量的第二工作节点;指示第一工作节点将待转移任务转移至第二工作节点。

9、在本申请中,由于第二工作节点为根据分配策略确定的空闲资源量满足待转移任务所需的工作节点,即实现将相同所需资源量的待转移任务分配至同一工作节点,该工作节点中处理相同所需资源量的任务,确保了设定时间内处理的数据流文档,进而可提高工作节点的处理性能且避免了输入/输出抖动造成的资源浪费,提高了资源利用率。以及,通过将第一工作节点中的待转移任务转移至第二工作节点,且该第二工作节点空闲资源量满足待转移任务所需的资源量,因此避免了采用扩缩计算节点或pod方式导致增加或减少的资源粒度过大,导致存在资源分配不均或资源浪费的问题,提高了资源利用率。

10、在一种可能的实现方式中,上述任务调度方法,还包括:获取待分配任务,并确定分配策略中,与待分配任务所需的资源量匹配的工作节点。将待分配任务分发至第三工作节点。其中,第三工作节点为与待分配任务所需的资源量匹配的工作节点中,空闲资源量满足待分配任务所需的资源量的一个工作节点。

11、在本申请中,在接收到新的待分配任务时,根据分配策略确定的与待分配任务所需的资源量匹配的工作节点,并从中选取空闲资源量满足待分配任务所需的资源量的一个工作节点(第三工作节点),分发待分配任务,使得工作节点中运行的任务所需的资源量相对一致,避免了同一节点中,既处理大数据量的任务,又处理小数据量的任务,导致整体数据处理的延迟增加、输入/输出抖动等问题,进而减少了资源浪费,提高了工作节点的资源利用率。

12、在一种可能的情形中,上述任务调度方法,还包括:输出用户配置界面。接收用户对用户配置界面的触发操作。进而,响应于触发操作,确定用户在用户配置界面确定的待分配任务所需的资源量。

13、在一种可能的实现方式中,若与待分配任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第二阈值,或者,多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,上述任务调度方法还包括:将待分配任务分发至备用节点。

14、在本申请中,在工作节点空闲的资源量都不满足运行新接收的任务,如待分配任务时,将待分配任务分发至备用节点,以应对新增的待分配任务,使得该待分配任务能得到及时的响应,避免该待分配任务等待时间过长导致时延,提高了云计算系统对待分配任务的处理能力。

15、在一种可能的实现方式中,上述任务调度方法,还包括:获取待分配任务,并根据待分配任务所需的资源量对待分配任务进行分片,得到待消费子任务。将待消费子任务分发至第四工作节点。其中,第四工作节点为与待消费子任务所需的资源量匹配的工作节点中,空闲资源量满足待消费子任务所需的资源量的一个或多个工作节点。

16、在本申请中,将待分配任务进行分片后,再分发至第四工作节点,避免了一个待分配任务所需的资源量过大,超出一个工作节点的最大资源量或空闲资源量,工作节点无法处理该待分配任务,导致云计算系统崩溃的问题。分片得到的待消费子任务所需的资源量小于或等于第四工作节点的空闲资源量,进而第四工作节点可正常运行待消费子任务,提高了云计算系统处理大数据量的任务的能力以及稳定性。

17、在一种可能的实现方式中,若与待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值,或者,多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,上述任务调度方法还包本文档来自技高网...

【技术保护点】

1.一种任务调度方法,其特征在于,应用于管理节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第二工作节点为分配策略中与所述待转移任务所需的资源量对应的一个工作节点,所述分配策略用于指示任务所需的资源量与工作节点的对应关系。

3.根据权利要求2所述的方法,其特征在于,所述指示所述第一工作节点将所述待转移任务转移至第二工作节点,包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,若所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求5或6所述的方法,其特征在于,若所述与所述待分配任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第二阈值,或者,所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

8.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,若所述与所述待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值,或者,所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

10.根据权利要求1至9中任一项所述的方法,其特征在于,所述管理节点还管理了备用节点,若第五工作节点的空闲资源量满足所述备用节点中执行的任务所需的资源量,所述第五工作节点为所述多个工作节点中的至少一个工作节点,所述方法还包括:

11.一种任务调度装置,其特征在于,应用于管理节点,所述任务调度装置包括:获取模块、第一确定模块和指示模块;

12.根据权利要求11所述的装置,其特征在于,所述第二工作节点为分配策略中与所述待转移任务所需的资源量对应的一个工作节点,所述分配策略用于指示任务所需的资源量与工作节点的对应关系。

13.根据权利要求12所述的装置,其特征在于,所述指示模块,具体用于:

14.根据权利要求11至13中任一项所述的装置,其特征在于,所述指示模块,还用于:若所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,指示所述第一工作节点将所述待转移任务转移至备用节点。

15.根据权利要求11至14中任一项所述的装置,其特征在于,所述任务调度装置,还包括:第二确定模块和分发模块;

16.根据权利要求15所述的装置,其特征在于,所述任务调度装置还包括:输出模块、接收模块和第三确定模块;

17.根据权利要求15或16所述的装置,其特征在于,所述分发模块,还用于:

18.根据权利要求11至14中任一项所述的装置,其特征在于,所述任务调度装置,还包括:分片模块和分发模块;

19.根据权利要求18所述的装置,其特征在于,所述分发模块,还用于:若所述与所述待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值,或者,所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,将所述待消费子任务分发至备用节点。

20.根据权利要求11至19中任一项所述的装置,其特征在于,所述管理节点还管理了备用节点,所述指示模块,还用于:

21.一种芯片,其特征在于,包括:处理器和供电电路;

22.一种计算设备,其特征在于,包括至少一个计算设备,每个计算设备包括处理器和存储器;

23.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序或指令,当所述计算机程序或指令被处理设备执行时,实现权利要求1至10中任一项所述的方法。

24.一种计算机程序产品,包括计算机程序或指令,其特征在于,当所述计算机程序或指令在被处理设备执行时,实现权利要求1至10中任一项所述的方法。

...

【技术特征摘要】

1.一种任务调度方法,其特征在于,应用于管理节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第二工作节点为分配策略中与所述待转移任务所需的资源量对应的一个工作节点,所述分配策略用于指示任务所需的资源量与工作节点的对应关系。

3.根据权利要求2所述的方法,其特征在于,所述指示所述第一工作节点将所述待转移任务转移至第二工作节点,包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,若所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求5或6所述的方法,其特征在于,若所述与所述待分配任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第二阈值,或者,所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

8.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,若所述与所述待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值,或者,所述多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值,所述方法还包括:

10.根据权利要求1至9中任一项所述的方法,其特征在于,所述管理节点还管理了备用节点,若第五工作节点的空闲资源量满足所述备用节点中执行的任务所需的资源量,所述第五工作节点为所述多个工作节点中的至少一个工作节点,所述方法还包括:

11.一种任务调度装置,其特征在于,应用于管理节点,所述任务调度装置包括:获取模块、第一确定模块和指示模块;

12.根据权利要求11所述的装置,其特征在于,所述第二工作节点为分配策略中与所述待转移任务所需的资源量对应的一...

【专利技术属性】
技术研发人员:陈亮王玉龙李万兴
申请(专利权)人:深圳华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1