System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 处理器资源调度方法、装置及系统制造方法及图纸_技高网

处理器资源调度方法、装置及系统制造方法及图纸

技术编号:40319357 阅读:12 留言:0更新日期:2024-02-07 21:02
本发明专利技术提供一种处理器资源调度方法、装置及系统,涉及计算机技术领域,该方法包括:请求接收:接收代理节点转发的与任一容器对应客户端用户的当前任务请求;请求入队列:将当前任务请求添加至所述客户端用户对应的处理器的任务请求队列;资源分配:在处理器资源空闲的情况下,取出任务请求队列中队头的任务请求,将处理器资源分配给当前取出的任务请求,以使处理器执行当前取出的任务请求对应的任务;结果返回:在任务执行完成后返回任务执行结果至代理节点,并释放处理器资源,且在任务请求队列不为空的情况下,跳转至资源分配步骤。本发明专利技术大大降低了多任务争抢处理器资源时,因资源不足而经常导致任务请求失败的概率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种处理器资源调度方法、装置及系统


技术介绍

1、随着时代的发展与进步,人工智能技术爆发式增长,市面上出现了各种用于人工智能(artificial intelligence,ai)的计算加速卡。由于一个计算加速卡无法并发运行多任务,客户端用户在请求图形处理器(graphics processing unit,gpu)运行计算任务时,任务请求经常失败,严重影响用户使用体验。目前主流的解决方案是引入kubernetes(简称:k8s)后再增加额外定制gpu资源调度算法来实现。引入k8s,会增加gpu资源集群系统复杂度,存在额外的资源开销,降低系统性能。而且实际应用中往往还需要引入定制的调度算法才能实现真正的调度,pod的申请和销毁时会占用资源导致不能使用,频繁的pod申请和销毁会大大降低资料有效利用率,同时引入pod也会导致增加调度复杂度以及增加应用debug的难度,同时会消耗更多的服务器资源。


技术实现思路

1、本专利技术的目的是提供一种处理器资源调度方法、装置及系统,用以解决相关技术中多任务争抢处理器资源时,因资源不足而经常导致任务请求失败的问题。

2、本专利技术提供一种处理器资源调度系统,包括:客户端、代理节点和多个服务器节点,每个服务器节点包括多个容器,客户端用户和所述容器一一对应,每个容器对应一个处理器,每个处理器对应多个容器;

3、所述客户端用于将客户端用户生成的当前任务请求发送至所述代理节点;

4、所述代理节点用于根据客户端用户id与容器用户id对应关系转发当前任务请求,将所述当前任务请求转发至与所述客户端用户对应的容器所在的服务器节点,并接收服务器节点返回的任务执行结果,将所述任务执行结果转发至客户端用户;

5、所述服务器节点用于将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列;在处理器资源空闲,且在所述任务请求队列不为空的情况下,取出所述任务请求队列中队头的任务请求,将处理器资源分配给当前取出的任务请求,以使处理器执行所述当前取出的任务请求对应的任务;在任务执行完成后返回任务执行结果至所述代理节点,并释放处理器资源。

6、根据本专利技术提供的一种处理器资源调度系统,所述服务器节点具体用于获取处理器中当前运行任务对应的容器用户id,在当前运行任务对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将所述当前任务请求添加至所述任务请求队列的队头;否则,将所述当前任务请求添加至所述任务请求队列的队尾,所述服务器节点还用于在任务执行完成后返回任务执行结果至所述代理节点之后,释放处理器资源之前,获取所述任务请求队列中队头的任务请求对应的容器用户id,在队头的任务请求对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将队头的任务请求加载至处理器执行。

7、根据本专利技术提供的一种处理器资源调度系统,所述服务器节点具有用于在所述任务请求队列中已存在所述当前任务请求对应客户端用户的在先任务请求的情况下,将所述当前任务请求插入所述在先任务请求之后;否则,将所述当前任务请求添加至所述任务请求队列的队尾。

8、根据本专利技术提供的一种处理器资源调度系统,所述服务器节点具体用于在任务执行完成后返回任务执行结果至所述代理节点,并在预设时间段内未收到当前完成任务对应的客户端用户新的任务请求时,释放处理器资源,在预设时间段内收到当前完成任务对应的客户端用户新的任务请求时,将新的任务请求加载至处理器执行。

9、根据本专利技术提供的一种处理器资源调度系统,所述服务器节点具体用于在处理器执行所述当前取出的任务请求对应的任务超过预设的执行时间阈值时,释放处理器资源。

10、根据本专利技术提供的一种处理器资源调度系统,所述代理节点还用于将客户端用户登录信息发送至服务器节点;

11、接收到客户端用户登录信息的服务器节点还用于在其中存在空容器的情况下,基于客户端用户登录信息建立客户端用户与空容器之间的一一对应关系,并返回容器分配成功的信息至所述代理节点;不存在空容器的情况下,返回容器分配失败的信息至所述代理节点;

12、所述代理节点还用于在接收到容器分配失败的信息的情况下,将所述客户端用户登录信息以轮询的方式发送至下一个服务器节点。

13、本专利技术还提供一种处理器资源调度方法,应用于服务器节点集群中每个服务器节点,所述方法包括:

14、接收代理节点转发的与任一容器对应客户端用户的当前任务请求,所述当前任务请求是由客户端用户生成并统一发送至所述代理节点的,所述代理节点用于根据客户端用户id与容器用户id对应关系转发当前任务请求;

15、将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列;

16、在处理器资源空闲的情况下,取出所述任务请求队列中队头的任务请求,将处理器资源分配给当前取出的任务请求,以使处理器执行所述当前取出的任务请求对应的任务;

17、在任务执行完成后返回任务执行结果至所述代理节点,并释放处理器资源,且在所述任务请求队列不为空的情况下,跳转至所述在处理器资源空闲的情况下,取出所述任务请求队列中队头的任务请求,将处理器资源分配给当前取出的任务请求,以使处理器执行所述当前取出的任务请求对应的任务的步骤。

18、根据本专利技术提供的一种处理器资源调度方法,将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列,包括:

19、获取处理器中当前运行任务对应的容器用户id,在当前运行任务对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将所述当前任务请求添加至所述任务请求队列的队头;否则,将所述当前任务请求添加至所述任务请求队列的队尾;

20、在任务执行完成后返回任务执行结果至所述代理节点之后,释放处理器资源之前,还包括:

21、获取所述任务请求队列中队头的任务请求对应的容器用户id,在队头的任务请求对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将队头的任务请求加载至处理器执行。

22、根据本专利技术提供的一种处理器资源调度方法,将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列,包括:

23、在所述任务请求队列中已存在所述当前任务请求对应客户端用户的在先任务请求的情况下,将所述当前任务请求插入所述在先任务请求之后;否则,将所述当前任务请求添加至所述任务请求队列的队尾。

24、根据本专利技术提供的一种处理器资源调度方法,在任务执行完成后返回任务执行结果至所述代理节点,并释放处理器资源,包括:

25、在任务执行完成后返回任务执行结果至所述代理节点,并在预设时间段内未收到当前完成任务对应的客户端用户新的任务请求时,释放处理器资源,在预设时间段内收到当前完成任务对应的客户端用户新的任务请求时,将新的任务请求加载至处理器执行。

26、根据本专利技术提供的一种处本文档来自技高网...

【技术保护点】

1.一种处理器资源调度系统,其特征在于,包括:客户端、代理节点和多个服务器节点,每个服务器节点包括多个容器,客户端用户和所述容器一一对应,每个容器对应一个处理器,每个处理器对应多个容器;

2.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于获取处理器中当前运行任务对应的容器用户ID,在当前运行任务对应的容器用户ID与当前任务请求对应的容器用户ID相同的情况下,将所述当前任务请求添加至所述任务请求队列的队头;否则,将所述当前任务请求添加至所述任务请求队列的队尾,所述服务器节点还用于在任务执行完成后返回任务执行结果至所述代理节点之后,释放处理器资源之前,获取所述任务请求队列中队头的任务请求对应的容器用户ID,在队头的任务请求对应的容器用户ID与当前任务请求对应的容器用户ID相同的情况下,将队头的任务请求加载至处理器执行。

3.根据权利要求2所述的处理器资源调度系统,其特征在于,所述服务器节点具有用于在所述任务请求队列中已存在所述当前任务请求对应客户端用户的在先任务请求的情况下,将所述当前任务请求插入所述在先任务请求之后;否则,将所述当前任务请求添加至所述任务请求队列的队尾。

4.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于在任务执行完成后返回任务执行结果至所述代理节点,并在预设时间段内未收到当前完成任务对应的客户端用户新的任务请求时,释放处理器资源,在预设时间段内收到当前完成任务对应的客户端用户新的任务请求时,将新的任务请求加载至处理器执行。

5.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于在处理器执行所述当前取出的任务请求对应的任务超过预设的执行时间阈值时,释放处理器资源。

6.根据权利要求1至5中任一项所述的处理器资源调度系统,其特征在于,所述代理节点还用于将客户端用户登录信息发送至服务器节点;

7.一种处理器资源调度方法,其特征在于,应用于服务器节点集群中每个服务器节点,所述方法包括:

8.根据权利要求7所述的处理器资源调度方法,其特征在于,将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列,包括:

9.根据权利要求8所述的处理器资源调度方法,其特征在于,将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列,包括:

10.根据权利要求7所述的处理器资源调度方法,其特征在于,在任务执行完成后返回任务执行结果至所述代理节点,并释放处理器资源,包括:

11.根据权利要求10所述的处理器资源调度方法,其特征在于,在预设时间段内收到当前完成任务对应的客户端用户新的任务请求时,将新的任务请求加载至处理器执行,包括:

12.根据权利要求7所述的处理器资源调度方法,其特征在于,还包括:在处理器执行所述当前取出的任务请求对应的任务超过预设的执行时间阈值时,释放处理器资源。

13.根据权利要求7所述的处理器资源调度方法,其特征在于,还包括:在处理器执行所述当前取出的任务请求对应的任务超过预设的执行时间阈值时,保存任务当前执行进度,将所述当前取出的任务请求重新添加至所述任务请求队列的队尾,并释放处理器资源。

14.根据权利要求7至13中任一项所述的处理器资源调度方法,其特征在于,在接收代理节点转发的与任一容器对应客户端用户的当前任务请求之前,还包括:

15.一种处理器资源调度方法,其特征在于,应用于服务器节点集群中的代理节点,所述方法包括:

16.根据权利要求15所述的处理器资源调度方法,其特征在于,在接收客户端用户发送的当前任务请求之前,还包括:

17.一种处理器资源调度装置,其特征在于,应用于服务器节点集群中每个服务器节点,所述装置包括:

18.一种处理器资源调度装置,其特征在于,应用于服务器节点集群中的代理节点,所述装置包括:

19.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求7至14任一项所述的处理器资源调度方法的步骤,或执行所述程序时实现如权利要求15至16任一项所述的处理器资源调度方法的步骤。

20.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求7至14任一项所述的处理器资源调度方法的步骤,或实现如权利要求15至16任一项所述的处理器资源调度方法的步骤。

...

【技术特征摘要】

1.一种处理器资源调度系统,其特征在于,包括:客户端、代理节点和多个服务器节点,每个服务器节点包括多个容器,客户端用户和所述容器一一对应,每个容器对应一个处理器,每个处理器对应多个容器;

2.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于获取处理器中当前运行任务对应的容器用户id,在当前运行任务对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将所述当前任务请求添加至所述任务请求队列的队头;否则,将所述当前任务请求添加至所述任务请求队列的队尾,所述服务器节点还用于在任务执行完成后返回任务执行结果至所述代理节点之后,释放处理器资源之前,获取所述任务请求队列中队头的任务请求对应的容器用户id,在队头的任务请求对应的容器用户id与当前任务请求对应的容器用户id相同的情况下,将队头的任务请求加载至处理器执行。

3.根据权利要求2所述的处理器资源调度系统,其特征在于,所述服务器节点具有用于在所述任务请求队列中已存在所述当前任务请求对应客户端用户的在先任务请求的情况下,将所述当前任务请求插入所述在先任务请求之后;否则,将所述当前任务请求添加至所述任务请求队列的队尾。

4.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于在任务执行完成后返回任务执行结果至所述代理节点,并在预设时间段内未收到当前完成任务对应的客户端用户新的任务请求时,释放处理器资源,在预设时间段内收到当前完成任务对应的客户端用户新的任务请求时,将新的任务请求加载至处理器执行。

5.根据权利要求1所述的处理器资源调度系统,其特征在于,所述服务器节点具体用于在处理器执行所述当前取出的任务请求对应的任务超过预设的执行时间阈值时,释放处理器资源。

6.根据权利要求1至5中任一项所述的处理器资源调度系统,其特征在于,所述代理节点还用于将客户端用户登录信息发送至服务器节点;

7.一种处理器资源调度方法,其特征在于,应用于服务器节点集群中每个服务器节点,所述方法包括:

8.根据权利要求7所述的处理器资源调度方法,其特征在于,将所述当前任务请求添加至所述客户端用户对应的处理器的任务请求队列,包括:

9.根据权利要求8所...

【专利技术属性】
技术研发人员:钟日成
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1