基于GPU负荷信息的GPU分配方法及装置制造方法及图纸

技术编号:43812646 阅读:39 留言:0更新日期:2024-12-27 13:27
本发明专利技术公开基于GPU负荷信息的GPU分配方法及装置,其方法包括接收GPU分配请求,所述GPU分配请求来自于AI计算算法服务;收集GPU信息,在收集GPU信息成功后解析所述GPU信息获得多个GPU的信息值及GPU index标识;根据所述多个GPU的信息值计算最小负荷的GPU,选择所述最小负荷的GPU的GPU index标识返回所述AI计算算法服务。本发明专利技术根据所述多个GPU的信息值计算最小负荷的GPU,选择所述最小负荷的GPU的GPU index标识返回所述AI计算算法服务,可避免随机选择导致GPU选择不合理,提升AI计算能力。

【技术实现步骤摘要】

本专利技术涉及计算机领域,尤其涉及一种基于gpu负荷信息的gpu分配方法及装置。


技术介绍

1、ai计算算法服务选择gpu随机选择,可能没有选择负荷较少的gpu,或是静态指定,不能根据gpu使用情况自动选择,ai计算算法服务需要根据gpu使用情况选择gpu,动态自动选择负荷较少的gpu。

2、ai计算算法服务选择gpu随机选择或是静态指定,随机选择不考虑gpu使用情况,可能导致负荷较多的gpu再被选择,负荷较少的gpu没有被选择,静态指定算法服务启动指定gpu,算法服务不获取gpu使用情况,根据使用情况选择gpu。


技术实现思路

1、针对上述技术问题,本专利技术提供了一种基于gpu负荷信息的gpu分配方法及装置,可提高gpu的利用率。

2、本专利技术的第一方面,提供一种基于gpu负荷信息的gpu分配方法,包括:接收gpu分配请求,所述gpu分配请求来自于ai计算算法服务;收集gpu信息,在收集gpu信息成功后解析所述gpu信息获得多个gpu的信息值及gpu index标识;根据所述多个本文档来自技高网...

【技术保护点】

1.一种基于GPU负荷信息的GPU分配方法,其特征在于,包括:

2.根据权利要求1所述的基于GPU负荷信息的GPU分配方法,其特征在于,在收集GPU信息成功后解析所述GPU信息获得多个GPU的信息值及GPU index标识,包括:

3.根据权利要求1所述的基于GPU负荷信息的GPU分配方法,其特征在于,所述收集GPU信息,在收集GPU信息成功后解析所述GPU信息获得多个GPU的信息值及GPU index标识,包括:

4.根据权利要求2或3所述的基于GPU负荷信息的GPU分配方法,其特征在于,所述根据所述多个GPU的信息值计算最小负荷的GPU,包括:...

【技术特征摘要】

1.一种基于gpu负荷信息的gpu分配方法,其特征在于,包括:

2.根据权利要求1所述的基于gpu负荷信息的gpu分配方法,其特征在于,在收集gpu信息成功后解析所述gpu信息获得多个gpu的信息值及gpu index标识,包括:

3.根据权利要求1所述的基于gpu负荷信息的gpu分配方法,其特征在于,所述收集gpu信息,在收集gpu信息成功后解析所述gpu信息获得多个gpu的信息值及gpu index标识,包括:

4.根据权利要求2或3所述的基于gpu负荷信息的gpu分配方法,其特征在于,所述根据所述多个gpu的信息值计算最小负荷的gpu,包括:

5.根据权利要求2或3所述的基于gpu负荷信息的gpu分配方法,其特征在于,所述根据所述多个gpu的信息值计算最小负荷的gpu,包括:

6.一种基于gpu负荷信息的gpu分配方法装...

【专利技术属性】
技术研发人员:陈建
申请(专利权)人:深圳市铁越电气有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1