GPU资源的负载均衡方法、装置和计算机设备制造方法及图纸

技术编号:43843059 阅读:28 留言:0更新日期:2024-12-31 18:38
本申请涉及一种GPU资源的负载均衡方法、装置和计算机设备,涉及云计算技术领域。所述方法包括:响应于GPU资源使用方发起的GPU实例调用请求,从预配置的GPU集群中获取各GPU实例的实例地址;根据各GPU实例的实例地址,查询得到各GPU实例的元数据,检测得到各GPU实例的负载情况描述数据;根据元数据和负载情况描述数据,从GPU集群中筛选得到符合条件的GPU实例作为目标实例,将目标实例的实例地址作为GPU实例调用请求的响应发送至GPU资源使用方,以供GPU资源使用方调用目标实例的计算资源。采用本方法能够改善GPU实例资源进行负载均衡的效果。

【技术实现步骤摘要】

本申请涉及云计算,特别是涉及一种gpu资源的负载均衡方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、在云计算领域中,当前的负载均衡技术包括随机、轮询、一致性哈希等方式,其中,随机的方式指的是随机获取服务下的某个实例ip进行请求的方式;轮询的方式指的是每次请求按照顺序对服务下的a、b、c实例依次请求;一致性哈希指的是,根据不同的哈希因子将访问请求均匀地分配到服务的实例中,并在实例个数发生变化时,依然保持均匀分配。相同哈希因子计算结果的请求,将会调度到相同的实例机器。

2、然而,随机的方式只能适用于cpu的实例资源,无法感知gpu的负载情况,只能随机盲目地请求任意一个gpu实例;轮询的方式cpu的实例资源在机器负载允许的情况下可以同时处理上千或者上万个用户请求,没有对每个实例同一时间的请求数做控制;致性哈希的方式,cpu实例天然不具备亲和性,执行任务的时候不需要加载大量特殊资源,一般的请求任务分发到任意一台cpu实例的效率基本相同。

3、综上所述,当前的针对gpu实例资源进行负载均衡的方式,实例的分配过程盲目本文档来自技高网...

【技术保护点】

1.一种GPU资源的负载均衡方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述元数据包括历史处理过的任务、当前同时处理任务数,所述根据所述元数据和所述负载情况描述数据,从所述GPU集群中筛选得到符合条件的所述GPU实例作为目标实例,包括:

3.根据权利要求2所述的方法,其特征在于,所述元数据包括平均响应时间,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述查询得到各所述GPU实例的元数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述检测得到各所述GPU实例的负载情况描述数据,包括:...

【技术特征摘要】

1.一种gpu资源的负载均衡方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述元数据包括历史处理过的任务、当前同时处理任务数,所述根据所述元数据和所述负载情况描述数据,从所述gpu集群中筛选得到符合条件的所述gpu实例作为目标实例,包括:

3.根据权利要求2所述的方法,其特征在于,所述元数据包括平均响应时间,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述查询得到各所述gpu实例的元数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述检测得到各所述gpu实例的负载情况描述数据,包括:

6.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员:刘子诚全涛黄攀
申请(专利权)人:腾讯音乐娱乐科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1