一种传输路径的确定方法及计算设备技术

技术编号:43918885 阅读:22 留言:0更新日期:2025-01-03 13:23
本申请实施例提供一种传输路径的确定方法,应用于计算集群,获取目标任务对应的一个或多个GPU分组;计算集群包括GPU分组,GPU分组包括若干GPU;获取每个GPU分组的局部硬件拓扑,局部硬件拓扑表示GPU分组内GPU之间的连接关系;基于GPU分组的局部硬件拓扑,确定GPU分组中的第一GPU至第二GPU之间的目标路径;目标路径为根据数据传输路径中的链路权重确定的第一GPU至第二GPU之间的多条路径中的性能最优路径,第一GPU和第二GPU为GPU分组中的任意两个GPU。如此,通过结合任务相关硬件拓扑信息的传输路径确定方法,获取目标任务的GPU分组,实现GPU分组内从任意两个GPU之间的最优数据传输路径,提升数据传输效率和降低时延开销,有效提升集群的有效算力,减少任务用时。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种传输路径的确定方法及计算设备


技术介绍

1、在分布式计算环境中,例如ai训练任务通常需要分解并在多个图形处理器(gpu)上并行执行。这种方式能够加速大规模深度学习模型的训练。

2、例如在高性能计算(hpc)和人工智能(ai)训练领域,数据传输效率和计算资源的优化利用是提升整体计算性能的关键因素。然而,传统的任务调度和资源分配方法主要在于如何将任务分配给系统中的可用资源,例如将计算任务分配给特定的处理器或计算节点。这些方法通常关注任务的分配效率,如确保所有资源都被充分利用,以及任务如何被均匀分配等方面,而忽略了数据传输时延对整体的计算效率的影响。


技术实现思路

1、本申请实施例提供了一种传输路径的确定方法、系统、计算集群、计算机存储介质及计算机程序产品,能够提高gpu分组中gpu之间的数据传输效率,减少数据传输所需的时间,提升整个任务的执行效率。

2、第一方面,本申请实施提供一种传输路径的确定方法,用于计算集群中,包括:

<p>3、获取目标任务本文档来自技高网...

【技术保护点】

1.一种传输路径的确定方法,应用于计算集群中,其特征在于,

2.根据权利要求1所述的方法,其特征在于,确定所述GPU分组中第一GPU至第二GPU之间的目标路径,包括:

3.根据权利要求1或2所述的方法,其特征在于,对于每个GPU分组的局部硬件拓扑的获取,包括:

4.根据权利要求2所述的方法,其特征在于,所述对于每个GPU分组的局部硬件拓扑中每条链路的权重的计算,包括:

5.根据利要求2所述的方法,其特征在于,所述基于所述邻接矩阵,确定任意两个GPU之间的目标路径,包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,所述目...

【技术特征摘要】

1.一种传输路径的确定方法,应用于计算集群中,其特征在于,

2.根据权利要求1所述的方法,其特征在于,确定所述gpu分组中第一gpu至第二gpu之间的目标路径,包括:

3.根据权利要求1或2所述的方法,其特征在于,对于每个gpu分组的局部硬件拓扑的获取,包括:

4.根据权利要求2所述的方法,其特征在于,所述对于每个gpu分组的局部硬件拓扑中每条链路的权重的计算,包括:

5.根据利要求2所述的方法,其特征在于,所述基于所述邻接矩阵,确定任意两个gpu之间的目标路径,包括:

...

【专利技术属性】
技术研发人员:黄焰梁建国梁永贵周晓晨杨朔
申请(专利权)人:超聚变数字技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1