一种高速网络拓扑结构路径规划的方法及设备技术

技术编号:41450764 阅读:18 留言:0更新日期:2024-05-28 20:39
本发明专利技术涉及一种高速网络拓扑结构路径规划的方法及设备,本发明专利技术通过将整体非标准网络拓扑物理子网拆分成胖树与其他树形结构逻辑块,实现了在胖树逻辑块中,更好的发挥了网络拓扑特性,其他树形机构逻辑块能网络性能也有提升,从整体上减少了网络拥塞的发生,解决了在大规模集群,分布式训练的场景中,网络的拥塞可能直接导致GPU算力的失效的问题,从整体上减少了网络拥塞的发生,提高整体吞吐量,优化了网络配置,实现更高带宽,明显提升了集群的整体的使用效率。

【技术实现步骤摘要】

本专利技术实施例涉及网络通信领域,尤其涉及一种高速网络拓扑结构路径规划的方法及设备


技术介绍

1、对于深度学习开发者和研究者们来说,高性能的算力是助力其研究成功的重要武器。对于影响深度学习训练快慢的因素,人们常常容易忽略网络传输在训练提速中的重要作用,特别是在大规模集群,分布式训练的场景中,网络的拥塞可能直接导致gpu算力的失效。

2、实际应用中,胖树拓扑(fat-tree topology)被用于高性能计算(hpc)集群以及用于基于infinibandtm(ib)技术的集群,将网络拓扑布置为交换机的分层的、多根树结构,其中端节点驻留在叶交换机处。多个交换机用一棵树的形式相连,不同的层有不同的交换机数量,不同层之间的线缆的带宽也等比例变化,但每一层的总带宽都相等。在这种网络拓扑结构中,如果能采用合适的路由方案,尽可能在路径之间平分带宽,就能够很大程度上减少拥塞。

3、在这种拓扑中,当一个数据包要从其中一个交换机发送到另一个交换机的时候,往往存在很多种可能的路径,如何判断该走那一条呢?在此,需要对子网中数据包的发送路径进行规划,让数本文档来自技高网...

【技术保护点】

1.一种高速网络拓扑结构路径规划的方法,其特征在于,针对IB子网整体非标准胖树拓扑的网络进行路径规划,包括以下步骤:

2.根据权利要求1所述的一种高速网络拓扑结构路径规划的方法,其特征在于,所述步骤(1)中逻辑块的划分只是在逻辑上进行,并不在物理上产生隔离,也不需要在顶层使用路由器。

3.根据权利要求1或2所述的一种高速网络拓扑结构路径规划的方法,其特征在于,步骤(2)中每个逻辑块内部路径规划,对胖树拓扑逻辑块内部路径规划采用负载均衡的方式,通过对每个末端节点的带宽需求赋予不同的权重;从末端节点往上遍历胖树,并对前一个交换机的下行端口进行权重降序排序,选择所述下行...

【技术特征摘要】

1.一种高速网络拓扑结构路径规划的方法,其特征在于,针对ib子网整体非标准胖树拓扑的网络进行路径规划,包括以下步骤:

2.根据权利要求1所述的一种高速网络拓扑结构路径规划的方法,其特征在于,所述步骤(1)中逻辑块的划分只是在逻辑上进行,并不在物理上产生隔离,也不需要在顶层使用路由器。

3.根据权利要求1或2所述的一种高速网络拓扑结构路径规划的方法,其特征在于,步骤(2)中每个逻辑块内部路径规划,对胖树拓扑逻辑块内部路径规划采用负载均衡的方式,通过对每个末端节点的带宽需求赋予不同的权重;从末端节点往上遍历胖树,并对前一个交换机的下行端口进行权重降序排序,选择所述下行端口中权重最小的;将目标末端节点的权重累加上分派的下行端口上,然后继续往上追溯端口分配。

4.根据权利要求1-3所述的一种高速网络拓扑结构路径规划的方法,其特征在于,对于通过连线连接到其他逻辑块的端口,将连线另一端整体作为连接在本逻辑块网络末端的设备的一张网卡。

5.根据权利要求1-4所述的一种高速网络拓扑结构路径规划的方法,其特征在于,...

【专利技术属性】
技术研发人员:周尚彦张毅超熊一梁
申请(专利权)人:宁波积幂信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1