一种数据传输系统、方法及相关设备技术方案

本申请提供一种数据传输系统、方法及相关设备，该系统包括多个节点，每个节点内的多个加速器之间通过第一通信链路互联；多个节点的加速器之间构成多个通信平面，每个通信平面包括每个节点内的一个加速器，且任意两个通信平面包括的加速器互不相同，同一个通信平面内的加速器之间通过第二通信链路连接；第一节点内的第一加速器获取第一节点内其他加速器各自发送的第一数据，该第一数据包括第一节点内的其他加速器各自待发送至第二节点内的第二加速器的数据，然后第一加速器通过第二通信链路将第一数据发送给第二加速器。通过上述方法进行节点内和节点间的数据交互，能够降低节点间数据交互次数，降低数据拥塞和传输时延，提高数据传输效率。数据传输效率。数据传输效率。

【技术实现步骤摘要】
一种数据传输系统、方法及相关设备
[0001]本申请是分案申请，原申请的申请号是202210073931.9，原申请日是2022年1月21 日，原申请的全部内容通过引用结合在本申请中。


[0002]本申请涉及计算机
，尤其涉及一种数据传输系统、方法及相关设备。

技术介绍

[0003]随着计算机技术的发展，数据规模也在不断发展，为了解决大规模数据的计算问题，分布式计算应运而生。分布式计算为了解决算力不足的问题，把需要进行大量计算的任务分配给多个计算设备或芯片进行计算。在进行分布式计算的过程中，各个计算设备或芯片会产生其他计算设备或芯片需要的数据，这会涉及到不同计算设备之间或者不同芯片之间的数据交互，因此提高不同计算设备或不同芯片之间的数据传输效率是提高分布式计算效率的一个有效途径。

技术实现思路

[0004]本申请公开了一种数据传输系统、方法及相关设备，能够减少数据传输过程中的拥塞和传输时延，提高数据传输效率。
[0005]第一方面，本申请提供一种数据传输系统，该数据传输系统包括多个节点，多个节点中的每个节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输系统，其特征在于，至少包括第一节点和第二节点，所述第一节点包括多个加速器，所述第一节点内的多个加速器之间通过第一通信链路连接；其中，所述第一节点内的第二加速器用于通过所述第一通信链路将第一数据发送给所述第一节点内的第一加速器，其中，所述第一数据是所述第一节点内的第二加速器将要发送给所述第二节点内的第一加速器的数据；所述第一节点内的第一加速器，用于将所述第一数据通过第二通信链路发送给所述第二节点内的第一加速器；其中，所述第一通信链路传输数据的速度优于所述第二通信链路传输数据的速度。2.根据权利要求1所述的数据传输系统，其特征在于，所述第一节点还包括其他加速器，所述第一节点内的其他加速器用于通过所述第一通信链路将自己将要发送给所述第二节点的第一加速器的第一数据发送给所述第一节点内的第一加速器；所述第一节点内的第一加速器，具体用于将从所述第一节点内的第二加速器获取的第一数据以及从所述第一节点内的其他加速器获取的第一数据，作为第一数据集合通过第二通信链路发送给所述第二节点内的第一加速器。3.根据权利要求1或2所述的数据传输系统，其特征在于，所述第一节点内的第一加速器与所述第二节点内的第一加速器位于同一个通信平面。4.根据权利要求1所述的数据传输系统，其特征在于，所述第一节点内的第一加速器还用于通过所述第一通信链路将第二数据发送给所述第一节点的第二加速器，其中，所述第二数据是所述第一节点内的第一加速器将要发送给所述第二节点内的第二加速器的数据；所述第一节点内的第二加速器，还用于将所述第二数据通过所述第二通信链路发送给所述第二节点内的第二加速器；其中所述第一节点内的第二加速器是除所述第一节点内的第一加速器之外的任意一个加速器。5.根据权利要求4所述的数据传输系统，其特征在于，所述第一节点内的其他加速器还用于通过所述第一通信链路将自己将要发送给所述第二节点的第二加速器的第二数据发送给所述第一节点内的第二加速器；所述第一节点内的第二加速器，具体用于将从所述第一节点内的第一加速器获取的第二数据以及从所述第一节点内的其他加速器获取的第二数据，作为第二数据集合通过所述第二通信链路发送给所述第二节点内的第二加速器。6.根据权利要求4或5所述的数据传输系统，其特征在于，所述第一节点内的第二加速器与所述第二节点内的第二加速器位于同一个通信平面，所述第一节点内的第二加速器所位于的通信平面不同于所述第一节点内的第一加速器所位于的通信平面。7.根据权利要求1
‑
6任一所述的数据传输系统，其特征在于，所述第一节点和所述第二节点通过模型并行(model parallelism)的方式训练神经网络模型。8.根据权利要求1
‑
7任一所述的数据传输系统，其特征在于，所述第一节点和所述第二节点位于不同的计算设备。9.根据权利要求1
‑
8任一所述的数据传输系统，其特征在于，所述加速器是GPU、NPU、
TPU中的任意一种。10.一种计算系统，其特征在于，包括第一计算设备和第二计算设备；所述第一计算设备包括第一节点，所述第二计算设备包括第二节点；所述第一节点包括多个加速器，所述第一节点内的多个加速器之间通过第一通信链路连接；所述第一节点内的第二加速器用于通过所述第一通信链路将第一数据发送给所述第一节点内的第一加速器，其中，所述第一数据是所述第一节点内的第二加速器将要发送给所述第二节点内的第一加速器的数据；所述第一节点内的第一加速器，用于将所述第一数据通过第二通信链路发送给所述第二节点内的第一加速器；其中，所述第一通信链路传输数据的速度优于所述第二通信链路传输数据的速度。11.根据权利要求10所述的计算系统，其特征在于，所述第一节点还包括其他加速器，所述第一节点内的其他加速器用于通过所述第一通信链路将自己将要发送给所述第二节点的第一加速器的第一数据发送给所述第一节点内的第一加速器；所述第一节点内的第一加速器，具体用于将从所述第一节点内的第二加速器获取的第一数据以及从所述第一节点内的其他加速器获取的第一数据，作为第一数据集合通过第二通信链路发送给所述第二节点内的第一加速器。12.根据权利要求10所述的计算系统，其特征在于，所述第一节点内的第一加速器与所述第二节点内的第一加速器位于同一个通信平面。13.根据权利要求10所述的计算系统，其特征在于，所述第一节点内的第一加速器还用于通过所述第一通信链路将第二数据发送给所述第一节点的第二加速器，其中，所述第二数据是所述第一节点内的第一加速器将要发送给所述第二节点内的第二加速器的数据；所述第一节点内的第二加速器，还用于将所述第二数据通过所述第二通信链路发送给所述第二节点内的第二加速器；其中所述第一节点内的第二加速器是除所述第一节点内的第一加速器之外的任意一个加速器。14.根据权利要求10所述的计算系统，其特征在于，所述第一节点内的其他加速器还用于通过所述第一通信链路将自己将要发送给所述第二节点的第二加速器的第二数据发送给所述第一节点内的第二加速器；所述第一节点内的第二加速器，具体用于将从所述第...

【专利技术属性】
技术研发人员：端启航，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：