环形计算机网络上的嵌入环制造技术

一种计算机，包括多个相互连接的处理节点，这些处理节点以具有多层的配置布置，多层沿轴线布置，包括第一和第二最末端层以及第一和第二最末端层之间的至少一个中间层。每层包括多个处理节点，通过每对相邻处理节点之间的层内各自的链路集合连接成环，这些链路适于同时操作。每层的节点通过层间链路与每一相邻层的各自对应节点相连。第一最末端层的每个处理节点与第二最末端层的对应节点相连。数据围绕多个嵌入式一维逻辑环以非对称带宽利用率传输，每个逻辑环以多个嵌入式一维逻辑环同时操作的方式使用计算机的所有处理节点。作的方式使用计算机的所有处理节点。作的方式使用计算机的所有处理节点。

【技术实现步骤摘要】
【国外来华专利技术】环形计算机网络上的嵌入环


[0001]本公开涉及连接在计算机中的处理节点之间的数据交换，特别是但不限于在机器学习/人工智能应用中优化数据交换。

技术介绍

[0002]集合(collective)是在计算机中处理数据时常用的例程。它们是使数据能够跨多个不同的进程共享和处理的例程，这些进程可以在相同的处理节点或不同的处理节点上运行。例如，如果一个进程从数据存储中读取数据，它可以使用“广播”进程与其他进程共享该数据。另一示例是当特定函数的结果在多个进程上被需要时。“归约(reduction)”是需要将计算函数应用于来自多个进程的每一个的数据值的结果。“聚集”和“分散”集合处理一个以上的数据项。某些集合在处理机器学习应用中变得越来越重要。
[0003]MPI(消息传递接口)是消息传递标准，其可以应用于许多并行计算架构。MPI定义了一些适用于机器学习的若干集合。一个这样的集合被称为“Allreduce”。Allreduce操作使计算函数作用于来自不同源进程的多个数据值的结果能够被提供给接收进程。请注意，接收进程可以是源进程之一，并且可以存在多个接本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机，包括多个相互连接的处理节点，所述处理节点以具有多层的配置布置，所述多层沿轴线布置，包括第一最末端层和第二最末端层以及所述第一最末端层和第二最末端层之间的至少一个中间层；每层包括多个处理节点，通过每对相邻处理节点之间的层内各自的链路集合连接成环，每个集合中的链路适于同时操作；其中，每层中的处理节点通过层间链路与每一相邻层的各自对应节点相连，其中，所述第一最末端层中的每个处理节点与所述第二最末端层中的对应节点相连；所述计算机被编程为围绕多个嵌入式一维逻辑环传输数据，每个逻辑环以所述多个嵌入式一维逻辑环同时操作的方式使用所述计算机的所有处理节点，每个逻辑环使用所述计算机的所有处理节点；其中，所述计算机被编程为以非对称的带宽利用方式传输数据。2.根据权利要求1所述的计算机，其中，层内链路带宽的利用大于沿所述轴线带宽的利用。3.根据权利要求1或2所述的计算机，其中，嵌入式环是同构的。4.根据任一前述权利要求所述的计算机，其中，层内链路集合包括两个链路，带宽利用沿轴线为B/6，每层内为B/3，其中B是每个处理节点的总带宽。5.根据权利要求4所述的计算机，其中，三个环被嵌入。6.根据权利要求1、2或3所述的计算机，其中，层内链路集合包括三个链路，带宽利用率在每层内为3B/8，沿轴线为B/8。7.根据权利要求6所述的计算机，其中，四个环被嵌入。8.根据任一前述权利要求所述的计算机，被配置为使得数据沿每个环以逆时针和顺时针方向之一通过每个层中的处理节点。9.根据权利要求8所述的计算机，被配置为使得所述数据以相同的方向通过连续的层。10.根据权利要求8所述的计算机，被配置为使得所述数据以相反的方向通过连续的层。11.根据任一前述权利要求所述的计算机，其中，每个处理节点包括被配置为存储准备在归约分散阶段交换的数据项的阵列的存储器，其中每个数据项分别被定位在所述阵列中，对应的数据项分别被定位在其他处理节点的所述阵列的对应位置上。12.根据任一前述权利要求所述的计算机，其中，每个处理节点被编程为在归约
‑
分散阶段在每个环中，以向前的方向向其相邻的处理节点传输数据项。14.根据权利要求13所述的计算机，其中，每个处理节点被编程为在计算步骤中生成部分增量的向量，并将其向量划分为子阵列，用于各自利用所述嵌入式环。15.根据权利要求1所述的计算机，其中，每个处理节点被编程为将该节点各自的部分向量分成片段，并以连续片段的形式围绕每个一维路径传输数据。16.根据权利要求...

【专利技术属性】
技术研发人员：S诺尔斯，
申请(专利权)人：图核有限公司，
类型：发明
国别省市：