【技术实现步骤摘要】
【国外来华专利技术】基于注入节点带宽的并行处理
技术介绍
并行计算系统可包括多个硬件处理节点，诸如中央处理单元(CPU)、图形处理单元(GPU)等。通常，给定节点独立于并行计算系统的其他节点执行其处理。为并行处理系统编写的给定应用可包括集体操作，其中节点彼此通信以交换数据。一种类型的集体操作是归约分散(reduce-scatter)操作，其中输入数据可以在一系列的并行处理时段(phase)或阶段(stage)中进行处理。以该方式，每个处理节点可以以代表输入数据向量的一部分的数据向量或数组开始操作；并且在每个阶段中，成对的处理节点可以交换一半的数据，并将数据合并(例如，将数据加在一起)以对数据进行归约。以该方式，集体处理将最初存储在每个节点上的数据数组归约为表示集体操作的结果的最终数据数组，并且该最终数据数组可以在处理节点上分布或分散。附图说明图1是根据示例实施方式的并行处理计算机系统的示意图。图2是根据示例实施方式的节点执行环境的图示。图3是根据示例实施方式的并行处理计算机系统用于执行集体操作的处理阶段的图示。图4A是...
【技术保护点】
1.一种计算机实现的方法，包括：/n使用多个并行处理阶段在并行处理系统的多个节点之间执行集体操作；以及/n调节所述并行处理阶段的排序，其中所述多个并行处理阶段的初始阶段与比所述多个并行处理阶段的后续阶段更高的节点注入带宽相关联。/n
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：
使用多个并行处理阶段在并行处理系统的多个节点之间执行集体操作；以及
调节所述并行处理阶段的排序，其中所述多个并行处理阶段的初始阶段与比所述多个并行处理阶段的后续阶段更高的节点注入带宽相关联。
2.如权利要求1所述的方法，其中：
执行所述集体操作包括在所述多个节点之间传递消息；以及
调节所述排序包括调节所述排序使得与所述初始阶段相关联的消息尺寸大于与另一阶段相关联的消息尺寸。
3.如权利要求1所述的方法，其中执行所述集体操作包括执行归约分散操作。
4.如权利要求1所述的方法，其中执行所述集体操作包括：在所述多个节点之间并行处理数据向量的元素以对所述元素进行归约，并将经归约的元素跨所述多个节点分散。
5.如权利要求1所述的方法，进一步包括：
对于多个并行处理阶段的初始阶段，将多个消息从所述多个节点中的第一节点传递到所述多个节点中的另一节点以将数据从所述另一节点传递到所述第一节点，并在所述第一节点中处理所传递的数据以对所述所传递的数据进行归约操作。
6.如权利要求1所述的方法，其中所述多个节点包括节点的集群，所述方法进一步包括：
在所述初始阶段中在每个集群的节点之间传递消息；以及
在所述后续阶段中在所述集群之间传递消息。
7.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，所述方法进一步包括：
在所述初始阶段中在每个超级节点的节点之间传递消息；以及
在所述后续阶段中在所述超级节点之间传递消息。
8.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，以及布置在网格中的超级节点的子集，所述方法进一步包括：
在所述初始阶段中在每个超级节点的节点之间传递消息；
在所述多个并行处理阶段的第二阶段中，在每个网格的超级节点之间传递消息；以及
在所述多个并行处理阶段的第三阶段中，在所述网格之间传递消息。
9.如权利要求1所述的方法，其中所述多个节点包括布置在超级节点中的节点的子集，以及布置在网格中的超级节点的子集，所述方法进一步包括：
在所述初始阶段中在每个超级节点的节点之间传递消息；
在所述多个并行处理阶段的第二阶段中，在每个网格的超级节点之间传递消息；以及
在所述多个并行处理阶段的多个其他阶段中，在所述网格之间传递消息。
10.如权利要求9所述的方法，其中在所述多个并行处理阶段的多个其他阶段中在所述网格之间传递消息包括根据基于Rabenseifner的算法进行传递。
11.一种用于存储指令的非暂态计算机可读存储介质，所述指令在由并行处理机器执行时，使得所述机器：
在多个并行...
【专利技术属性】
技术研发人员：K·瓦德雅纳坦，S·斯瑞哈兰，D·达斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。