训练和利用大规模并行神经网络的自动设置和通信协调制造技术

本公开提供了“训练和利用大规模并行神经网络的自动设置和通信协调”。公开了一种用于训练和利用大规模并行神经网络的方法。分布式计算系统可以被配置为执行各种操作。分布式计算系统可以将有向无环图(“DAG”)划分在多个节点之间，所述DAG包括经由多条边以成对关系链接的多个顶点。每个节点都可以包括计算装置。分布式计算系统可以提供DAG的映射图，所述映射图描述了通过顶点到达DAG的顶点中的每一个的数据流。分布式计算系统可以对DAG的顶点执行拓扑排序并且可以遍历DAG。行拓扑排序并且可以遍历DAG。行拓扑排序并且可以遍历DAG。

【技术实现步骤摘要】
训练和利用大规模并行神经网络的自动设置和通信协调


[0001]本公开总体上涉及分布式计算系统。

技术介绍

[0002]计算机使用越来越多地主导工程设计。这提高了设计质量，但是新的设计挑战是扩展当前计算系统的极限。例如，计算机可以用于模拟汽车的外部车身上方的气流。为了生成有用的模拟，这需要大量的输入数据和计算。除了用于此类模拟的庞大数据量之外，由于输入数据与输出之间的关系可能是复杂的，用于此类模拟的计算负荷也可能是巨大的。
[0003]此类困难可以经由分布式计算来解决。当前，分布式计算根据主从模型进行操作，其中一个节点维持对由从装置执行的计算操作的概述和控制。从装置在从主装置接收到指令时执行操作，但是未概述或了解由其他从装置单独或总体上执行的操作。此类主
‑
从配置可能具有相当大的益处，但是也可能存在缺点。具体地，此类配置可能依赖于用户大量参与对从属装置的操作进行编程和对主装置对从装置的控制进行编程。这种近乎定制的程序可能会限制根据主从模型的计算灵活性，因为分布式计算网络中的一个或几个节点的配置或操作的任何变化都可能需要重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式计算方法，所述方法包括：将有向无环图(“DAG”)划分在多个节点之间，所述DAG包括经由多条边以成对关系链接的多个顶点，其中所述多个节点中的每一个包括计算装置；向所述DAG的所述顶点中的每一个提供所述DAG的映射图，其中所述映射图描述通过所述顶点的数据流；对所述DAG的所述顶点执行拓扑排序；以及遍历所述DAG。2.根据权利要求1所述的方法，其中所述DAG形成神经网络的一部分。3.根据权利要求1或2中任一项所述的方法，其中所述拓扑排序包括控制用于遍历所述DAG的操作顺序的确定性拓扑排序。4.根据权利要求1至3中任一项所述的方法，其还包括：标识链接分开节点的边；以及在所述分开节点之间插入数据交换顶点。5.根据权利要求4所述的方法，其中标识链接分开节点的所述边包括：跟踪从第一顶点到第二顶点的边，其中所述边将所述第一顶点联接到所述第二顶点；将所述第一顶点的节点与所述第二顶点的节点进行比较；以及当所述第一顶点的所述节点不同于所述第二顶点的所述节点时，确定所述边链接分开节点。6.根据权利要求5所述的方法，其中所述数据交换顶点包括递归DAG结构，所述递归DAG结构包括：位于所述第一顶点的所述节点上的发送顶点；以及位于所述第二顶点的所述节点上的接收顶点，其中当所述数据交换顶点被激活时，所述发送顶点和所述接收顶点两者一致地运行。7.根据权利要求6所述的方法，其还包括：激活数据顶点；以及一致地运行所述发送顶点和所述接收顶点，同时将张量从所述发送顶点传递到所述接收顶点。8.根据权利要求7所述的方法，其中将所述张量从所述发送顶点传递到所述接收顶点包括：将表征所述张量的一系列通信从所述发送顶点传递到所述接收顶点；以及随后将所述张量从所述发送顶点传递到所述接收顶点。9.根据权利要求8所述的方法，其中将表征所述张量的所述系列通信从所述发送顶点传递到所述接收顶点包括：将指示所述张量的秩的第一值从所述发送顶点传递到所述接收顶点；将指示所述张量的形状的值的矢量从所述发送顶点传递到所述接收顶点；将表征包含在所述张量中的数据的至少一个第二值从所述发送顶点传递到所述接收顶点；以及传递引导跟踪所述DAG的梯度的第三值。10.根据权利要求1至9中任一项所述的方法，其还包括：创建与所述DAG相同的至少一个克隆DAG，所述克隆DAG包括多个克隆顶点；为所述克隆顶点中的每一个标识所述DAG中的对应顶点；在所述DAG和所述克隆DAG的训练期间，基于来自所述克隆顶点中的每一个及其在所述DAG中的对应顶点的梯度数据来计算...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：