用于分布式学习中拓扑设计的装置和方法制造方法及图纸

描述了一种网络中用于对层次结构的任务执行推理的设备(1000)，所述网络包括多个节点(206、207、208、209、210、211、1050)，每个节点用于处理与所述层次结构的任务中的任务相关的相应数据，所述设备用于：向所述网络中的每个节点发送(801)相应的当前协作模式(203、204)，其中，每个相应的当前协作模式从所述网络的当前连通性模型(202、205、601)中推导出，所述当前连通性模型(202、205、601)指示所述网络中要与相应节点进行通信的一个或多个其它节点；从所述网络中的每个节点接收(802)对应于所述层次结构的任务的相应损失向量；根据所述接收到的相应损失向量，形成(803)所述网络的更新后的连通性模型。这样可以确定给定层次结构的任务的最优网络拓扑。

【技术实现步骤摘要】
【国外来华专利技术】

本公开涉及数据处理，例如，涉及数据处理设备网络中的分布式学习和推理。

技术介绍

1、解决许多分布式学习问题的主要方法类别以联邦学习为代表。其中，主节点(通常称为参数服务器)的内存量和处理能力比网络中的边缘设备(通常称为客户端)大得多，以便执行计算并存储结果。另外，参数服务器协调整个训练和推理阶段在网络中进行的信息交换通信。

2、客户端的连通性模式称为网络拓扑。拓扑可以有多种多样的模式。然而，最常见的是星型拓扑，如图1(a)示意性所示。在该网络拓扑中，对于网络100，通信仅在参数服务器101和每个节点102、103、104、105、106、107之间进行，并且这些连接在整个训练和推理阶段保持固定。

3、网络中的通信模式可以由连通性矩阵(connectivity matrix，cm)定义，如图1(b)所示。因此，网络中设备的协作模式可以存储为矩阵，该矩阵的行和列表示设备的索引，并且该矩阵包含数字1和0作为其元素。例如，行i列j的元素等于1表示设备i和j交换信息。值0表示对应的设备在当前轮次的消息交换中不进行通信。图1(b)所示的连通性矩本文档来自技高网...

【技术保护点】

1.一种网络(200)中用于对层次结构的任务执行推理的设备(201、1000)，所述网络包括多个节点(206、207、208、209、210、211、1050)，每个节点用于处理与所述层次结构的任务中的任务相关的相应数据，所述设备用于：

2.根据权利要求1所述的设备，其中，每个相应损失向量根据由所述网络中的相应节点以及所述网络中用于根据所述网络的所述当前连通性模型与所述相应节点进行通信的每个节点实现的相应神经网络的一个或多个梯度来确定。

3.根据权利要求1或2所述的设备，其中，所述更新后的连通性模型定义多个节点集群(604、605、606、701、702、703、...

【技术特征摘要】
【国外来华专利技术】

1.一种网络(200)中用于对层次结构的任务执行推理的设备(201、1000)，所述网络包括多个节点(206、207、208、209、210、211、1050)，每个节点用于处理与所述层次结构的任务中的任务相关的相应数据，所述设备用于：

2.根据权利要求1所述的设备，其中，每个相应损失向量根据由所述网络中的相应节点以及所述网络中用于根据所述网络的所述当前连通性模型与所述相应节点进行通信的每个节点实现的相应神经网络的一个或多个梯度来确定。

3.根据权利要求1或2所述的设备，其中，所述更新后的连通性模型定义多个节点集群(604、605、606、701、702、703、704、705、706)，其中，集群中的每个节点用于与所述集群中的其它节点进行通信。

4.根据权利要求3所述的设备，其中，所述更新后的连通性模型还为所述多个节点集群中的每个节点集群定义集群间协作模式。

5.根据权利要求3或4所述的设备，其中，集群的所述节点分别用于输出与所述层次结构的任务中的同一任务相关的数据。

6.根据上述权利要求中任一项所述的设备，其中，由所述网络中的每个节点处理的所述相应数据是非独立同分布数据，根据所述网络中的哪个节点处理所述数据，所述数据具有不同的统计属性。

7.根据上述权利要求中任一项所述的设备，其中，所述设备还用于：

8.根据上述权利要求中任一项所述的设...

【专利技术属性】
技术研发人员：塞普蒂米亚·萨尔布，阿布德拉第夫·扎迪，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：