一种低通信开销的神经网络并行训练方法技术

本发明专利技术公开了一种低通信开销的神经网络并行训练方法，本发明专利技术通过跨多层拆分目标卷积网络，使得拆分后得到的每个分离网络中均包含目标卷积网络中各个操作层的一部分。因此本发明专利技术只需要获取各分离网络的前向结果即可实现目标卷积网络的网络训练过程，各分离网络无需中间通信，减少了参数传播过程的通信开销。解决了现有的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，从而影响训练效率的问题。从而影响训练效率的问题。从而影响训练效率的问题。

【技术实现步骤摘要】
一种低通信开销的神经网络并行训练方法


[0001]本专利技术涉及神经网络并行训练领域，尤其涉及的是一种低通信开销的神经网络并行训练方法。

技术介绍

[0002]卷积神经网络是目前计算机视觉中使用最普遍的模型结构。传统的卷积神经网络虽然在计算机视觉领域已经取得了良好效果，但当应用于实际工业场景时，模型参数量的激增会直接导致计算量和模型更新开销的上升。
[0003]分布式机器学习中的模型并行方法是将一个网络的不同层对应的计算任务放到不同的节点上执行；或者把同一层的任务细分成很多份，每一份分到每个节点上执行，每个工作节点存储并更新部分子网络。如果需要子模型以外的激活函数值和误差传播值，则需要向对应的工作节点请求相关信息并进行通信。因此传统的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，随着模型层数加深继续升高，严重影响训练效率。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种低通信开销的神经网络并行训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低通信开销的神经网络并行训练方法，其特征在于，所述方法包括：获取训练集中的训练数据，将所述训练数据分发至若干计算节点，其中，各所述计算节点分别对应不同的分离网络，各所述分离网络分别包括等量的若干子操作层，各所述分离网络中同一功能的子操作层基于目标卷积网络的同一操作层拆分得到；获取各所述计算节点分别发送的预测数据，根据各所述预测数据确定目标预测数据，其中，每一所述计算节点发送的所述预测数据为本地的所述分离网络基于所述训练数据得到的前向结果；根据所述目标预测数据确定所述目标卷积网络对应的损失值，判断所述损失值是否收敛至目标值，若所述损失值未收敛至所述目标值，根据所述损失值对所述目标卷积网络进行网络参数更新，得到更新卷积网络；将所述更新卷积网络重新作为所述目标卷积网络，继续执行获取训练集中的训练数据，将所述训练数据分发至若干计算节点的步骤，直至所述损失值收敛至所述目标值，得到已训练的所述目标卷积网络。2.根据权利要求1所述的低通信开销的神经网络并行训练方法，其特征在于，所述计算节点为图形处理器。3.根据权利要求1所述的低通信开销的神经网络并行训练方法，其特征在于，若干所述分离网络为两个所述分离网络，两个所述分离网络的生成过程包括：获取所述目标卷积网络；对所述目标卷积网络的各操作层进行拆分，得到各操作层分别对应的两个子操作层；根据各操作层分别对应的两个子操作层，构建两个所述分离网络，其中，每一所述分离网络包括所述目标卷积网络的各操作层分别对应的一个子操作层，两个所述分离网络分别对应的子操作层互不重叠。4.根据权利要求3所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括卷积操作层，所述卷积操作层对应的卷积核矩阵的拆分过程包括：对所述卷积核矩阵进行拆分，得到第一卷积核矩阵和第二卷积核矩阵，其中，所述第一卷积核矩阵和所述第二卷积核矩阵分别位于不同的所述分离网络，所述卷积核矩阵的尺寸为n*m，所述第一卷积核矩阵的尺寸为n*1，所述第二卷积核矩阵的尺寸为1*m。5.根据权利要求4所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括补全操作层，所述补全操作层对应的两个子操作层为第一补全操作层和第二补全操作层，所述补全操作层的拆分过程包括：对所述补全操作层进行拆分，得到所述第一补全操作层和所述第二补全操作层，其中，所述第一补全操作层与所述第一卷积核矩阵位于同一所述分离网络，用于进行行部分的补全操作；所述第二补全操作层与所述第二卷积核矩阵位于同一所述分离网络，用于进行列部分的补全操作。6.根据权利要求4所述的低通信开销的神经网络并行训练方法，其特征在于，所述目标卷积网络的操作层包括池化层，所述池化层对应的权重矩阵的拆分过程包括：对所述权重矩阵进行拆分，得到第一权重矩阵和第二权重矩阵，其中，所述权重...

【专利技术属性】
技术研发人员：任智祥，任一铭，田永鸿，高文，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：