一种深度学习的参数交换方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例涉及工智能技术领域，公开了一种深度学习的参数交换方法、装置、服务器及存储介质。本发明专利技术中，包括：获取匹配的训练数据；根据匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；将第一训练参数压缩后与其它处理器进行交换获得第二训练参数。在利用处理器对深度学习网络进行训练时，通过获取匹配的训练数据和已知的第一权值进行训练，获得第一训练参数，将第一训练参数压缩后与其它处理器进行交换获得第二训练参数，通过压缩后再进行传输的方式提高了处理器之间进行参数交换的速度，从而节省了参数交换时所耗费的时长。

A parameter exchange method, device, server and storage medium for in-depth learning

The embodiment of the invention relates to the field of industrial intelligence technology, and discloses a parameter exchange method, device, server and storage medium for deep learning. The invention includes: acquiring matched training data; training according to matched training data and known first weights to obtain the first training parameters; and exchanging the first training parameters with other processors to obtain the second training parameters. When using processors to train deep learning networks, the first training parameters are obtained by acquiring matching training data and known first weights. The first training parameters are compressed and exchanged with other processors to obtain the second training parameters. The speed of parameter exchange between processors is improved by compressing and then transferring, thus saving. The time consumed in parameter switching is reduced.

【技术实现步骤摘要】
一种深度学习的参数交换方法、装置、服务器及存储介质
本专利技术实施例涉及人工智能
，特别涉及一种深度学习的参数交换方法、装置、服务器及存储介质。
技术介绍
深度学习网络是近年来机器学习领域中的研究热点，在各个行业产生了广泛的应用。深度学习网络具有深层结构、数千万参数需要学习，这导致非常耗时。图像处理器(GraphicsProcessingUnit，GPU)有强大的计算能力，适合于加速深度学习网络训练。目前用于深度学习网络的加速方式主要有数据并行和模型并行两种，并且现在主流的计算框架一般都支持数据并行方式。数据并行方式下每个GPU设备训练多次迭代，需要将参数交换到其它GPU设备上，所以如何提高单节点多GPU以及多节点多GPU的参数交换的效率成为重点。专利技术人发现现有技术中至少存在如下问题：现有技术中在根据数据集进行训练时，一般采用同步或者异步的方式进行参数交换，提高参数交换的性能，但每次都需要交换模型的全部参数，如果在模型较大的情况下，尤其是在跨节点通过网络来进行交换的情况下，交换所耗费的时长会成为整个模型训练的瓶颈。
技术实现思路
本专利技术实施方式的目的在于提供一种深度学习的参本文档来自技高网...

【技术保护点】
1.一种深度学习的参数交换方法，其特征在于，包括：获取匹配的训练数据；根据所述匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；将所述第一训练参数压缩后与其它所述处理器进行交换获得第二训练参数。

【技术特征摘要】
1.一种深度学习的参数交换方法，其特征在于，包括：获取匹配的训练数据；根据所述匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；将所述第一训练参数压缩后与其它所述处理器进行交换获得第二训练参数。2.根据权利要求1所述的深度学习的参数交换方法，其特征在于，所述将所述第一训练参数压缩后与其它所述处理器进行交换获得第二训练参数，具体包括：将所述第一训练参数压缩后发送给同一节点内除自己外的每一个所述处理器，同时接收同一所述节点内除自己外的每一个所述处理器发送的压缩后的第三训练参数；将压缩后的所述第一训练参数和接收的压缩后的所述第三训练参数进行相加求平均值，获得所述第二训练参数。3.根据权利要求2所述的深度学习的参数交换方法，其特征在于，若所述处理器为根设备，所述将所述第一训练参数压缩后与其它所述处理器进行交换获得第二训练参数之后，还包括：将所述第二训练参数分别发送给集群中除自己外的每一个所述节点的根设备，同时接收所述集群中除自己外的每一个所述节点的根设备发送的第四训练参数；将所述第二训练参数和接收的第四训练参数进行相加求平均，获得第五训练参数。4.根据权利要求3所述的深度学习的参数交换方法，其特征在于，所述将所述第二训练参数和接收的第四训练参数进行相加求平均，获得第五训练参数之后，还包括：根据所述第五训练参数和已知的学习率进行计算获得第二权值，其中，所述第二权值用于对所述第一权值进行更新；采用所述第二权值更新所述第一权值，并将所述第二权值分别发送...

【专利技术属性】
技术研发人员：严欢，夏正勋，吕阿斌，
申请(专利权)人：中兴飞流信息科技有限公司，
类型：发明
国别省市：江苏,32