一种分布式深度学习方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于计算机技术领域，提供了一种分布式深度学习方法、装置、终端设备及存储介质，该方法包括：获取相同的至少两个样本集，每个样本集中包括多个的数据块；将各个数据块按照预设规则与工作节点关联，以保证任意预设目标数量的工作节点关联的数据块能够组成至少一个所述样本集，工作节点基于关联的各个数据块进行模型训练得到数据块对应的梯度，并向参数服务器发送所述梯度；参数服务器接收工作节点发送的所述数据块对应的梯度，并在接收到至少一个样本集中所有数据块对应的梯度后，基于接收到的梯度计算目标梯度，并向工作节点发送目标梯度；本申请不会影响模型训练，提高了训练速度，保证了模型训练的完整性，进而提高了模型的准确度。模型的准确度。模型的准确度。

【技术实现步骤摘要】
一种分布式深度学习方法、装置、终端设备及存储介质


[0001]本申请属于计算机
，尤其涉及一种分布式深度学习方法、装置、终端设备及存储介质。

技术介绍

[0002]深度学习方法是计算机利用已有的数据，通过对初始模型进行训练，得到训练后的模型，并利用训练后的模型预测需要的数据。在对模型进行训练时，为了提高模型训练的速度，目前多采用分布式深度学习系统对模型进行训练。
[0003]采用分布式深度学习系统训练模型的具体方法为：将训练样本分别输入并行的多台子服务器中，利用多台子服务器同时对模型进行训练，然后将训练得到的梯度发送至参数服务器，参数服务器对梯度进行处理，并将处理后的梯度返回至各个子服务器中，子服务器利用参数服务器返回的梯度进行参数更新，并进行下一次训练，依此循环直到训练结束。采用上述方法可以提高模型训练的速度。但是，利用分布式深度学习系统训练模型时，如果子服务器与参数服务器之间发生断路，则该子服务器中的梯度将不会传输至参数服务器，影响训练得到的模型准确度。

技术实现思路

[0004]本申请实施例提供了一种分布式深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式深度学习方法，应用于分布式深度学习系统，所述分布式深度学习系统包括参数服务器和至少两个用于对模型进行训练的工作节点，工作节点与所述参数服务器之间通过链路连接，其特征在于，该方法包括：获取相同的至少两个样本集，其中，每个样本集中包括预设个数的数据块；将所述至少两个样本集中的各个数据块按照预设规则与所述工作节点关联，其中，所述预设规则为任意预设目标数量的工作节点关联的数据块能够组成至少一个所述样本集，所述预设目标数量基于所述工作节点的个数和所述分布式深度学习系统的容错数确定，所述容错数表征允许滞后传输和/或断路的所述链路的个数，所述工作节点基于关联的各个数据块进行模型训练得到数据块对应的梯度，并向所述参数服务器发送所述梯度；接收所述工作节点发送的所述数据块对应的梯度，并在接收到至少一个样本集中所有数据块对应的梯度后，基于接收到的所述梯度计算目标梯度；向所述工作节点发送所述目标梯度，其中，所述目标梯度用于所述工作节点更新模型的参数，更新后的参数用于所述工作节点进行下一次模型训练。2.如权利要求1所述的分布式深度学习方法，其特征在于，所述接收所述工作节点发送的所述数据块对应的梯度，并在接收到至少一个样本集中所有数据块对应的梯度后，基于接收到的所述梯度计算目标梯度，包括：接收所述工作节点发送的梯度集合，其中，所述梯度集合是由所述工作节点基于关联的所有数据块的梯度生成的；在接收到的梯度集合满足预设条件后，从所述梯度集合中选取目标梯度集合，并基于所述目标梯度集合计算目标梯度，其中，所述预设条件为所述梯度集合中包含的梯度对应的数据块组成至少一个样本集。3.如权利要求1所述的分布式深度学习方法，其特征在于，所述接收所述工作节点发送的所述数据块对应的梯度，并在接收到至少一个样本集中所有数据块对应的梯度后，基于接收到的所述梯度计算目标梯度，包括：接收所述工作节点发送的编码梯度，其中，所述编码梯度是由所述工作节点基于对应的所有数据块的梯度生成梯度集合后，对所述梯度集合进行编码生成的；在接收到预设目标数量的工作节点发送的编码梯度后，对接收到的编码梯度进行解码，得到编码梯度中的梯度，其中，所述预设目标数量的工作节点为不相同的工作节点；基于解码得到的梯度计算目标梯度。4.如权利要求3所述的分布式深度学习方法，其特征在于，在所述接收所述工作节点发送的编码梯度之后，还包括：判断所述编码梯度是否为滞后编码梯度；如果所述编码梯度是滞后编码梯度，则删除所述编码梯度；如果所述编码梯度不是滞后编码梯度，则存储所述编码梯度。5.如权利要求4所述的分布式深度学习方法，...

【专利技术属性】
技术研发人员：郭嵩，王号召，詹玉峰，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：