自适应的神经网络训练方法、电子设备、介质和程序产品技术

本发明专利技术提供一种自适应的神经网络训练方法、电子设备、介质和程序产品，其中方法包括：基于当前训练轮次的自适应参数，对目标神经网络进行训练，所述自适应参数用于确定对所述目标神经网络进行训练的各训练节点的训练任务量；基于所述各训练节点在当前训练轮次的训练时间，调整所述当前训练轮次的自适应参数，并将调整后的自适应参数确定为下一训练轮次的自适应参数。本发明专利技术提供的方法、电子设备、介质和程序产品，无需手工为性能不同的训练节点分配训练任务，可减少人力成本，并提高异构集群下深度学习任务的训练效率，同时，可以实现按能分配的分布式训练方式，从而进一步提高异构集群下深度学习任务的训练效率。集群下深度学习任务的训练效率。集群下深度学习任务的训练效率。

【技术实现步骤摘要】
自适应的神经网络训练方法、电子设备、介质和程序产品


[0001]本专利技术涉及深度学习
，尤其涉及一种自适应的神经网络训练方法、电子设备、介质和程序产品。

技术介绍

[0002]随着深度学习技术的快速发展，深度学习已广泛应用于图像识别、自然语言处理、语音识别、强化学习等领域。而为了在实际应用中取得更好的效果，以神经网络为代表的深度学习结构越来越复杂，即神经网络的网络层数和参数数量不断增加，同时，对神经网络进行训练的数据集也越来越大，使得深度学习任务的训练过程需要耗费大量的计算资源。而单台机器的算力有限，使得训练时间过长。
[0003]目前，为了节省训练时间，多采用分布式训练方式进行训练。分布式训练是指将多台GPU服务器通过高性能网络相连，共同来训练一个深度学习任务，即通过多个训练节点共同完成训练任务。
[0004]在分布式训练的过程中，通常是给每个训练节点分配等量的训练任务。然而，每个训练节点的算力通常不同，算力差的训练节点将会拖慢整个训练过程，导致异构集群下深度学习任务的训练效率降低。
专利技术内容
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应的神经网络训练方法，其特征在于，包括：基于当前训练轮次的自适应参数，对目标神经网络进行训练，所述自适应参数用于确定对所述目标神经网络进行训练的各训练节点的训练任务量；基于所述各训练节点在当前训练轮次的训练时间，调整所述当前训练轮次的自适应参数，并将调整后的自适应参数确定为下一训练轮次的自适应参数。2.根据权利要求1所述的自适应的神经网络训练方法，其特征在于，所述基于当前训练轮次的自适应参数，对目标神经网络进行训练，包括：基于当前训练轮次的自适应参数，确定所述各训练节点的任务量权重；基于所述各训练节点的任务量权重，对目标神经网络进行训练。3.根据权利要求2所述的自适应的神经网络训练方法，其特征在于，任一训练节点基于如下步骤对目标神经网络进行训练：基于所述任一训练节点的任务量权重，从总训练数据集中确定出所述任一训练节点的子训练数据集；基于所述任一训练节点的子训练数据集，对所述目标神经网络进行梯度累加训练，得到梯度累加参数；基于所述梯度累加参数，更新所述目标神经网络的网络参数。4.根据权利要求1所述的自适应的神经网络训练方法，其特征在于，所述基于所述各训练节点在当前训练轮次的训练时间，调整所述当前训练轮次的自适应参数，包括：基于所述各训练节点在当前训练轮次的训练时间和所述当前训练轮次的自适应参数，确定所述各训练节点的任务变化量；基于所述各训练节点的任务变化量，调整所述当前训练轮次的自适应参数。5.根据权利要求1至4中任一项所述的自适应的神经网络训练方法，其特征在于，所述基于当前训练轮次的自适应参数，对目标神经网络进行训练，之前还包括：获取表征训练任务的训练脚本，并基于预置的训练脚本编写规范，对所述训练脚本进行校验；若所述训练脚本符合所述训练脚本编写规...

【专利技术属性】
技术研发人员：高嘉欣，廖名学，晁永越，吕品，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：