模型训练方法及装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供一种模型训练方法，包括：将多种图片类别以及所述神经网络基础模型分摊至不同的GPU显卡，选取训练样本输入至每个GPU中的子模型中进行训练，确定训练样本在整体模型中属于每个图片类别的得分值的总得分值，并将该总得分值分别反向传输至每个GPU中；依据该总得分值，及训练样本图片在每个GPU中属于各个图片类别的得分值，对整个神经网络模型的损失函数的进行优化直到收敛，当损失函数的输出值满足预设的收敛条件时，也就完成对每个GPU中的训练子模型的训练。本发明专利技术提供的训练方法，可使神经网络能够对任意大规模类别的数据集进行训练，且模型数据传递量少，使得训练速度与小规模数据集类别训练相比几乎没有损失。

Model training methods and devices, storage media and electronic equipment

The invention provides a model training method, which includes: dividing a variety of picture categories and the neural network basic model into different GPU graphics cards, selecting training samples and inputting them into the sub-models of each GPU for training, determining the total score value of the score value of the training samples belonging to each picture category in the overall model, and transmitting the total score value back to each GPU separately. According to the total score value and the score value of training sample pictures belonging to each picture category in each GPU, the loss function of the whole neural network model is optimized until convergence. When the output value of the loss function satisfies the preset convergence condition, the training of the training sub-model in each GPU is completed. The training method provided by the invention enables the neural network to train any large-scale data set, and the amount of model data transmission is less, so that the training speed is almost no loss compared with the small-scale data set category training.

【技术实现步骤摘要】
模型训练方法及装置、存储介质及电子设备
本专利技术涉及深度学习
，特别涉及一种模型训练方法及装置、储存介质及电子设备。
技术介绍
随着信息科技的发展，深度神经网络在计算机视觉领域的应用范围越来越大。例如，在人脸识别领域中，当需要训练一个分类器对不同的人脸图片进行分类时，通常会选择深度神经网络模型来完成分类器的训练。由于深度神经网络计算量大，因此深度神经网络的训练任务一般在显卡上完成。专利技术人经过对现有的深度神经网络模型的训练过程进行研究发现，现有的神经网络在每张显卡上存放着完整的神经网络模型，当需要识别的人脸图片数量很大时，对应的，神经网络所需要的训练类别也会很巨大，导致整个神经网络模型计算量很庞大，而显卡的显存有限，以及模型数据量巨大时数据传输速度缓慢，所以现有神经网络的训练框架根本无法完成大规模类别的训练任务。
技术实现思路
本专利技术所要解决的技术问题是提供一种模型训练的方法，可以对神经网络进行大规模图片类别的训练，且训练速度几乎没有损失，有效解决了现有技术无法对神经网络进行大规模图片类别训练的问题。本专利技术还提供了一种模型训练装置，用以保证上述方法在实际中的实现及应用。本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：选取基础训练模型，并依据所述基础训练模型所需占用的显存大小，选取多个图像处理器GPU；将所述基础训练模型分割为多个训练子模型，并为每个所述GPU分配与其对应的训练子模型；确定目标图片类别集合，所述目标图片类别集合中包含多个图片类别组，每个所述图片类别组中包含多个不同的图片类别；为每个所述GPU分配与其对应的图片类别组；选取训练样本集合，所述训练样本集合中包含多个训练样本图片；从所述训练样本集合中选取训练样本图片分别输入至每个所述GPU中的训练子模型中进行训练，由每个所述GPU中的训练子模型计算所述训练样本图片属于该GPU中各个图片类别的得分值；确定所述训...

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：选取基础训练模型，并依据所述基础训练模型所需占用的显存大小，选取多个图像处理器GPU；将所述基础训练模型分割为多个训练子模型，并为每个所述GPU分配与其对应的训练子模型；确定目标图片类别集合，所述目标图片类别集合中包含多个图片类别组，每个所述图片类别组中包含多个不同的图片类别；为每个所述GPU分配与其对应的图片类别组；选取训练样本集合，所述训练样本集合中包含多个训练样本图片；从所述训练样本集合中选取训练样本图片分别输入至每个所述GPU中的训练子模型中进行训练，由每个所述GPU中的训练子模型计算所述训练样本图片属于该GPU中各个图片类别的得分值；确定所述训练样本图片在所有所述GPU中属于各个图片类别的得分值的总得分值，并将所述总得分值分别传输至每个所述GPU中；依据所述总得分值，及所述训练样本图片在每个所述GPU中属于各个图片类别的得分值，及预先设定的所述训练样本图片在每个GPU中与各个图片类别对应的标准概率值，对所述基础训练模型对应的损失函数的输出值进行收敛，并在所述基础训练模型对应的损失函数的输出值满足预设的收敛条件时，完成对每个GPU中训练子模型的训练。2.根据权利要求1所述的方法，其特征在于，所述将所述基础训练模型分割为多个训练子模型，并为每个所述GPU分配与其对应的训练子模型，包括：确定当前已选取所述GPU的数量，并确定每个所述GPU的处理能力；依据所述GPU的数量，及每个所述GPU的处理能力，将所述基础训练模型分割为与所述GPU的数量相同的多个训练子模型；依据每个所述GPU的处理能力，为每个所述GPU分配与其对应的训练子模型。3.根据权利要求2所述的方法，其特征在于，所述为每个所述GPU分配与其对应的图片类别组，包括：确定所述目标图片类别集合中每个图片类别组中所包含图片类别的数量；依据每个所述图片类别组中所包含图片类别的数量，以及每个所述GPU的处理能力，为每个所述GPU分配与其对应的图片类别组。4.根据权利要求1或2所述的方法，其特征在于，所述从所述训练样本集合中选取训练样本图片分别输入至每个所述GPU中的训练子模型中进行训练，包括：每次从所述训练样本集合中随机选取训练样本图片，并将每次随机选取的训练样本图片分别输入至每个所述GPU中的训练子模型中进行训练。5.根据权利要求1所述的方法，其特征在于，所述从所述训练样本集合中选取训练样本图片分别输入至每个所述GPU中的训练子模型中进行训练，由每个所述GPU中的训练子模型计算所述训练样本图片属于该GPU中各个图片类别的得分值，包括：从所述训练样本集合中选取训练样本图片，提取与所述训练样本图片对应的特征向量；将所述训练样本图片对应的特征向量分别输入至每个所述GPU中的训练子模型中进行训练，由每个所述GPU中的训练子模型计算所述训练样本图片属于该GPU中各个图片类别的得分值。6.根据权利要求1所述的方法，其特征在于，所述确定所述训练样本图片在所有所述GPU中属于各个图片类别的得分值的总得分值，包括：依据每个所述GPU中的训练子模型计算所述训练样本图片属于该GPU中各个图片类别的得分值，确定所述训练样本...

【专利技术属性】
技术研发人员：周常青，蔡炀，
申请(专利权)人：广州小狗机器人技术有限公司，
类型：发明
国别省市：广东,44