一种基于类别信息对神经网络分步训练的方法、装置、介质制造方法及图纸

本发明专利技术提出了一种基于类别信息对神经网络分步训练的方法、装置及存储介质，该方法包括：获取步骤，获取所述神经网络的初始权重数据，并将所述初始权重数据存储在一指定存储区中；选择步骤，从待训练的N个类别训练样本集合中选择n个未标记类别样本集合；训练步骤，使用所述选择n个未标记类别样本集合对所述神经网络进行迭代计算得到训练后的神经网络；更新步骤，将训练后神经网络模型的权重数据更新所述指定存储区中的初始权重数据；本发明专利技术中，从N个类别中选择n个类别未标记样本集合标记后进行神经网络的训练，在训练过程中充分利用样本的类别信息，提高了神经网络的训练精度，提高了更新效率，保证了神经网络的训练速度。保证了神经网络的训练速度。保证了神经网络的训练速度。

【技术实现步骤摘要】
一种基于类别信息对神经网络分步训练的方法、装置、介质


[0001]本专利技术涉及人工智能
，具体涉及一种基于类别信息对神经网络分步训练的方法、装置、设备及存储介质。

技术介绍

[0002]神经网络中常需要含有类别信息以完成如分类、对不同类别检测或回归等针对多类别的任务。经常的，这些类别信息也是未确定的，需要在训练过程中最优化。这些类别信息常常作为网络权重存储在神经网络特定的层中，参与训练与推理。类别数越多，所需的权重也就越多，这些层的训练与推理也就越慢。或者每次使用限定类别数的样本对神经网络分步训练。
[0003]采用固定类别数目的方法(如softmax loss)训练神经网络时，如果类别过多(如数百万类)，在含有类别信息这一层会占用大量计算、存储资源，有时甚至会由于需求资源过多而无法训练。而不需要固定类别数目的方法(如triplet loss)往往收敛困难，需要较长的训练时间，且无法训练出类别权重。
[0004]针对上述问题，之前的申请201910538093.6解决了部分缺陷，但带了新的问题，即在训练过程中，若是每次使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类别信息对神经网络分步训练的方法，其特征在于，该方法包括：获取步骤，获取所述神经网络的初始权重数据，并将所述初始权重数据存储在一指定存储区中；选择步骤，从待训练的N个类别训练样本集合中选择n个未标记类别样本集合；训练步骤，使用所述选择n个未标记类别样本集合对所述神经网络进行迭代计算得到训练后的神经网络；更新步骤，将训练后神经网络模型的权重数据更新所述指定存储区中的初始权重数据；其中，N远大于n，n大于或等于2。2.根据权利要求1所述的方法，其特征在于，所述样本集合为图像样本集合、文本样本集合或语音样本集合。3.根据权利要求2所述的方法，其特征在于，所述选择步骤的操作为：从待训练的N个类别训练样本集合中的所有未标记的类别训练样本集合中随机选取一个类别训练样本集合，然后在其余的未标记的类别训练样本集合中选取与选定的类别训练样本集合相似度最近的n
‑
1个类别训练样本集合，然后标记所述n个类别训练样本集合，并将所述n个类别训练样本集合中的样本乱序排列。4.根据权利要求3所述的方法，其特征在于，如果N个类别训练样本集合中的所有类别均被标记，则将所有标记重置为未标记。5.根据权利要求4所述的方法，其特征在于，所述更新步骤的操作为：所述初始权重数据按照所述神经网络的层存储在所述指定存储区中，获取训练后神经网络模型的权重数据，确定变化超过第一阈值的权重数据及对应的神经网络的层，基于变化超过第一阈值的权重数据及对应的神经网络的层更新所述指定存储区中的初始权重数据。6.一种基于类别信息对神经网络分步训练的装置，其特...

【专利技术属性】
技术研发人员：袁泉，陈子沣，魏超，朱海勇，齐战胜，李铭，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：