学生模型的训练方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种学生模型的训练方法、装置及电子设备，涉及人工智能领域，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，该方法包括：获取训练样本的候选样本区域；分别通过学生模型和教师模型对训练样本的候选样本区域进行特征提取，得到学生模型提取出的第一特征和教师模型提取出的第二特征；获取第一特征的置信度；根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失；基于蒸馏损失更新学生模型的参数。本发明专利技术可以使学生模型能够针对不同样本进行不同程度的参数更新，使训练好的学生模型具有更优秀的性能，从而提升物体检测效果。

【技术实现步骤摘要】
学生模型的训练方法、装置及电子设备
本专利技术涉及人工智能领域，尤其是涉及一种学生模型的训练方法、装置及电子设备。
技术介绍
知识蒸馏是一种模型压缩常见方法，在教师-学生框架中，将复杂、学习能力强的教师模型学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生网络。由于物体检测的知识蒸馏中样本数量通常较大，而样本质量却参差不及，诸如样本中可能包括脏样本或过难样本，如果一味要求学生模型在所有样本上进行模仿，会严重影响学生模型的性能，学生模型在训练过程中的蒸馏效果较差，从而导致学生模型在物体检测时的检测效果不佳。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种学生模型的训练方法、装置及电子设备，使得学生模型能够针对不同样本进行不同程度的参数更新，使训练好的学生模型具有更优秀的性能，从而提升物体检测效果。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种学生模型的训练方法，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，方本文档来自技高网...

【技术保护点】
1.一种学生模型的训练方法，其特征在于，所述学生模型通过知识蒸馏方式向已训练好的教师模型学习，所述学生模型和所述教师模型均为物体检测模型，所述方法包括：/n获取训练样本的候选样本区域；/n分别通过所述学生模型和所述教师模型对所述训练样本的候选样本区域进行特征提取，得到所述学生模型提取出的第一特征和所述教师模型提取出的第二特征；/n获取所述第一特征的置信度；/n根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失；/n基于所述蒸馏损失更新所述学生模型的参数。/n

【技术特征摘要】
1.一种学生模型的训练方法，其特征在于，所述学生模型通过知识蒸馏方式向已训练好的教师模型学习，所述学生模型和所述教师模型均为物体检测模型，所述方法包括：
获取训练样本的候选样本区域；
分别通过所述学生模型和所述教师模型对所述训练样本的候选样本区域进行特征提取，得到所述学生模型提取出的第一特征和所述教师模型提取出的第二特征；
获取所述第一特征的置信度；
根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失；
基于所述蒸馏损失更新所述学生模型的参数。


2.根据权利要求1所述的方法，其特征在于，获取所述第一特征的置信度的步骤，包括：
将所述第一特征输入至方差生成网络中，得到所述方差生成网络输出的所述第一特征的方差，通过所述方差表征所述第一特征的置信度；其中，所述方差生成网络包括卷积层和/或全连接层，且所述方差与所述置信度呈负相关。


3.根据权利要求2所述的方法，其特征在于，根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失的步骤，包括：
按照如下公式确定所述学生模型和所述教师模型之间的蒸馏损失：



其中，d为特征维度，N为样本数量；为所述第一特征；为所述第二特征；为所述方差。


4.根据权利要求1所述的方法，其特征在于，基于所述蒸馏损失更新所述学生模型的参数的步骤，包括：
获取所述学生模型执行物体检测任务的任务损失；
根据所述任务损失和所述蒸馏损失更新所述学生模型的参数。


5.根据权利要求1所述的方法，其特征在于，所述获...

【专利技术属性】
技术研发人员：曾凡高，张有才，危夷晨，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11