模型训练方法、存储介质、电子设备和计算机程序产品技术

本申请实施例提供一种模型训练方法、存储介质、电子设备和计算机程序产品，该模型训练方法包括：将第一样本图像输入到第一学生模型中进行特征提取，获得第一查询样本特征；将第二样本图像输入到第一同构教师模型中进行特征提取，获得第一候选样本特征；将第一样本图像和第二样本图像输入到异构教师模型中进行特征提取，获得图像特征；其中，图像特征包括第二查询样本特征；确定第一查询样本特征和第一候选样本特征之间的第一样本特征关系；分别确定第二查询样本特征和异构教师模型记录的多个第二候选样本特征之间的第二样本特征关系；根据第一样本特征关系和第二样本特征关系，对第一学生模型进行训练。借助于上述技术方案，本申请实施例能够提升第一学生模型的性能。本申请实施例能够提升第一学生模型的性能。本申请实施例能够提升第一学生模型的性能。

【技术实现步骤摘要】
模型训练方法、存储介质、电子设备和计算机程序产品


[0001]本申请涉及人工智能领域，尤其涉及一种模型训练方法、存储介质、电子设备和计算机程序产品。

技术介绍

[0002]知识蒸馏是一种模型压缩常见方法，在学生教师的框架中，通过将复杂、学习能力强的教师模型学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生网络。
[0003]目前，现有的学生模型的训练方法往往依赖于同构教师模型提供的历史知识。然而，由于同构教师模型提供的知识是有限的，使得训练后的学生模型的性能不佳。

技术实现思路

[0004]本申请实施例的目的在于提供一种模型训练方法、存储介质、电子设备和计算机程序产品，以能够提升第一学生模型的性能。
[0005]第一方面，本申请实施例提供了一种模型训练方法，该模型训练方法包括：获取第一样本图像和第二样本图像；其中，第一样本图像和第二样本图像是通过对同一张图像采用不同的数据增强方式获得的两张图像；将第一样本图像输入到第一学生模型中进行特征提取，获得第一学生模型输出的第一查询样本特征；将第二样本图像输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第一样本图像和第二样本图像；其中，所述第一样本图像和所述第二样本图像是通过对同一张图像采用不同的数据增强方式获得的两张图像；将所述第一样本图像输入到第一学生模型中进行特征提取，获得所述第一学生模型输出的第一查询样本特征；将所述第二样本图像输入到第一同构教师模型中进行特征提取，获得所述第一同构教师模型输出的第一候选样本特征；将所述第一样本图像和所述第二样本图像输入到异构教师模型中进行特征提取，获得所述异构教师模型输出的图像特征；其中，所述图像特征包括第二查询样本特征；确定所述第一查询样本特征和所述第一候选样本特征之间的第一样本特征关系；分别确定所述第二查询样本特征和所述异构教师模型记录的多个第二候选样本特征之间的第二样本特征关系；根据所述第一样本特征关系和所述第二样本特征关系，对所述第一学生模型进行训练。2.根据权利要求1所述的模型训练方法，其特征在于，所述异构教师模型包括第二学生模型和第二同构教师模型，所述图像特征还包括第二候选样本特征；其中，所述将所述第一样本图像和所述第二样本图像输入到异构教师模型中进行特征提取，获得所述异构教师模型输出的图像特征，包括：将所述第一样本图像输入到所述第二学生模型中进行特征提取，获得所述第二学生模型输出的第二查询样本特征；以及，将所述第二样本图像输入到所述第二同构教师模型中进行特征提取，获得所述第二同构教师模型输出的第二候选样本特征；其中，所述异构教师模型记录的多个第二候选样本特征包括所述第二同构教师模型当前输出的所述第二候选样本特征和之前至少一次输出的至少一个第二候选样本特征。3.根据权利要求2所述的模型训练方法，其特征在于，所述分别确定所述第二查询样本特征和所述异构教师模型记录的多个第二候选样本特征之间的第二样本特征关系，包括：分别确定所述第二查询样本特征与每个第二候选样本特征是否属于同一类别；若属于同一类别，则确定所述第二查询样本特征与所述每个第二候选样本特征之间的第二样本特征关系为正样本关系；若属于不同类别，则确定所述第二查询样本特征与每个第二候选样本特征之间的第二样本特征关系为负样本关系。4.根据权利要求3所述的模型训练方法，其特征在于，所述分别确定所述第二查询样本特征与每个第二候选样本特征是否属于同一类别，包括：获取多个聚类中心；将所述第二查询样本特征和所述多个聚类中心...

【专利技术属性】
技术研发人员：郑凯，王远江，袁野，
申请(专利权)人：北京迈格威科技有限公司深圳旷视金智科技有限公司，
类型：发明
国别省市：