本申请提供一种模型训练方法、装置及计算机存储介质，包括利用教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征；根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本；利用学生模型针对每一个训练样本执行特征提取，获取每一个训练样本的学生特征；根据每一个训练样本的学生特征、每一个训练样本的难样本，训练所述学生模型。据此，本申请可提供较佳的模型训练效果，并提升模型预测精度。并提升模型预测精度。并提升模型预测精度。
【技术实现步骤摘要】
模型训练方法、装置及计算机存储介质
[0001]本申请实施例涉及人工智能
，特别涉及一种模型训练方法、装置及计算机存储介质。
技术介绍
[0002]模型蒸馏目前作为人脸识别任务中主流的训练方法，特别是针对参数量少的小模型，具有收敛快、性能高的优点。
[0003]目前主流的人脸识别蒸馏方法主要包括，预先训练一个教师模型以固定模型参数，并在蒸馏阶段，利用训练好的教师模型进行特征提取，并由学生模型针对同一张图片样本进行特征提取，再使用欧式距离度量方式，计算教师模型和学生模型各自提取的特征之间的距离，借以提供学生模型学习教师模型中的知识，从而实现学生模型的训练。
[0004]然而，由于轻量型的学生模型具有参数量低的特点，往往无法学习到教师模型的所有知识。特别是针对教师模型都容易犯错的难样本，学生模型误识的概率会大幅提升。
[0005]另外，仅仅通过回归任务蒸馏获得的学生模型，没有类别的概念，此容易造成学习过程中，无法保证同一类别内的距离足够小，且不同类别间的距离足够大的训练需求，无法充分挖掘出识别模型的性能。
[0006]有鉴于此，需要一种改进的模型训练方案，以克服现有技术中存在的种种问题。
技术实现思路
[0007]鉴于上述问题，本申请提供一种模型训练方法、装置及计算机存储介质，可提升模型训练效果，并提高模型预测精度。
[0008]本申请第一方面提供一种模型训练方法，包括：利用教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征；根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本；利用每一个训练样本、每一个训练样本的难样本，训练所述学生模型。
[0009]本申请第二方面提供一种模型训练装置，包括：难样本确定模块，用于利用教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征，并根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本；训练模块，用于利用每一个训练样本、每一个训练样本的难样本，训练所述学生模型。
[0010]本申请第三方面提供一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行上述方面所述的方法中各步骤的各指令。
[0011]综上所述，本申请各方面提供的模型训练方案，利用教师模型挖掘出各训练样本对应的难样本，以供学生模型基于难样本执行模型优化训练，不仅可提升模型训练效果，并可提升模型预测结果的准确性和可靠性。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0013]图1为本申请示例性实施例的模型训练方法的处理流程图。
[0014]图2为本申请另一示例性实施例的模型训练方法的处理流程图。
[0015]图3为本申请另一示例性实施例的模型训练方法的处理流程图。
[0016]图4为本申请另一示例性实施例的模型训练方法的处理流程图。
[0017]图5为本申请示例性实施例的模型训练装置的结构框图。
具体实施方式
[0018]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0019]以下将结合各附图详细描述本申请的各具体实施例。
[0020]图1为本申请示例性实施例的模型训练方法的处理流程图。如图所示，本实施例主要包括以下步骤：
[0021]步骤S102，利用教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征。
[0022]可选地，教师模型可包括具有图像识别能力的检测模型。例如，人脸识别模型、对象识别模型等。
[0023]可选地，可预先针对教师模型进行训练，以固定教师模型的模型参数(例如权重参数等)，并利用训练好的教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征。
[0024]步骤S104，根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本。
[0025]可选地，可根据当前样本的真实标签，获取与当前样本具有同一类别的各训练样本，并进行相似度计算，以将相似度值最低的一个或多个样本确定为当前样本的正例难样本。
[0026]可选地，可根据当前样本的真实标签，获取与当前样本具有不同类别的各训练样本，并进行相似度计算，以将相似度值最高的一个或多个样本确定为当前样本的负例难样本。
[0027]步骤S106，利用每一个训练样本、每一个训练样本的难样本，训练学生模型。
[0028]可选地，学生模型与教师模型具有相同的图像识别能力。
[0029]可选地，可根据每一个训练样本的学生特征、每一个训练样本的正例难样本、负例难样本，分别执行度量学习和强化学习，以训练学生模型。
[0030]综上所述，本实施例的模型训练方法，利用教师模型挖掘出每一个训练样本的难
样本，以供学生模型基于每一个训练样本的难样本执行有针对性的训练，可以提高学生模型的训练效果，并提升学生模型预测结果的准确性与可靠性，尤其适用于轻量级模型的训练。
[0031]图2为本申请另一示例性实施例的模型训练方法的处理流程图。本实施例为上述步骤S104的具体实施方案，如图所示，本实施例主要包括以下步骤：
[0032]步骤S202，将训练集中的一个训练样本确定为当前样本。
[0033]具体地，可依次获取训练集中的一个训练样本，以作为当前样本。
[0034]步骤S204，根据每一个训练样本的真实标签，从训练集中获取与当前样本具有相同真实标签的所有训练样本，以作为正例候选样本，并从训练集中获取与当前样本具有不同真实标签的所有训练样本，以作为负例候选样本。
[0035]具体地，可根据当前样本的真实标签(例如，张三)，从训练集中获取真实标签为“张三”的所有训练样本，以将其作为当前样本的正例候选样本，并将训练集中真实标签不是“张三”的所有训练样本，作为当前样本的负例候选样本。
[0036]步骤S206，根据当前样本的教师特征与每一个正例候选样本的教师特征执行相似度计算，以从各正例候选样本中确定当前样本的至少一个正例难样本，并根据当前样本的教师特征与每一个负例候选样本的教师特征执行相似度计算，以从各负例候选样本中确定当前样本的至少一个负例难样本。
[0037]可选地，可根据当前样本的教师特征与每一个正例候选样本的教师特征执行相似度计算，获得每一个正例候选样本的相似度值，并将相似度值低于预设低阈值的正例候选样本确定为正例难样本。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，包括：利用教师模型针对每一个训练样本执行特征提取，获得每一个训练样本的教师特征；根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本；利用每一个训练样本、每一个训练样本的难样本，训练所述学生模型。2.根据权利要求1所述的方法，其中，所述根据每一个训练样本的教师特征和真实标签，确定每一个训练样本的难样本，包括：将训练集中的一个训练样本确定为当前样本；根据每一个训练样本的真实标签，从所述训练集中获取与所述当前样本具有相同真实标签的所有训练样本，以作为正例候选样本，并从所述训练集中获取与所述当前样本具有不同真实标签的所有训练样本，以作为负例候选样本；根据所述当前样本的教师特征与每一个正例候选样本的教师特征执行相似度计算，以从各正例候选样本中确定所述当前样本的至少一个正例难样本，并根据所述当前样本的教师特征与每一个负例候选样本的教师特征执行相似度计算，以从各负例候选样本中确定所述当前样本的至少一个负例难样本。3.根据权利要求2所述的方法，其中，所述根据所述当前样本的教师特征与每一个正例候选样本的教师特征执行相似度计算，以从各正例候选样本中确定至少一个正例难样本，包括：根据所述当前样本的教师特征与每一个正例候选样本的教师特征执行相似度计算，获得每一个正例候选样本的相似度值，并将相似度值低于预设低阈值的正例候选样本确定为正例难样本；所述根据所述当前样本的教师特征与每一个负例候选样本的教师特征执行相似度计算，以从各负例候选样本中确定至少一个负例难样本，包括：根据所述当前样本的教师特征与每一个负例候选样本的教师特征执行相似度计算，获得每一个负例候选样本的相似度值，并将相似度值高于预设高阈值的负例候选样本确定为负例难样本。4.根据权利要求2中任一项所述的方法，其中，所述利用每一个训练样本、每一个训练样本的难样本，训练所述学生模型，包括：根据每一个训练样本、每一个训练样本的正例难样本、负例难样本，分别执行度量学习和强化学习，以训练所述学生模型。5.根据权利要求4所述的方法，其中，所述根据每一个训练样本的学生特征、所述每一个训练样本的正例难样本、负例难样本，执行度量学习，包括：三元组构建步骤，根据所述每一个训练样本的正例难样本、负例难样本，构建每一个训练样本的三元组；损失计算步骤，根据每一个训练样本的三元组，确定度量损失函数；基于所述度量损失函数，优化所述学生模型，并基于优化后的学生模型返回执行所述损失计算步骤，直至所述度量损失函数满足预设...
【专利技术属性】
技术研发人员：王曦，蹇易，
申请(专利权)人：江苏云从曦和人工智能有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。