表情识别模型训练方法、表情识别方法、相关装置及介质制造方法及图纸

本说明书实施例公开了一种表情识别模型训练方法、表情识别方法、相关装置及介质。其中，该表情识别模型训练方法包括：获取第一样本数据集和第二样本数据集，上述第一样本数据集包括多张源域有表情标签的第一样本图像，上述第二样本数据集包括多张目标域无表情标签的第二样本图像；基于第一样本数据集确定第一配对样本数据集，上述第一配对样本数据集包括至少一组第一配对样本数据，第一配对样本数据包括第一样本数据集中的至少两张第一样本图像；基于第一样本数据集、第一配对样本数据集以及第二样本数据集训练表情识别模型。以及第二样本数据集训练表情识别模型。以及第二样本数据集训练表情识别模型。

【技术实现步骤摘要】
表情识别模型训练方法、表情识别方法、相关装置及介质


[0001]本说明书涉及计算机
，尤其涉及一种表情识别模型训练方法、表情识别方法、相关装置及介质。

技术介绍

[0002]人脸表情识别是一种通过静态图像或者视频序列实现对人脸上高兴、吃惊、悲伤、愤怒、厌恶、恐惧、中性等各种表情进行识别的技术，可以使计算机更好地理解人的情绪情感，从而更好地成为智能助手，达到更好的人机交互。
[0003]目前，主要先通过人工标注的脸部图像集对表情识别模型进行训练，然后再利用训练好的表情识别模型基于用户的脸部图像实现表情识别。

技术实现思路

[0004]本说明书实施例提供了一种表情识别模型训练方法、表情识别方法、相关装置及介质，通过第一配对样本数据集让表情识别模型进行对比学习训练，提高表情识别模型对模糊的表情类别进行识别地鲁棒性。上述技术方案如下：
[0005]第一方面，本说明书实施例提供了一种表情识别模型训练方法，包括：
[0006]获取第一样本数据集和第二样本数据集；上述第一样本数据集包括多张源域有表情标签的第一样本图像；上述第二样本数据集包括多张目标域无表情标签的第二样本图像；
[0007]基于上述第一样本数据集确定第一配对样本数据集；上述第一配对样本数据集包括至少一组第一配对样本数据；上述第一配对样本数据包括上述第一样本数据集中的至少两张第一样本图像；
[0008]基于上述第一样本数据集、上述第一配对样本数据集以及上述第二样本数据集训练表情识别模型。
[0009]在一种可能的实现方式中，上述基于上述第一样本数据集、上述第一配对样本数据集以及上述第二样本数据集训练表情识别模型，包括：
[0010]基于上述第一配对样本数据集确定表情识别模型的第一损失；
[0011]基于上述第一样本数据集和上述第二样本数据集确定上述表情识别模型的第二损失；
[0012]基于上述第一损失和上述第二损失训练上述表情识别模型。
[0013]在一种可能的实现方式中，上述表情识别模型包括主干网络、不确定度提取网络以及表情特征生成网络；
[0014]上述基于上述第一配对样本数据集确定表情识别模型的第一损失，包括：
[0015]利用上述主干网络提取上述第一配对样本数据中各第一样本图像的第一特征；
[0016]将上述第一配对样本数据中各第一样本图像的第一特征输入上述不确定度提取网络中，输出上述第一配对样本数据中各第一样本图像对应的不确定度向量；
[0017]将上述第一配对样本数据中各第一样本图像的第一特征输入上述表情特征生成网络中，输出上述第一配对样本数据中各第一样本图像对应的第一表情特征向量；
[0018]将上述不确定度向量与上述第一表情特征向量进行融合，得到上述第一配对样本数据对应的混合特征；
[0019]基于上述第一配对样本数据集中各第一配对样本数据对应的混合特征确定上述表情识别模型的第一损失。
[0020]在一种可能的实现方式中，上述基于上述第一配对样本数据集中各第一配对样本数据对应的混合特征确定上述表情识别模型的第一损失，包括：
[0021]基于上述第一配对样本数据集中各第一配对样本数据对应的混合特征预测上述第一配对样本数据集中各第一配对样本数据对应的混合表情概率；
[0022]基于上述混合表情概率以及上述第一配对样本数据中各第一样本图像对应的表情标签确定上述表情识别模型的第一损失。
[0023]在一种可能的实现方式中，上述基于上述第一样本数据集和上述第二样本数据集确定上述表情识别模型的第二损失，包括：
[0024]基于上述第一样本数据集确定上述表情识别模型的目标阈值集；
[0025]基于上述目标阈值集以及上述第二样本数据集确定上述表情识别模型的第二损失。
[0026]在一种可能的实现方式中，上述基于上述第一样本数据集确定上述表情识别模型的目标阈值集，包括：
[0027]利用上述主干网络提取上述第一样本数据集中各第一样本图像的第一特征；
[0028]将上述第一样本数据集中各第一样本图像的第一特征输入上述表情特征生成网络中，输出上述第一样本数据集中各第一样本图像对应的第一表情特征向量；
[0029]基于上述第一样本数据集中各第一样本图像对应的第一表情特征向量预测上述第一样本数据集中各第一样本图像对应的第一表情识别结果；
[0030]基于上述第一样本数据集中各第一样本图像对应的第一表情识别结果以及上述表情标签确定上述表情识别模型的目标阈值集。
[0031]在一种可能的实现方式中，上述基于上述目标阈值集以及上述第二样本数据集确定上述表情识别模型的第二损失，包括：
[0032]利用上述主干网络提取上述第二样本数据集中各第二样本图像的第二特征；
[0033]将上述第二样本数据集中各第二样本图像的第二特征输入上述表情特征生成网络中，输出上述第二样本数据集中各第二样本图像对应的第二表情特征向量；
[0034]基于上述第二样本数据集中各第二样本图像对应的第二表情特征向量预测上述第二样本数据集中各第二样本图像对应的第二表情识别结果；
[0035]基于上述表情识别模型的目标阈值集以及上述第二样本数据集中各第二样本图像对应的第二表情识别结果对上述第二样本数据集中的第二样本图像进行标注，得到上述目标域的样本训练数据集；
[0036]基于上述样本训练数据集确定上述表情识别模型的第二损失。
[0037]在一种可能的实现方式中，上述第二表情识别结果包括上述第二样本图像对应各表情类别的分类概率；上述目标阈值集包括至少一个表情类别对应的目标阈值；
[0038]上述基于上述表情识别模型的目标阈值集以及上述第二样本数据集中各第二样本图像对应的第二表情识别结果对上述第二样本数据集中的第二样本图像进行标注，得到上述目标域的样本训练数据集，包括：
[0039]基于上述第二样本数据集中各第二样本图像对应的第二表情识别结果以及上述目标阈值集确定上述第二样本数据集中的目标第二样本图像；上述目标第二样本图像用于表征最大分类概率大于上述最大分类概率对应表情类别的目标阈值的上述第二表情识别结果对应的第二样本图像；
[0040]基于上述第二样本数据集中的目标第二样本图像的最大分类概率对应的表情类别对上述第二样本数据集中的目标第二样本图像进行标注，得到上述目标域的样本训练数据集。
[0041]在一种可能的实现方式中，上述基于上述目标阈值集以及上述第二样本数据集确定上述表情识别模型的第二损失，包括：
[0042]将上述第二样本数据集中的第二样本图像进行第一变换，得到第一变换样本集；
[0043]将上述第二样本数据集中的第二样本图像进行第二变换，得到第二变换样本集；上述第二变换对上述第二样本图像的改变幅度大于上述第一变换对上述第二样本图像的改变幅度；
[0044]基于上述表情识别模型的目标阈值集以及上述第一变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别模型训练方法，所述方法包括：获取第一样本数据集和第二样本数据集；所述第一样本数据集包括多张源域有表情标签的第一样本图像；所述第二样本数据集包括多张目标域无表情标签的第二样本图像；基于所述第一样本数据集确定第一配对样本数据集；所述第一配对样本数据集包括至少一组第一配对样本数据；所述第一配对样本数据包括所述第一样本数据集中的至少两张第一样本图像；基于所述第一样本数据集、所述第一配对样本数据集以及所述第二样本数据集训练表情识别模型。2.如权利要求1所述的方法，所述基于所述第一样本数据集、所述第一配对样本数据集以及所述第二样本数据集训练表情识别模型，包括：基于所述第一配对样本数据集确定表情识别模型的第一损失；基于所述第一样本数据集和所述第二样本数据集确定所述表情识别模型的第二损失；基于所述第一损失和所述第二损失训练所述表情识别模型。3.如权利要求2所述的方法，所述表情识别模型包括主干网络、不确定度提取网络以及表情特征生成网络；所述基于所述第一配对样本数据集确定表情识别模型的第一损失，包括：利用所述主干网络提取所述第一配对样本数据中各第一样本图像的第一特征；将所述第一配对样本数据中各第一样本图像的第一特征输入所述不确定度提取网络中，输出所述第一配对样本数据中各第一样本图像对应的不确定度向量；将所述第一配对样本数据中各第一样本图像的第一特征输入所述表情特征生成网络中，输出所述第一配对样本数据中各第一样本图像对应的第一表情特征向量；将所述不确定度向量与所述第一表情特征向量进行融合，得到所述第一配对样本数据对应的混合特征；基于所述第一配对样本数据集中各第一配对样本数据对应的混合特征确定所述表情识别模型的第一损失。4.如权利要求3所述的方法，所述基于所述第一配对样本数据集中各第一配对样本数据对应的混合特征确定所述表情识别模型的第一损失，包括：基于所述第一配对样本数据集中各第一配对样本数据对应的混合特征预测所述第一配对样本数据集中各第一配对样本数据对应的混合表情概率；基于所述混合表情概率以及所述第一配对样本数据中各第一样本图像对应的表情标签确定所述表情识别模型的第一损失。5.如权利要求2或3所述的方法，所述基于所述第一样本数据集和所述第二样本数据集确定所述表情识别模型的第二损失，包括：基于所述第一样本数据集确定所述表情识别模型的目标阈值集；基于所述目标阈值集以及所述第二样本数据集确定所述表情识别模型的第二损失。6.如权利要求5所述的方法，所述基于所述第一样本数据集确定所述表情识别模型的目标阈值集，包括：利用所述主干网络提取所述第一样本数据集中各第一样本图像的第一特征；将所述第一样本数据集中各第一样本图像的第一特征输入所述表情特征生成网络中，
输出所述第一样本数据集中各第一样本图像对应的第一表情特征向量；基于所述第一样本数据集中各第一样本图像对应的第一表情特征向量预测所述第一样本数据集中各第一样本图像对应的第一表情识别结果；基于所述第一样本数据集中各第一样本图像对应的第一表情识别结果以及所述表情标签确定所述表情识别模型的目标阈值集。7.如权利要求5所述的方法，所述基于所述目标阈值集以及所述第二样本数据集确定所述表情识别模型的第二损失，包括：利用所述主干网络提取所述第二样本数据集中各第二样本图像的第二特征；将所述第二样本数据集中各第二样本图像的第二特征输入所述表情特征生成网络中，输出所述第二样本数据集中各第二样本图像对应的第二表情特征向量；基于所述第二样本数据集中各第二样本图像对应的第二表情特征向量预测所述第二样本数据集中各第二样本图像对应的第二表情识别结果；基于所述表情识别模型的目标阈值集以及所述第二样本数据集中各第二样本图像对应的第二表情识别结果对所述第二样本数据集中的第二样本图像...

【专利技术属性】
技术研发人员：尹英杰，丁菁汀，李亮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：