人脸表情识别方法、模型训练方法、相关装置及电子设备制造方法及图纸

本发明专利技术提供一种人脸表情识别方法、模型训练方法、相关装置及电子设备。该方法包括：获取目标对象的第一人脸图像；对第一人脸图像进行处理，得到K个第一目标人脸图像；将N个第二人脸图像输入至目标模型执行第一检测操作，N个第二人脸图像包括第一人脸图像和K个第一目标人脸图像；第一检测操作包括：针对每个第一目标人脸图像，基于第一神经网络对第一目标人脸图像进行局部特征提取，得到第一特征；基于第二神经网络对第一人脸图像进行全局特征提取，得到第二特征；对第一特征和第二特征进行融合，得到第一目标特征，基于第一目标特征进行表情识别，得到目标对象的第一表情识别结果。本发明专利技术实施例能够提高人脸表情识别的准确性。本发明专利技术实施例能够提高人脸表情识别的准确性。本发明专利技术实施例能够提高人脸表情识别的准确性。

【技术实现步骤摘要】
人脸表情识别方法、模型训练方法、相关装置及电子设备


[0001]本专利技术实施例涉及图像识别
，尤其涉及一种人脸表情识别方法、模型训练方法、相关装置及电子设备。

技术介绍

[0002]随着人工智能技术的高速发展，人脸表情识别技术得到了广泛的应用。人脸表情识别技术是指采集用户的人脸图像，并利用计算机自动地对该人脸图像进行表情的识别，其在客服服务质检、驾驶员疲劳检测和疾病诊断等多个领域都有很好的应用前景。
[0003]目前，人脸表情识别技术通常包括特征提取过程，特征提取方式可以采用卷积神经网络(Convolutional Neural Network，CNN)，具体通过CNN对人脸图像进行特征提取，之后可以基于CNN提取的图像特征进行表情识别。
[0004]然而，CNN提取的图像特征通常为全局特征，其提取的图像中有用信息的针对性比较差，导致表情识别的准确性比较低。

技术实现思路

[0005]本专利技术实施例提供一种人脸表情识别方法、模型训练方法、相关装置及电子设备，以解决现有技术中人脸表情识别的准确性比较低的问题。
[0006]第一方面，本专利技术实施例提供一种人脸表情识别方法，所述方法包括：
[0007]获取目标对象的第一人脸图像；
[0008]对所述第一人脸图像进行处理，得到K个第一目标人脸图像，所述第一目标人脸图像包括所述第一人脸图像中所述目标对象的部分人脸图像数据，K为大于1的整数；
[0009]将N个第二人脸图像输入至目标模型执行第一检测操作，所述N个第二人脸图像包括所述第一人脸图像和所述K个第一目标人脸图像，所述目标模型包括第一神经网络和第二神经网络，N为大于K的整数；
[0010]其中，所述第一检测操作包括：针对每个第一目标人脸图像，基于所述第一神经网络对所述第一目标人脸图像进行局部特征提取，得到所述第一目标人脸图像的第一特征；基于所述第二神经网络对所述第一人脸图像进行全局特征提取，得到所述第一人脸图像的第二特征；对所述第一特征和第二特征进行融合，得到第一目标特征，基于所述第一目标特征进行表情识别，得到所述目标对象的第一表情识别结果。
[0011]第二方面，本专利技术实施例提供一种模型训练方法，所述方法包括：
[0012]获取训练样本集，所述训练样本集包括训练对象的第三人脸图像和所述第三人脸图像中所述训练对象的表情标签；
[0013]对所述第三人脸图像进行处理，得到L个第三目标人脸图像，所述第三目标人脸图像包括所述第三人脸图像中所述训练对象的部分人脸图像数据；
[0014]将P个第四人脸图像输入至目标模型执行第二检测操作，所述P个第四人脸图像包括所述第三人脸图像和所述L个第三目标人脸图像，所述目标模型包括第一神经网络和第
二神经网络；其中，所述第二检测操作包括：针对每个第三目标人脸图像，基于所述第一神经网络对所述第三目标人脸图像进行局部特征提取，得到所述第三目标人脸图像的第三特征；基于所述第二神经网络对所述第三人脸图像进行全局特征提取，得到所述第三人脸图像的第四特征；对所述第三特征和第四特征进行融合，得到第二目标特征，基于所述第二目标特征进行表情识别，得到所述训练对象的第二表情识别结果，P为大于L的整数；
[0015]确定所述第二表情识别结果和表情标签的差异信息；
[0016]基于所述差异信息更新所述目标模型的参数。
[0017]第三方面，本专利技术实施例提供一种人脸表情识别装置，所述装置包括：
[0018]第一获取模块，用于获取目标对象的第一人脸图像；
[0019]第一处理模块，用于对所述第一人脸图像进行处理，得到K个第一目标人脸图像，所述第一目标人脸图像包括所述第一人脸图像中所述目标对象的部分人脸图像数据，K为大于1的整数；
[0020]第一检测模块，用于将N个第二人脸图像输入至目标模型执行第一检测操作，所述N个第二人脸图像包括所述第一人脸图像和所述K个第一目标人脸图像，所述目标模型包括第一神经网络和第二神经网络，N为大于K的整数；
[0021]其中，所述第一检测操作包括：针对每个第一目标人脸图像，基于所述第一神经网络对所述第一目标人脸图像进行局部特征提取，得到所述第一目标人脸图像的第一特征；基于所述第二神经网络对所述第一人脸图像进行全局特征提取，得到所述第一人脸图像的第二特征；对所述第一特征和第二特征进行融合，得到第一目标特征，基于所述第一目标特征进行表情识别，得到所述目标对象的第一表情识别结果。
[0022]第四方面，本专利技术实施例提供一种模型训练装置，所述装置包括：
[0023]第二获取模块，用于获取训练样本集，所述训练样本集包括训练对象的第三人脸图像和所述第三人脸图像中所述训练对象的表情标签；
[0024]第二处理模块，用于对所述第三人脸图像进行处理，得到L个第三目标人脸图像，所述第三目标人脸图像包括所述第三人脸图像中所述训练对象的部分人脸图像数据；
[0025]第二检测模块，用于将P个第四人脸图像输入至目标模型执行第二检测操作，所述P个第四人脸图像包括所述第三人脸图像和所述L个第三目标人脸图像，所述目标模型包括第一神经网络和第二神经网络；其中，所述第二检测操作包括：针对每个第三目标人脸图像，基于所述第一神经网络对所述第三目标人脸图像进行局部特征提取，得到所述第三目标人脸图像的第三特征；基于所述第二神经网络对所述第三人脸图像进行全局特征提取，得到所述第三人脸图像的第四特征；对所述第三特征和第四特征进行融合，得到第二目标特征，基于所述第二目标特征进行表情识别，得到所述训练对象的第二表情识别结果，P为大于L的整数；
[0026]确定模块，用于确定所述第二表情识别结果和表情标签的差异信息；
[0027]更新模块，用于基于所述差异信息更新所述目标模型的参数。
[0028]第五方面，本专利技术实施例提供一种电子设备，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述人脸表情识别方法的步骤，或者实现上述模型训练方法的步骤。
[0029]第六方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介
质上存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸表情识别方法的步骤，或者实现上述模型训练方法的步骤。
[0030]本专利技术实施例中，通过获取目标对象的第一人脸图像；对第一人脸图像进行裁剪处理，得到K个第一目标人脸图像；将N个第二人脸图像输入至目标模型执行第一检测操作，N个第二人脸图像包括第一人脸图像和K个第一目标人脸图像，所述目标模型包括第一神经网络和第二神经网络；第一检测操作包括：针对每个第一目标人脸图像，基于第一神经网络对第一目标人脸图像进行局部特征提取，得到第一特征；基于第二神经网络对第一人脸图像进行全局特征提取，得到第二特征；对第一特征和第二特征进行融合，得到第一目标特征，基于第一目标特征进行表情识别，得到目标对象的第一表情识别结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸表情识别方法，其特征在于，所述方法包括：获取目标对象的第一人脸图像；对所述第一人脸图像进行处理，得到K个第一目标人脸图像，所述第一目标人脸图像包括所述第一人脸图像中所述目标对象的部分人脸图像数据，K为大于1的整数；将N个第二人脸图像输入至目标模型执行第一检测操作，所述N个第二人脸图像包括所述第一人脸图像和所述K个第一目标人脸图像，所述目标模型包括第一神经网络和第二神经网络，N为大于K的整数；其中，所述第一检测操作包括：针对每个第一目标人脸图像，基于所述第一神经网络对所述第一目标人脸图像进行局部特征提取，得到所述第一目标人脸图像的第一特征；基于所述第二神经网络对所述第一人脸图像进行全局特征提取，得到所述第一人脸图像的第二特征；对所述第一特征和第二特征进行融合，得到第一目标特征，基于所述第一目标特征进行表情识别，得到所述目标对象的第一表情识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述第一人脸图像进行处理，得到K个第一目标人脸图像，包括：对所述第一人脸图像进行裁剪处理，得到K个第二目标人脸图像，所述第二目标人脸图像包括所述第一人脸图像中所述目标对象的部分人脸图像数据；对每个第二目标人脸图像按照所述第一人脸图像的图像尺寸进行尺寸调整，得到所述K个第一目标人脸图像。3.一种模型训练方法，其特征在于，所述方法包括：获取训练样本集，所述训练样本集包括训练对象的第三人脸图像和所述第三人脸图像中所述训练对象的表情标签；对所述第三人脸图像进行处理，得到L个第三目标人脸图像，所述第三目标人脸图像包括所述第三人脸图像中所述训练对象的部分人脸图像数据，L为大于1的整数；将P个第四人脸图像输入至目标模型执行第二检测操作，所述P个第四人脸图像包括所述第三人脸图像和所述L个第三目标人脸图像，所述目标模型包括第一神经网络和第二神经网络；其中，所述第二检测操作包括：针对每个第三目标人脸图像，基于所述第一神经网络对所述第三目标人脸图像进行局部特征提取，得到所述第三目标人脸图像的第三特征；基于所述第二神经网络对所述第三人脸图像进行全局特征提取，得到所述第三人脸图像的第四特征；对所述第三特征和第四特征进行融合，得到第二目标特征，基于所述第二目标特征进行表情识别，得到所述训练对象的第二表情识别结果，P为大于L的整数；确定所述第二表情识别结果和表情标签的差异信息；基于所述差异信息更新所述目标模型的参数。4.根据权利要求3所述的方法，其特征在于，所述对所述第三人脸图像进行处理，得到L个第三目标人脸图像，包括：对所述第三人脸图像进行裁剪处理，得到L个第四目标人脸图像，所述第四目标人脸图像包括所述第三人脸图像中所述训练对象的部分人脸图像数据；对每个第四目标人脸图像按照所述第三人脸图像的图像尺寸进行尺寸调整，得到所述L个第四目标人脸图像。5.根据权利要求3所述的方法，其特征在于，所述获取训练样本集，包括：
获取第一训练样本集和第二训练样本集，所述第一训练样本集包括第一训练对象的第三人脸图像和所述第三人脸图像中所述第一训练对象的表情标签，所述第二训练样本集包括第二训练对象的第三人脸图像，所述训练样本集包括所述第一训练样本集和第二训练样本集；基于所述第一训练样本集对表情预测模型进行训练；将所述第二训练对象的第三人脸图像输入至训练好的所述表情预测模型进行表情预测，得到所述第二训练对象的第三人脸图像对应的H个预设表情的概率值，H为大于1的整数；基于所述H个预设表情的概率值，确定所述第二...

【专利技术属性】
技术研发人员：赵京霞，谢迎，
申请(专利权)人：中移智行网络科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：