基于人脸关键点优化区域特征的视频面部表情识别方法、系统、装置、处理器及存储介质制造方法及图纸

本发明专利技术涉及一种基于人脸关键点优化区域特征的视频面部表情识别方法，包括：(1)采集视频人脸表情数据集，并对视频进行预处理操作；(2)构建CNN结构的空间特征提取模块和基于人脸关键点的特征提取模块，分别对采集的数据进行相关信息的提取；(3)对提取到的相关信息进行信息强化；(4)构建特征融合模块对一帧内的图像进行特征增强；(5)对提取到的相关信息解码处理并作出决策，并构建总体损失函数。本发明专利技术还涉及一种相应的系统、装置、处理器及其存储介质。采用了本发明专利技术的该基于人脸关键点优化区域特征的视频面部表情识别方法、系统、装置、处理器及其存储介质，更有效地利用人脸关键点特征，相较于基线模型，具有更好的表情识别效果。

【技术实现步骤摘要】

本专利技术涉及数字图像，尤其涉及计算机视觉，具体是指一种基于人脸关键点优化区域特征的视频面部表情识别方法、系统、装置、处理器及其计算机可读存储介质。

技术介绍

1、人脸表情识别(fer，facial expression recognition)是计算机理解人类情感的一个重要方向，也是人机交互的一个重要方面。人脸表情识别对于理解和改善人机交互、安全、机器人制造、自动化、医疗、通信和驾驶等领域有着广泛的应用价值和社会意义。随着计算机技术和深度学习技术的发展，以及大规模自然环境下自发式的表情数据集的开源，近年来，人脸表情识别取得了显著的进步，并成为学术界和工业界的研究热点。

2、随着深度卷积网络的不断发展，研究人员可以从大规模表情数据中挖掘出可用的信息，各种基于cnn的方法被应用于人脸表情。然而受制于表情的复合性、真实场景数据集的类别不平衡等问题，人脸表情识别仍然是一个艰巨的任务。比如：申请号为：cn202311049424.2的专利技术专利申请，其公开了在backbone的基础上添加了自注意力模块，增强了网络关注特定区域的特征提取能力，其设计重点本文档来自技高网...

【技术保护点】

1.一种基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(1)具体包括以下步骤：

3.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(2)具体包括以下步骤：

4.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(3)人脸关键点引导的图卷积模块包括以下步骤：

5.根据权利要求4所述的基于人脸关键点优化区域特征的视频面部表...

【技术特征摘要】

1.一种基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(1)具体包括以下步骤：

3.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(2)具体包括以下步骤：

4.根据权利要求1所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，所述的步骤(3)人脸关键点引导的图卷积模块包括以下步骤：

5.根据权利要求4所述的基于人脸关键点优化区域特征的视频面部表情识别方法，其特征在于，根据采样得到的人脸关键点将人脸划分为三个区域，依据划分的不同区域对(3.2)构建的人脸关键点引导的图卷积模块输出信息做特征融合操作，构建融合人脸关键点信息的空间特征信息vspatial，并以一组交叉熵损失函数约束该融合操作，如以下公式：

6.根据权利要求5所述的基于人脸关键点优化区域特征的视频面部表情识...

【专利技术属性】
技术研发人员：朱煜，黄志伟，叶炜韬，刘燕滨，叶炯耀，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：