基于区域分组与内部关联融合的人脸表情识别方法及系统技术方案

本公开提供了一种基于区域分组与内部关联融合的人脸表情识别方法及系统，所述方案基于人脸在自然条件下会受到不可预测的遮挡，对于有自然遮挡的正面人脸，无遮挡面部表情识别方法的识别效果较差的问题；通过提出的内在关联融合的卷积神经网络(Interrelated Fusion CNN，IRF‑CNN)，从局部区域、上下文、整体图像三个语义维度获取关键辨识度特征，并通过基于统计指标的类池化单元根据面片的关键程度合理分组，进一步聚焦面片局部与全局间的独立性以及互补性信息，有效提高了人脸表情识别的准确度。

【技术实现步骤摘要】
基于区域分组与内部关联融合的人脸表情识别方法及系统
本公开属于人脸表情识别
，尤其涉及一种基于区域分组与内部关联融合的人脸表情识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。近年来，面部表情识别技术因其不仅能反映交易者的情绪状态，而且能包含交互者丰富的意图信息，因此受到越来越广泛的关注。它在人机交互、驾驶员疲劳监测、测谎、监控、娱乐机器人等方面具有一定的潜在应用前景。尽管标准正面无遮挡的面部表情识别取得了良好的效果。但是，专利技术人发现，在现实世界中，人脸在自然条件下会受到不可预测的遮挡。面部遮挡可能是由头部姿势变化、光照、口罩、眼镜等引起的。对于有自然遮挡的正面人脸，无遮挡面部表情识别方法的识别效果较差。因此无限制遮挡下的面部表情识别仍然是一个挑战。
技术实现思路
本公开为了解决上述问题，提供了基于区域分组与内部关联融合的人脸表情识别方法及系统，所述方案提出一种内在关联融合的卷积神经网络来实现遮挡人脸图像多语义表情特征的提取与融合，进而提高了面部遮挡本文档来自技高网...

【技术保护点】
1.基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，包括：/n获取待识别的人脸表情图像，并进行预处理；/n构建内在关联融合的卷积神经网络模型，并利用预训练的卷积神经网络模型对所述人脸表情图像进行表情识别，输出表情识别结果；/n其中，所述卷积神经网络模型包括部分遮挡预处理模块、面片分组模块及内在关联推理融合模块，其中，所述部分遮挡预处理模块以人脸表情图像原图作为全局参考，进行局部面片的分割与再生成；所述面片分组模块利用自注意力机制分组时，引入平均数、中位数、中程数三种指标进行池化得到新的融合指标作为分类依据；所述内在关联推理融合模块从面片之间的内部关联出发，构造两种不同的面片组间关系。...

【技术特征摘要】
1.基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，包括：
获取待识别的人脸表情图像，并进行预处理；
构建内在关联融合的卷积神经网络模型，并利用预训练的卷积神经网络模型对所述人脸表情图像进行表情识别，输出表情识别结果；
其中，所述卷积神经网络模型包括部分遮挡预处理模块、面片分组模块及内在关联推理融合模块，其中，所述部分遮挡预处理模块以人脸表情图像原图作为全局参考，进行局部面片的分割与再生成；所述面片分组模块利用自注意力机制分组时，引入平均数、中位数、中程数三种指标进行池化得到新的融合指标作为分类依据；所述内在关联推理融合模块从面片之间的内部关联出发，构造两种不同的面片组间关系。


2.如权利要求1所述的基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，所述部分遮挡预处理模块选择表情过程中变化频率最高的四个人脸关键区域作为待提取的目标局部区域，分别为：左眉眼、右眉眼、眉间鼻根部以及嘴部，通过将左右眉眼分离作为两种局部区域，有效应对在面对自然状态下因未知遮挡而造成的一侧眉眼不可见的情况。


3.如权利要求1所述的基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，所述面片分组模块引入了多重统计学指标以及类池化方法生成具有代表性的融合均值作为高、低权值组的分组依据。


4.如权利要求1所述的基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，所述内在关联推理融合模块，将帧全局特征推广为组内全局特征，并将高、低权值的面片组局部与全局之间的内部关系显式化。


5.如权利要求4所述的基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，所述将帧全局特征推广为组内全局特征，并将高、低权值的面片组局部与全局之间的内部关系显式化，具体为：考虑异组间的互补关系以及同组间的强化关系，其共对应三个关系分支，分别为：高局部特征与低全局特征的互补关系、低局部特征与高全局特征的互补关系以及高局部特征与高全局特征的强化关系。


6.如权利要求5所述的基于区域分组与内部关联融合的人脸表情识别方法，其特征在于，所述三个关系分支的提取采用...

【专利技术属性】
技术研发人员：马昕，澹台姝昱，宋锐，荣学文，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37