自然场景中静态面部表情识别方法、装置、介质及设备制造方法及图纸

本发明专利技术提供了一种自然场景中静态面部表情识别方法、装置、介质及设备；其中方法包括依次执行的预处理工序、全局特征提取工序、局部特征提取工序以及特征融合工序；预处理工序用于去除图片中自然场景的背景，只保留人脸区域；全局特征提取工序是指采用卷积神经网络提取预处理工序后的整张图片的特征，并转化为特征向量；局部特征提取工序是指通过目标检测方法提取图片最有信息量的局部区域，并转化为特征向量；特征融合工序是指将全局特征提取工序所提取的特征向量与局部特征提取工序所提取的特征向量整合成特征矩阵，然后经过全连接层和softmax，得到面部表情概率。本发明专利技术面部表情识别准确率高，识别效率高，具有良好的识别效果。

Static facial expression recognition method, device, medium and equipment in natural scene

【技术实现步骤摘要】
自然场景中静态面部表情识别方法、装置、介质及设备
本专利技术涉及计算机视觉
，更具体地说，涉及一种自然场景中静态面部表情识别方法、装置、介质及设备。
技术介绍
随着人工智能技术的发展，面部表情识别的应用引起广泛关注，例如：疲劳驾驶、生活娱乐、刑事侦查、医疗诊断、虚拟现实以及智慧教育等领域都可以作为面部表情识别的应用。特别是随着情感计算研究的发展，面部表情的研究更加火热，根据相关研究者的研究表明面部表情所包含的信息能够达到55％，因此研究面部表情识别对于情感计算有着至关重要的意义。长期以来，大多数研究者都是针对实验室条件下的面部表情数据集进行研究；随着研究的深入和自然条件下数据集的发表，目前的研究热点逐渐转向自然条件下的面部表情的识别。自然条件下的表情图像相比实验室条件下存在多姿态以及遮挡等问题，因此传统的手工特征的方法和浅层卷积神经网络的方法难以在自然条件下的表情数据集上取得较好的识别准确率。由于表情是人脸肌肉的运动组合而来，其特征相对于其它图像更加细微，且同一种类别的表情也会存在较大的差异，且不同表情之间往往是局部的特征变化，因本文档来自技高网...

【技术保护点】
1.一种自然场景中静态面部表情识别方法，其特征在于：包括依次执行的预处理工序、全局特征提取工序、局部特征提取工序以及特征融合工序；/n所述预处理工序用于去除图片中自然场景的背景，只保留人脸区域；/n所述全局特征提取工序是指采用卷积神经网络提取预处理工序后的整张图片的特征，并转化为特征向量；/n所述局部特征提取工序是指通过目标检测方法提取图片最有信息量的局部区域，并转化为特征向量；/n所述特征融合工序是指将全局特征提取工序所提取的特征向量与局部特征提取工序所提取的特征向量整合成特征矩阵，然后经过全连接层和softmax，得到面部表情概率。/n

【技术特征摘要】
1.一种自然场景中静态面部表情识别方法，其特征在于：包括依次执行的预处理工序、全局特征提取工序、局部特征提取工序以及特征融合工序；
所述预处理工序用于去除图片中自然场景的背景，只保留人脸区域；
所述全局特征提取工序是指采用卷积神经网络提取预处理工序后的整张图片的特征，并转化为特征向量；
所述局部特征提取工序是指通过目标检测方法提取图片最有信息量的局部区域，并转化为特征向量；
所述特征融合工序是指将全局特征提取工序所提取的特征向量与局部特征提取工序所提取的特征向量整合成特征矩阵，然后经过全连接层和softmax，得到面部表情概率。


2.根据权利要求1所述的自然场景中静态面部表情识别方法，其特征在于：所述预处理工序是指对图片进行人脸检测、人脸对齐和人脸裁减操作。


3.根据权利要求1所述的自然场景中静态面部表情识别方法，其特征在于：所述局部特征提取工序包括如下分步骤：
S1采用目标检测的方法生成多个目标检测框；
S2将S1中的目标检测框的局部区域特征图使用卷积神经网络转化成对应表情类别的分数，用公式表示为：
S:A→[0,1]
其中S代表局部区域的分数集合，A为所有局部区域的集合，局部区域R∈A；局部区域的分数设定为C(R)，局部区域的信息量设定为I(R)，将所有局部区域的信息量排序：
R1,R2∈A,ifC(R1)>C(R2),I(R1)>I(R2)
S3选取信息量最大的前K个局部区域；
S4采用卷积神经网络提取S3中筛选的K个局部...

【专利技术属性】
技术研发人员：朱亮，邢晓芬，徐向民，郭锴凌，晋建秀，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44