一种基于卷积融合网络的面部运动单元识别方法技术

本发明专利技术提出了一种基于卷积融合网络的面部运动单元识别方法，该方法包括：对面部运动单元数据库进行规范化处理，对每张面部图像进行人脸对齐与裁剪操作，以确保图像输入网络时具有统一的尺寸和标准化的姿态；面部数据经过一个在大规模图像数据库ImageNet上预训练过的卷积神经网络对人脸进行初步特征提取；将初始特征通过由n个并行的全连接网络构成的表示生成器，得到不同的表示，并将这些表示进行连接，得到立方体特征；通过特征融合单元，将拼接的立方体特征在其并行表示、数据特征以及图片通道三个方向上进行特征融合，充分利用立方体特征的结构性信息，捕获更全面的上下文和细节信息；最后通过一个多层感知机网络进行面部运动单元识别得到预期结果。

【技术实现步骤摘要】

本专利技术属于人工智能，具体涉及一种基于卷积融合网络的面部运动单元识别方法。

技术介绍

1、在语言能力展现之前出现，面部表情、发声和身体运动是新生儿交流情感和交流意图以及协调社会互动的手段，而面部表情是新生儿交流情感的最为重要的手段之一。为了能更好地从新生儿的表情中的得到可靠有价值的信息，比如是否疼痛，需要去判断新生儿面部运动单元(action uni t，au，以下说明书内容将面部运动单元简称为au)。然而人工判断au的成本较大，又由于深度学习近年来的急速发展，所以利用深度网络自动识别逐渐被本领域技术人员熟知。

2、近年来，成人au检测方法明显多于新生儿au检测。新生儿面部与成人相比，比例不同，脂肪腮垫突出，皮肤更光滑且纹理更少，眉毛更淡，下巴轮廓不太明显，面部动作独特。由于这些和与此相关的原因，在成人面部训练的动作单元(au)识别器可能很难泛化到新生儿面部。并且，近年来的au检测方法大多数依赖于卷积神经网络(cnn)，这将模型的视角限制在局部区域，忽略了不同面部之间的相关性与互斥性，忽略了au之间的相关性与互斥性，没能捕捉到更加全面和丰富的本文档来自技高网...

【技术保护点】

1.一种基于卷积融合网络的面部运动单元识别方法，其特征在于，包含如下步骤：

2.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，在步骤S101中，所述实验室对所述人脸图像的数据进行预处理，通过OpenFace将所述人脸图像的数据信息识别为68个人脸特征点；

3.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，所述面部运动单元检测中的所述面部运动单元分别为AU4眉毛降低、AU6脸颊抬高、AU7眼皮紧闭、AU9鼻翼上扬、AU10上唇提升、AU12嘴角上扬、AU15嘴角下拉、AU16下唇突出、AU20嘴唇拉伸、AU...

【技术特征摘要】

1.一种基于卷积融合网络的面部运动单元识别方法，其特征在于，包含如下步骤：

2.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，在步骤s101中，所述实验室对所述人脸图像的数据进行预处理，通过openface将所述人脸图像的数据信息识别为68个人脸特征点；

3.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，所述面部运动单元检测中的所述面部运动单元分别为au4眉毛降低、au6脸颊抬高、au7眼皮紧闭、au9鼻翼上扬、au10上唇提升、au12嘴角上扬、au15嘴角下拉、au16下唇突出、au20嘴唇拉伸、au25嘴巴张开、au26下巴放松、au27下巴拉伸、au43闭上眼睛；

4.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，在所述步骤s201中提取的所述初始特征为初始特征e，所述预训练的卷积神经网络为restnet50网络。

5.根据权利要求1所述的一种基于卷积融合网络的面部运动单元识别方法，其特征在于，所述表示生成器由13个并行的全连接网络组成；

【专利技术属性】
技术研发人员：闫静杰，谢林君，阎波杰，周晓阳，刘颖，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：