一种姿态无关的面部动作单元识别方法技术

本发明专利技术涉及一种姿态无关的面部动作单元(AU)识别方法，传统方法对头部的姿态十分敏感，对于正面姿态面部图像表现良好，但对于其他非正面姿态效果较差。这是因为深度学习算法是数据驱动的，而侧面姿态AU数据集比正面姿态AU数据集更难获取，因为在大量侧面面部图片上标注AU需要消耗大量人力、物力。为了解决这一限制，提出了一种基于深度残差映射和注意力增强的姿态无关的AU识别方法，对卷积神经网络中的深层特征进行姿态转正。在深层特征空间中，通过注意力增强的残差映射模块，将非正面姿态映射到正面，从而减小AU识别难度，提高识别AU准确率。

An attitude independent method for facial motion unit recognition

【技术实现步骤摘要】
一种姿态无关的面部动作单元识别方法
本专利技术涉及一种面部动作单元识别方法，尤其是能同时处理不同姿态的面部图片，可以应用于情感计算领域。
技术介绍
目前，主流的面部AU(面部动作单元)自动识别方法，主要处理完全正面或接近正面的面部图像。实际上，现实场景下采集到的面部图像中，可能包含多种面部姿态。传统的基于特征工程的AU识别方法，难以提取对于各种姿态都有效的特征。而基于深度学习的AU识别方法尽管在一定程度上取得了巨大的成功，但大多数方法仅限于正面或轻微旋转的面部图像。主要原因之一是缺少多姿态AU数据集，难以提升非正面姿态下的识别效果。另外，主流的深度学习方法通常模型复杂，效率低下，需要先进行姿态估计，再由对应的模型进行识别。
技术实现思路
本专利技术技术解决问题：为了解决现有的AU识别方法无法高效地识别侧脸AU的不足，提供一种简单高效的姿态无关的面部动作单元识别方法，不仅能有效识别正脸AU，同时也能识别侧脸AU，并且不会带来过多的额外开销；该模型使用卷积神经网络提取特征，避免了人工特征提取带来的误差；不需要依赖大量的侧脸AU数据集，避免了人工标注数据集的成本。本专利技术的技术方案是：有三个本文档来自技高网...

【技术保护点】
1.一种姿态无关的面部动作单元(AU)识别方法，其特征在于，包括以下步骤：第一步，输入任意姿态的面部RGB图像x，记VGG‑Face特征提取网络为f(x)，经过特征提取网络进行特征提取，得到卷积神经网络特征图f(x)，即初始特征表达；第二步，将第一步得到的初始特征表达f(x)，经过通道注意力增强模块处理后，记通道注意力增强模块为A(x)，得到加权的卷积神经网络特征图A(f(x))，即注意力增强特征表达；第三步，将第二步的注意力增强特征表达A(f(x))经过深度残差映射模块处理后，记深度残差映射模块为R(x)，得到正向化特征表达A(f(x))+R(A(f(x)))；第四步，对第三步得到的正向化特...

【技术特征摘要】
1.一种姿态无关的面部动作单元(AU)识别方法，其特征在于，包括以下步骤：第一步，输入任意姿态的面部RGB图像x，记VGG-Face特征提取网络为f(x)，经过特征提取网络进行特征提取，得到卷积神经网络特征图f(x)，即初始特征表达；第二步，将第一步得到的初始特征表达f(x)，经过通道注意力增强模块处理后，记通道注意力增强模块为A(x)，得到加权的卷积神经网络特征图A(f(x))，即注意力增强特征表达；第三步，将第二步的注意力增强特征表达A(f(x))经过深度残差映射模块处理后，记深度残差映射模块为R(x)，得到正向化特征表达A(f(x))+R(A(f(x)))；第四步，对第三步得到的正向化特征表达A(f(x))+R(A(f(x)))，通过神经网络分类器训练后，输出AU存在或不存在的分类结果，最终实现姿态无关的面部动作单元识别。2.根据权利要求1所述的方法，其特征在于：所述特征提取网络的实现如下：(1)采用VGG16卷积神经网络实现特征提取网络f(x)，其输入为任意姿态的面部RGB图像x；特征提取网络包含5组卷积层，每组卷积层后面有一个最大池化层；(2)在VGG16结构的基础上，使用VGG-Face预训练模型对VGG16网络进行初始化操作，得到初始化后的特征提取器；(3)对初始化后的特征提取网络进行微调，即固定前两组卷积层的参数，通过Adam优化算法优化后三组卷积层的参数；(4)为了减少参数量和模型复杂度，在网络最后加上全局平均池化层，将特征图f(x)维度从7×7×512压缩为1×1×512；(5)使用微调后的特征提取网络，计算网络特征图f(x)，作为提取到的面部特征，也就是初始特征表达。3.根据权利要求1所述的方法，其特征在于：所述通道注意力增强模块的实现如下：(1)通...

【专利技术属性】
技术研发人员：程厚森，樊亚春，税午阳，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：北京,11