可分离变分自编码器解耦的面部动作单元识别方法及设备技术

本发明专利技术公开了一种可分离变分自编码器解耦的面部动作单元识别方法及设备，方法包括：对人脸图像中进行预处理获得面部区域图像；将面部区域图像输入可分离组合深度卷积模块中获得面部特征图；对面部特征图进行分割获得特征子图，通过全连接操作聚合得到局部块特征组；在局部块特征组中嵌入位置编码，相加后输入多头自注意力模块获得自注意力特征图；将自注意力特征图解耦为面部动作单元编码表征与面部姿态编码表征，并融合重建为面部表情置信度编码表征；通过联合约束学习获得判别性的面部动作单元编码、面部姿态编码和面部表情置信度编码表征值，以进行面部动作单元的识别。本发明专利技术具有面部动作单元编码识别精度高等优点。发明专利技术具有面部动作单元编码识别精度高等优点。发明专利技术具有面部动作单元编码识别精度高等优点。

【技术实现步骤摘要】
可分离变分自编码器解耦的面部动作单元识别方法及设备


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种可分离变分自编码器解耦的面部动作单元识别方法及设备。

技术介绍

[0002]人脸面部表情映射着人类内心世界丰富的情感活动，是人体行为信息与情感的重要载体。然而，面部表情的产生是由丰富的面部肌肉之间的联合运动所得到的，因此常用的面部基本表情不足以对人类的所有面部表情进行精确的描述。面部动作单元是一组用于描述面部肌肉运动的编码，旨在描述面部肌肉群的微小运动，通过面部单元识别可对人面部状态进行更全面和精确的判断。通过计算机自动检测面部动作单元及其组合，有助于准确分析面部表情和理解个体情绪，并在虚拟人交互动画、驾驶员疲劳检测、心理诊断、活体检测和影视评估等场景中具有良好的应用前景。
[0003]人们在日常生活中面部活动通常以局部面部的动作来表达情感，如悲伤时嘴角下垂、惊讶时眉毛抬高等，因此对于更细粒度的面部表情识别而言，需要更多地关注局部面部动作而不仅仅是整体表情的识别。
[0004]人类的面部表情可以通过面部动作编码系统定义的不同面部动作单元的组合准确描述。面部动作单元的不同组合方式在描述人脸表情及其变化上作为基础起着极其重要的作用，因此面部动作单元识别与面部动作单元编码成为计算机视觉领域一个重要的研究课题，精确且快速的面部动作单元编码方法在学术界、工业界均引起了广泛关注。
[0005]早期面部动作编码系统是基于解剖学结构的面部编码结构，用于描述面部的肌肉运动。早期基于计算机视觉的面部动作编码与识别主要使用人工设计特征如方向梯度直方图、Gabor特征等以及如人脸关键点的几何特征。对于更高层的语义特征，早期的特征设计通常选用永久面部特征（如嘴巴、眼睛等）与瞬态面部特征（如皱纹等）分析面部动作的细微变化。基于这些人工设计的特征，一些早期的面部动作单元识别的方法主要使用支持向量机算法、随机森林、动态贝叶斯网络等算法，这些特征对于人脸表情识别有一定的可解释性并在一些在小数据集上均取得了较为准确的识别效果，但对于真实场景下大数据量的面部动作单元数据集，这些方法的识别效果准确性与稳健性大幅下滑。
[0006]近年来，随着深度学习在计算机视觉领域的普及，面部动作单元分析逐渐成为人们关注的热点。面部动作单元分析可以分为面部动作单元检测和面部动作单元强度识别两个不同的任意端到端的方式运行，提高了模型的整体学习能力和效率。在面部动作单元识别方面，大多通过收集大量面部动作单元样本，搭建卷积神经网络训练出面部动作单元特征识别模型，进而用来进行面部动作单元特征识别与分类，但该种方法对样本库样本质量和数量要求较高，训练往往依赖复杂的网络结构以及大量的数据样本，同时在神经网络前向传播过程中受网络层数、参数量的影响在非图形处理器环境下会受到较大的影响。此外，由于不同人的面部动作常常表现为不同强度、不同尺度范围的面部姿态细微变化，一些面部动作还存在强度的差异，这些因素和表情之间是非线性关系，因此直接送入神经网络训
练的效果并不好，如此影响最终识别的准确率。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种可分离变分自编码器解耦的面部动作单元识别方法及设备，以改善上述问题。
[0008]本专利技术实施例提供了一种可分离变分自编码器解耦的面部动作单元识别方法，其包括：提取待识别的人脸图像，对人脸图像进行预处理以获得面部区域图像；将所述面部区域图像输入到预先训练好的可分离组合深度卷积模块中，以获得面部特征图；对所述面部特征图进行分割获得多个的特征子图，并对每个特征子图进行特征展平后通过全连接操作聚合得到局部块特征组；在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系，并将所述局部块特征组与位置编码相加后输入多头自注意力模块中获得面部自注意力特征图；通过变分自编码器解耦表征的方法将所述面部自注意力特征图分解为面部动作单元编码表征与面部姿态编码表征，并将面部动作单元编码表征与面部姿态编码表征进行全连接层线性融合重建为面部表情置信度编码表征；通过线性分解约束损失、变分自编码器解耦表征约束损失和各自编码损失约束联合学习获得判别性的面部动作单元编码、面部姿态编码和面部表情置信度编码表征值；根据面部动作单元编码和面部表情置信度编码表征值识别与所述人脸图像对应的面部动作单元。
[0009]优选地，所述可分离组合深度卷积模块包含2层批归一化卷积层和3层深度可分离卷积层，则将预处理的面部区域图像输入到预先训练好的可分离组合深度卷积模块中，以获得面部特征图，具体包括：根据给定的卷积步长，对预处理的面部区域图像利用激活函数进行非线性批归一化卷积操作处理：其中，为非线性激活函数；BN为批量归一化运算；conv为卷积算子操作；和分别为该层卷积中的权重参数与偏置项，为对输入的面部区域图像I进行批归一化卷积操作；将面部区域图像I作为输入经过2层批归一化卷积层操作、后，获得面部初始特征图h：将面部初始特征图h输入深度可分离卷积层，利用激活函数进行非线性处理获取关键信息的身份特征图：其中，为非线性激活函数、和为该深度可分离卷积层的权重参数与偏
置项；通过深度可分离卷积层的1
×
1卷积操作对身份特征图进行特征卷积以获取除关键信息以外的辅助信息特征图：其中为1
×
1卷积核操作；由深度可分离卷积层通过批归一化卷积操作提取的面部初始特征图，再通过1
×
1卷积操作提取特征图中的辅助信息特征图，将这两部分特征通过拼接的方式完成特征融合，输出最终特征图：其中为按通道维度拼接操作；经过三层深度可分离卷积网络，，获取面部特征图：。
[0010]优选地，对所述面部特征图进行分割获得多个特征子图，并对每个特征子图进行特征展平后通过全连接操作聚合得到局部块特征组，具体为：将面部特征图按照从左到右、从上到下的顺序分割为多个特征子图，并对特征子图内的特征展平后通过全连接操作聚合得到局部块特征组：其中，操作表示面部特征图按照从左到右、从上到下的顺序分割为个特征子图，代表面部特征图的分割行数，代表面部特征图的分割列数，为面部特征图输出的单一特征向量维度；给定可分离卷积层的卷积通道数，flatten表示将特征图保留通道维度展开为的特征组；FC表示通过全连接层将特征组聚合为的特征；为按通道维度拼接操作将个的特征拼接为的局部块特征组。
[0011]优选地，在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系，并将所述局部块特征组与位置编码相加后输入多头自注意力模块中获得面部自注意力特征图，具体包括：在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系：其中为频率，其值设置为，i={1,2,3,...127}，d为输入的局部块特征的维度，k为位置编码中的第k个元素，t为局部块特征组特征的序号，代
表第t个位置编码向量；将局部块特征组与位置编码pe相加输入多头自注意力模块MultiAtt中获得面部自注意力特征图：。
[0012]优选地，通过变分自编码器解耦表征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可分离变分自编码器解耦的面部动作单元识别方法，其特征在于，包括：提取待识别的人脸图像，对人脸图像进行预处理以获得面部区域图像；将所述面部区域图像输入到预先训练好的可分离组合深度卷积模块中，以获得面部特征图；对所述面部特征图进行分割获得多个的特征子图，并对每个特征子图进行特征展平后通过全连接操作聚合得到局部块特征组；在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系，并将所述局部块特征组与位置编码相加后输入多头自注意力模块中获得面部自注意力特征图；通过变分自编码器解耦表征的方法将所述面部自注意力特征图分解为面部动作单元编码表征与面部姿态编码表征，并将面部动作单元编码表征与面部姿态编码表征进行全连接层线性融合重建为面部表情置信度编码表征；通过线性分解约束损失、变分自编码器解耦表征约束损失和各自编码损失约束联合学习获得判别性的面部动作单元编码、面部姿态编码和面部表情置信度编码表征值；根据面部动作单元编码和面部表情置信度编码表征值识别与所述人脸图像对应的面部动作单元。2.根据权利要求1所述的可分离变分自编码器解耦的面部动作单元识别方法，其特征在于，所述可分离组合深度卷积模块包含2层批归一化卷积层和3层深度可分离卷积层，则将预处理的面部区域图像输入到预先训练好的可分离组合深度卷积模块中，以获得面部特征图，具体包括：根据给定的卷积步长，对预处理的面部区域图像利用激活函数进行非线性批归一化卷积操作处理：其中，为非线性激活函数；BN为批量归一化运算；conv为卷积算子操作；和分别为该层卷积中的权重参数与偏置项，为对输入的面部区域图像I进行批归一化卷积操作；将面部区域图像I作为输入经过2层批归一化卷积层操作、后，获得面部初始特征图h：将面部初始特征图h输入深度可分离卷积层，利用激活函数进行非线性处理获取关键信息的身份特征图：其中，为非线性激活函数、和为该深度可分离卷积层的权重参数与偏置项；通过深度可分离卷积层的1
×
1卷积操作对身份特征图进行特征卷积以获取除关键信息以外的辅助信息特征图：
其中为1
×
1卷积核操作；由深度可分离卷积层通过批归一化卷积操作提取的面部初始特征图，再通过1
×
1卷积操作提取特征图中的辅助信息特征图，将这两部分特征通过拼接的方式完成特征融合，输出最终特征图：其中为按通道维度拼接操作；经过三层深度可分离卷积网络，，获取面部特征图：。3.根据权利要求2所述的可分离变分自编码器解耦的面部动作单元识别方法，其特征在于，对所述面部特征图进行分割获得多个特征子图，并对每个特征子图进行特征展平后通过全连接操作聚合得到局部块特征组，具体为：将面部特征图按照从左到右、从上到下的顺序分割为多个特征子图，并对特征子图内的特征展平后通过全连接操作聚合得到局部块特征组：其中，操作表示面部特征图按照从左到右、从上到下的顺序分割为个特征子图，代表面部特征图的分割行数，代表面部特征图的分割列数，为面部特征图输出的单一特征向量维度；给定可分离卷积层的卷积通道数，flatten表示将特征图保留通道维度展开为的特征组；FC表示通过全连接层将特征组聚合为的特征；为按通道维度拼接操作将个的特征拼接为的局部块特征组。4.根据权利要求3所述的可分离变分自编码器解耦的面部动作单元识别方法，其特征在于，在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系，并将所述局部块特征组与位置编码相加后输入多头自注意力模块中获得面部自注意力特征图，具体包括：在所述局部块特征组中嵌入位置编码以获取各局部块特征之间的位置关系：其中为频率，其值设置为，i={1,2,3,...127}，d为输入的局部块特征的维度，k为位置编码中的第k个元素，t为局部块特征组...

【专利技术属性】
技术研发人员：胡众旺，张力洋，徐素文，柳欣，倪亮亮，黄忠湖，
申请(专利权)人：天度厦门科技股份有限公司，
类型：发明
国别省市：