一种基于面部动作组合检测的情绪识别方法及装置制造方法及图纸

本发明专利技术提供一种基于面部动作组合检测的情绪识别方法及装置。所述方法包括：获取脸部图像，对所述图像进行特征提取；将提取的图像特征输入注意力模块，得到每个面部动作在脸部的空间位置及脸部感兴趣区域特征；基于所述空间位置和感兴趣区域特征，利用transformer自注意力机制获得不同面部动作的关联特征，进而对面部动作进行预测；通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化。本发明专利技术通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化，提高了情绪识别精度，解决了相对现有技术由于不能关注不同面部动作之间的关联，只通过面部动作的简单组合预测情绪变化，情绪识别精度低的问题。问题。问题。

【技术实现步骤摘要】
一种基于面部动作组合检测的情绪识别方法及装置


[0001]本专利技术属于人工智能
，具体涉及一种基于面部动作组合检测的情绪识别方法及装置。

技术介绍

[0002]面部表情是传达非语言信息的主要手段。据心理学家研究表明，在人类日常交流中，通过面部微表情传达的情感信息可达信息总量的55％，因此学会“察言观色”是协调人际关系的重要方式之一。对于盲人而言，建立一套能识别面部微表情从而感知他人情绪的装备尤为重要，可以帮助其察觉他人情绪状态，加强沟通效果。
[0003]面部表情是人类面部肌肉及五官形成的状态，如微笑、生气等。面部表情可通过面部动作表达，根据面部动作描述面部的活动，每个面部动作代表一个基本的面部运动或表情变化，它们的组合可以描述复杂的情绪变化。随着人工智能技术的发展，使用深度学习的方法识别面部表情从而获得人们当前情绪成为可能。图2展示了一种基于深度学习方法进行人脸动作单元检测的网络结构，称为EACNet。其技术原理为：在VGG网络的基础上，增加了增强学习和剪裁学习两个模块。增强学习模块通过添加注意力机制的方式使网络在模型训练中给本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部动作组合检测的情绪识别方法，其特征在于，包括以下步骤：获取脸部图像，对所述图像进行特征提取；将提取的图像特征输入注意力模块，得到每个面部动作在脸部的空间位置及脸部感兴趣区域特征；基于所述空间位置和感兴趣区域特征，利用transformer自注意力机制获得不同面部动作的关联特征，进而对面部动作进行预测；通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化。2.根据权利要求1所述的基于面部动作组合检测的情绪识别方法，其特征在于，利用残差网络ResNet34对输入图像进行特征提取；ResNet34是由5个卷积模块组成，第一个卷积模块由一个7*7的卷积和一个3*3的下采样卷积组成，第二个、第三个、第四个、第五个卷积模块均是由两个3*3的卷积模块组成的残差模块，残差模块的输入x经过两个3*3的卷积后与x相加，再经一个ReLU激活层输出；第五个卷积模块的输出为ResNet34的输出。3.根据权利要求2所述的基于面部动作组合检测的情绪识别方法，其特征在于，所述面部动作包括：抬起眉毛内角，抬起眉毛外角，皱眉，上眼睑上升，脸颊提升，眼睑收紧，鼻子皱起，上唇抬起，拉动嘴角，收紧嘴角，嘴角向下，下唇抬起，噘嘴，嘴角拉伸，收紧嘴唇，嘴唇按压，双唇分开，下巴下降，嘴巴张大，闭眼。4.根据权利要求3所述的基于面部动作组合检测的情绪识别方法，其特征在于，获得面部动作在脸部的空间位置及脸部感兴趣区域特征的方法包括：将提取的N
T
个图像特征T输入至注意力模块，依次经过3个残差模块、N
A
个1*1的卷积、一个ReLU激活层、N
A
个1*1的卷积，最后通过Sigmoid激活函数得到每个面部动作在脸部的空间位置；将注意力模块得到的N
A
个注意力特征图分别与N
T
个图像特征T相乘，再与N
T
个图像特征T相加，得到N
A
组特征图，每组N
T
个特征图；N
A
等于面部动作的数量。5.根据权利要求4所述的基于面部动作组合检测的情绪识别方法，其特征在于，所述利用transformer自注意力机制获得不同面部动作的关联特征，进而对面部动作进行预测，具体包括：将所述N
A
组特征图分别经过1*1卷积、成批归一化和ReLU，每组特征图输出一个长度为n的一维向量，共得到N
A
个一维向量，将这N
A
个一维向量进行特征融合得到长度为n*N
A
的一维特征图C；将C输入到由多头注意力模块和前馈网络组成的transformer编码器中，多头注意力模块的输出经过两个全连接层之后输出面部动作的预测值。6.根...

【专利技术属性】
技术研发人员：王淑欣，刘小青，俞益洲，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：