一种多模态人脸情绪识别方法及装置制造方法及图纸

本发明专利技术公开了一种多模态人脸情绪识别方法及装置，所述方法包括：获取目标场景下作业人员的视频数据；按照预设的时间间隔对所述视频数据进行抽帧，得到多模态信息序列；提取每一帧视觉模态信息，得到关于人脸关键点的面部表情特征序列；使用卷积神经网络模型对每一帧听觉模态信息对应的声谱图进行处理，得到语音特征序列；将归一化的所述面部表情特征序列和归一化的所述语音特征序列输入基于注意力的时序学习模型进行融合编码，得到时序融合特征向量；将所述时序融合特征向量输入多模态情绪识别模型中，得到情绪分数，并根据所述情绪分数得到所述作业人员的人脸情绪。采用本发明专利技术提供的实施例，极大提高了情绪识别的效率和精确率。率。率。

【技术实现步骤摘要】
一种多模态人脸情绪识别方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种多模态人脸情绪识别方法及装置。

技术介绍

[0002]人脸情绪识别是现代人工智能的一大研究热点，这项技术广泛应用于自动驾驶领域、人机交互领域、健康监测领域等。在健康监测领域中，健康监测系统通过实时分析直播视频中的作业人员的面部及声音状态，实时捕捉作业人员的健康情绪，有利于及时发现和疏导心理健康问题。
[0003]情绪识别领域主要将情绪指标分为两种类别：离散维度以及连续维度。对于离散维度，Ekman等人在早期的研究中定义了7种主要的表情状态，包括生气，害怕，厌恶，开心，悲伤，惊讶以及中性。对于连续维度，研究者们则用两个维度进行表达：使用arousal来表示唤醒程度，使用valence表示积极程度。由于连续维度更符合人的情感的连续性，因此近年来吸引了越来越多的研究者研究。目前主流的视频人脸情绪识别方法主要是通过视频抽帧，然后使用神经网络从图像中提取人脸特征，再进行具体的情绪识别，最后将不同视频帧的情绪进行融合。专利号为202010252867的专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态人脸情绪识别方法，其特征在于，包括：获取目标场景下作业人员的视频数据；按照预设的时间间隔对所述视频数据进行抽帧，得到多模态信息序列；所述多模态信息序列包含多帧多模态信息，每一帧多模态信息包含一帧视觉模态信息和一帧听觉模态信息；提取每一帧视觉模态信息，得到关于人脸关键点的面部表情特征序列；使用卷积神经网络模型对每一帧听觉模态信息对应的声谱图进行处理，得到语音特征序列；将归一化的所述面部表情特征序列和归一化的所述语音特征序列输入基于注意力的时序学习模型进行融合编码，得到时序融合特征向量；将所述时序融合特征向量输入多模态情绪识别模型中，得到情绪分数，并根据所述情绪分数得到所述作业人员的人脸情绪。2.如权利要求1所述的多模态人脸情绪识别方法，其特征在于，所述提取每一帧视觉模态信息，得到关于人脸关键点的面部表情特征序列，具体包括：使用级联残差回归树模型从每一帧视觉模态信息抽取人脸区域，并标记出人脸关键点；基于位于鼻头的人脸关键点对其他的人脸关键点坐标进行归一化和标准化；根据标准化后的人脸关键点坐标计算关键点之间距离占比特征和角度特征，并对标准化后的所述距离占比特征和所述角度特征进行拼接，得到关于人脸关键点的面部表情特征序列。3.如权利要求1所述的多模态人脸情绪识别方法，其特征在于，所述使用卷积神经网络模型对每一帧听觉模态信息对应的声谱图进行处理，得到语音特征序列，具体包括：采用音频处理库对每一帧听觉模态信息进行处理，得到每一帧听觉模态信息对应的声谱图；使用卷积神经网络模型对多张声谱图进行特征提取，得到语音特征序列。4.如权利要求1所述的多模态人脸情绪识别方法，其特征在于，所述将归一化的所述面部表情特征序列和归一化的所述语音特征序列输基于注意力的时序学习模型进行融合编码，得到时序融合特征向量，具体包括：将归一化的所述面部表情特征序列和归一化的所述语音特征序列组合成新的训练集；基于ResNet18网络对所述训练集进行卷积深度学习，记录最后一个卷积层输出；对所述最后一个卷积层输出进行空间注意力处理和通道注意力处理，得到编码后的时序特征；将所述编码后的时序特征输入Bi
‑
LSTM处理，得到所述编码后的时序特征对应的总体特征；对所述总体特征进行压缩得到一维的时序融合特征向量。5.如权利要求1所述的多模态人脸情绪识别方法，其特征在于，所述多模态情绪识别模型进行更新时，使用均方误差损失函数作为模型收敛的指标，根据均方误差损失函数的梯度更新所述多模态情绪识别模型的模型参数，当所述均方误差损失函数的损失值低...

【专利技术属性】
技术研发人员：刘羽中，李华亮，范圣平，沈雅利，王琪如，谢庭军，翟永昌，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：