人物情绪识别方法、系统、介质及电子设备技术方案

本发明专利技术提供一种人物情绪识别方法、系统、介质及电子设备，所述方法包括将带有情绪标签的人物图像数据和人物声音数据进行融合；利用融合后的数据训练神经网络模型以得到情绪分类器模型；采集待识别人物的图像数据和声音数据，融合后输入至所述情绪分类器模型，以使所述情绪分类器模型输出所述待识别人物的情绪信息。本发明专利技术的人物情绪识别方法、系统、介质及电子设备，可以结合图像的多维度数据的特征以及整个视频序列的前后文信息来更为精确的判断人物的情绪，基于Transformer网络可以实现并行运算，前向推理速度更快，更适合算力资源不足的情况下模型部署，具有较高的迁移和适应能力。能力。能力。

【技术实现步骤摘要】
人物情绪识别方法、系统、介质及电子设备


[0001]本专利技术涉及人物情绪识别
，特别是涉及一种人物情绪识别方法、系统、介质及电子设备。

技术介绍

[0002]随着深度学习技术的发展和落地，基于图像CNN分类的人物表情识别已经日趋成熟，其中，卷积神经网络(Convolutional Neural Networks,CNN)现阶段广泛应用的基于图像的表情分类是从人脸图像提取面部特征进行学习，得到人脸表情分类器，然后应用到人脸数据分析中进行表情分类。
[0003]由于受限于前端相机可能存在的固有的畸变、光照等硬件因素的影响，采集的人脸图像质量可能存在一定程度的模糊或者曝光，这就造成从图像像素中进行CNN特征提取得到的面部信息有所影响，无法很好的表示人物真实的表情，而且人的情绪本身是有声音，表情以及心理等多维信息来衡量的一个属性特征，仅通过面部图像很多时候往往难以精确识别。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种人物情绪识别方法、系统、介质及电子设备，用于解决现有技术中人物情绪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人物情绪识别方法，其特征在于，包括：将带有情绪标签的人物图像数据和人物声音数据进行融合；利用融合后的数据训练神经网络模型以得到情绪分类器模型；采集待识别人物的图像数据和声音数据，融合后输入至所述情绪分类器模型，以使所述情绪分类器模型输出所述待识别人物的情绪信息。2.根据权利要求1所述的人物情绪识别方法，其特征在于，所述神经网络模型包括：特征提取模型；所述特征提取模型采用Transformer特征提取网络、T2T
‑
Transformer特征提取网络，或者融合CNN与Transformer的特征提取网络。3.根据权利要求2所述的人物情绪识别方法，其特征在于，所述特征提取模型采用Transformer特征提取网络；所述将带有情绪标签的人物图像数据和人物声音数据进行融合，具体包括：将H
×
W
×
C的所述带有情绪标签的人物图像数据变换维度成一个N
×
(P2·
C)的二维矩阵数据块V1；其中，H为图像高，W为图像宽，C为图像通道数，N为序列的长度，P为块的大小。先通过语音识别将所述带有情绪标签的人物声音数据转化为一维向量，再将所述一维向量变换维度到(N,D2)的二维矩阵数据块V2；其中N为语音时序的长度，D2为每个语音时序向量的维度。对所述二维矩阵数据块V1与所述二维矩阵数据块V2进行拼接，并在拼接好的数据块首部添加所述情绪标签X
class
，以形成格式符合所述Transformer特征提取网络的数据[X
class
,V1,V2]。4.根据权利要求3所述的人物情绪识别方法，...

【专利技术属性】
技术研发人员：袁德胜，游浩泉，杨祥如，
申请(专利权)人：汇纳科技股份有限公司，
类型：发明
国别省市：