一种基于多分支融合注意力机制的情绪识别方法及系统技术方案

本发明专利技术公开了一种基于多分支融合注意力机制的情绪识别方法及系统，包括：将目标本体图像输入至情绪识别模型的目标本体分支网络获得目标本体面部特征和目标本体行为特征，对所述目标面部特征和目标行为特征进行融合获得目标本体情绪特征

【技术实现步骤摘要】
一种基于多分支融合注意力机制的情绪识别方法及系统


[0001]本专利技术属于图像识别
，具体涉及基于多分支融合注意力机制的情绪识别方法及系统
。

技术介绍

[0002]情绪认知是智能感知技术的核心任务之一
。
通过准确地识别目标对象的情绪状态，计算机系统和智能终端可以更好地理解其需求，从而提供更加智能
、
个性化的人机交互体验
。
[0003]目前常见的情绪感知方法主要有两种：第一种为接触式检测，该方法主要是检测目标对象的生理信号
(
如脑电和肌肉信号等
)
，通过分析得到情绪表征，该类方法的优点为检测可信度高，也可以满足实时性的要求，但缺点是需要设备与目标对象进行接触，难免对目标对象造成干扰，同时由于传感器等设备较为昂贵，也不适合大规模的应用
。
[0004]第二种为非接触式检测：对目标对象脸部
、
眼部
、
体态等细节特征进行智能分析，准确识别目标对象的情绪状态；但是现有的情绪认知网络大多通过实时分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多分支融合注意力机制的情绪识别方法，其特征在于，包括：采集目标本体数据及区域环境数据，对目标本体数据和区域环境数据进行数据预处理和关键帧提取获得目标本体图像和区域环境图像；将目标本体图像和区域环境图像输入至预先训练的情绪识别模型获得情绪识别结果，过程包括：将目标本体图像输入至情绪识别模型的目标本体分支网络获得目标本体面部特征和目标本体行为特征，对所述目标面部特征和目标行为特征进行融合获得目标本体情绪特征
f
o
；将区域环境图像输入至情绪识别模型的环境影响分支网络获得环境影响特征
f
E
；将环境影响特征
f
E
和目标本体情绪特征
f
o
进行特征融合获得特征向量
f
；利用所述情绪识别模型的目标情绪分类器对特征向量
f
进行分类输出情绪识别结果
。2.
根据权利要求1所述的情绪识别方法，其特征在于，对目标本体数据和区域环境数据进行数据预处理和关键帧提取获得目标本体图像和区域环境图像的方法包括：对目标本体数据中的各帧画面和区域环境数据中的各帧画面进行感兴趣区域标定，并对标定后的目标本体数据和目标本体数据进行降噪和数据增强处理；对目标本体数据的各帧画面和区域环境数据的各帧画面中感兴趣区域进行定位裁剪和关键点标注；利用
Lucas
‑
Kanade
光流方法计算各帧画面中感兴趣区域的平均光流；将平均光流大于设定阈值
T
的感兴趣区域所在帧画面进行关键帧提取，获得目标本体图像和区域环境图像；按照光流强度将目标本体图像和区域环境图像插入候选帧优先级队列，用于限定目标本体图像和区域环境图像输入至预先训练的情绪识别模型的顺序
。3.
根据权利要求1所述的情绪识别方法，其特征在于，将目标本体图像输入至情绪识别模型的目标本体分支网络获得目标本体面部特征和目标本体行为特征的方法包括：将目标本体图像输入至目标本体分支网络的目标本体面部特征提取单元，获得目标本体面部特征；将目标本体图像输入至目标本体分支网络的目标本体行为特征提取单元，获得目标本体行为特征；所述目标本体面部特征提取单元和目标本体行为特征提取单元包括
CNN
网络模块和注意力机制模块；所述
CNN
网络模块内依次设置有卷积层
、
批量归一化层和
GELU
激活函数层；所述注意力机制模块设置为
ECA
注意力机制；将目标本体图像依次输入至卷积层
、
批量归一化层和
GELU
激活函数层获得特征图
Y
Oi
，同时将目标本体图像输入至注意力机制模块获得注意力权重
ω
i
，将特征图
Y
Oi
和注意力权重
ω
i
进行点乘输出目标本体面部特征或目标本体行为特征
。4.
根据权利要求1所述的情绪识别方法，其特征在于，将区域环境图像输入至情绪识别模型的环境影响分支网络获得环境影响特征
f
E
的方法包括：将区域环境图像输入至环境影响分支网的
FPN
特征提取模块获得特征金字塔
P
＝
{P2，
P3，
P4，
P5}
；将特征金字塔
P
＝
{P2，
P3，
P4，
P5}
依次输出至全局平均汇聚层和两层全连接层，输出环境影响特征
f
E
。5.
根据权利要求4所述的情绪识别方法，其特征在于，将区域环境图像输入至环境影响分支网的
FPN
特征提取模块获得特征金字塔
P
＝
{P2，
P3，
P4，
P5}
的方法包括：将区域环境图像输入至环境影响分支网的
FPN
特征提取模块，所述
FPN
特征提取模块包
括
VGG
网络单元
K1、VGG
网络单元
K2、VGG
网络单元
K3、VGG
网络单元
K4和
VGG
网络单元
K5；由
VGG
网络单元
K1、VGG
网络单元
K2、VGG
网络单元
K3、VGG
网络单元
K4和
VGG
网络单元
K5对所述区域环境图像依次进行下采样处理，通过
VGG

【专利技术属性】
技术研发人员：丁飞，都秉甲，李泽群，周启航，陈竺，张登银，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：