【技术实现步骤摘要】
本公开涉及面部捕捉，具体为一种基于注意力机制的面部和情景情感识别方法。
技术介绍
1、自然环境下的场景中，如果通过视觉的角度去分析目标主体的情感，仅观察面部表情无法准确判断情感状态。由于人的情感与其所处的环境存在一定程度上的联系，周围其他人的情绪也会对目标人物有或多或少的影响，因此情景作为情感分析的辅助信息，在多模态情感分析中也十分重要。目前针对情景信息的研究大部分集中在静态图像，但是单张图片所包含的情景信息有限，视频数据能够包含更多的场景信息。目前lee等人研究了基于视频的情景情感识别方法，但是情景信息的特征提取模型较为简单，且仅使用空间注意力捕捉情景信息，忽略了通道注意力对于模型性能的提升。
2、近年来，结合场景上下文的面部表情识别方法成为了较为新颖的研究方向，使基于视觉的情感识别方法不再仅依赖人脸部分，能够从图像中非主体的情景信息中获得与目标人物情感状态相关的线索。有研究者受到心理学家的启发，认为人物所处的环境也是与目标人物情感状态有关联的重要信息，不能脱离周围的上下文信息对情感进行孤立的解释。场景情境包括人的周围环境...
【技术保护点】
1.一种基于注意力机制的面部和情景情感识别方法，包括面部情感识别方法和情景情感设别方法；其特征在于：
2.一种基于注意力机制的面部和情景情感识别方法，其特征在于：所述面部情感识别方法包括：利用人脸检测算法从数据集的视频序列中截取了被标注者的面部图像，缩放到统一的尺寸，根据每个被标注者的检测框编号，将其面部图像序列保存在以各自的编号命名的文件夹中。
3.一种基于注意力机制的面部和情景情感识别方法，其特征在于：所述面部情感识别在模型训练阶段将从每个人脸图像序列中随机抽取N帧图像作为输入，测试阶段将整段视频的图像序列作为输入；
4.根据权...
【技术特征摘要】
1.一种基于注意力机制的面部和情景情感识别方法，包括面部情感识别方法和情景情感设别方法；其特征在于：
2.一种基于注意力机制的面部和情景情感识别方法，其特征在于：所述面部情感识别方法包括：利用人脸检测算法从数据集的视频序列中截取了被标注者的面部图像，缩放到统一的尺寸，根据每个被标注者的检测框编号，将其面部图像序列保存在以各自的编号命名的文件夹中。
3.一种基于注意力机制的面部和情景情感识别方法，其特征在于：所述面部情感识别在模型训练阶段将从每个人脸图像序列中随机抽取n帧图像作为输入，测试阶段将整段视频的图像序列作为输入；
4.根据权利要求1所述的基于注意力机制的面部和情景情感识别方法，其特征在于：resnet18提取每一帧图像表情特征，经平均池化层和全连接层得到输出的特征图尺寸为宽w＝7，高h＝7，通道数c＝512；将resnet18处理输出的特征图，输入eca模块，经过全局平均池化后，得到一组1×1×c的特征向量，使用一维卷积对特征向量进行卷积操作，卷积核k的尺寸计算公式：
5.根据权利要求4所述的基于注意力机制的面部和情景情感识别方法，其特征在于：确定k值之后，通过对特征向量进行一维卷积得到与之尺寸相同的特征向量，实现局部的跨信道的信息交互；经过一个sigmoid函数之后，得到代表每个通道重要程度的权值，将其与对应的通道特征图相乘，得到经过加权的特征图，加权后的n个图像序列对应的特征向量为f＝{f1,...,fn}。
6.根据权利要求5所述的基于注意力机制的面部和情景情感识别方法，其特征在于：将eca模块通过添加一个identity连接的方式，整合到resnet的每一个basic block中残差连接之前的位置；identity连接与经过eca模块的输出通过对应位置元素相加的方式实现连接。
7.根据权利要求6所述的基于注意力机制的面部和情景情感识别方法，其特征在于：将特征向量f送入一层全连接层和一个sigmoid函数，生成对应每一帧图像的重要性权重，并将得到的权重与对应的特征相乘，结果为加权后的面部表情特征，其计算过程如下：
【专利技术属性】
技术研发人员：卢桂萍，王科俊，张小凤，杨涛，朱明超，
申请(专利权)人：北京理工大学珠海学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。