【技术实现步骤摘要】
一种基于情境感知的多模态情感识别方法和系统
[0001]本专利技术涉及情感识别
,尤其是涉及一种基于情境感知的多模态情感识别方法和系统。
技术介绍
[0002]情感识别作为人机情感交互的基础,能够使机器理解人的感性思维,影响着机器智能化的继续发展,成为人机自然交互的关键要素。近年来,基于多模态的情感识别技术越来越受到研究者的关注。该方法受到情感心理学研究的推动,旨在融合诸如面部表情,语音,身体手势以及步态等多种情感信号,通过多样的融合模式以提高情感识别的准确性和精度。
[0003]情境感知作为计算机视觉领域目前的热点研究,对于在真实场景中理解人类情感具有举足轻重的作用。通常人类所处的情境上下文中蕴含着丰富的语义信息,通过深度学习的方式在不同的情境上下文中感知人类的情感,利用从中抽取的多模态情感特征进行特征级别和决策级别的融合,往往可以获得人类主体之外更多的情感线索,以促进情绪表达和情感理解。
[0004]真实环境下的情境感知技术被用于多模态的情感识别是极具研究价值的新领域,目前尚未出现相关基于情景感知的 ...
【技术保护点】
【技术特征摘要】
1.一种基于情境感知的多模态情感识别方法,其特征在于,包括以下步骤:多模态信息采集步骤:采集用于情感识别的视频和真实世界图像,所述视频中包括待进行情感识别的人类主体和其它代理人;基于多模态行为表现的情感处理步骤:根据所述视频,提取面部表情特征、面部界标点、人体姿态和人体手势的特征向量,并通过初始特征级联的方式生成外在行为表现模态向量;基于场景上下文的情感分析步骤:通过为所述真实世界图像和视频中各视频帧中的人类主体添加蒙版,获取场景图像,然后进行场景情感语义的特征提取,得到第一情感特征向量;基于代理人群体交互的情感分析步骤:在所述真实世界图像和视频中各视频帧中分别提取人类主体和其它代理人信息,然后提取初始表征特征,将各初始表征特征作为情感节点馈送入图注意力网络中,构建情感关系图;根据该情感关系图,计算不同的其它代理人对人类主体的情感影响强度和程度,通过情感相似系数判断其它代理人交互产生的情感特征向量的权重大小,并与初始表征特征进行加权平均操作,得到第二情感特征向量;基于代理人和情境交互的情感分析步骤:通过为所述真实世界图像和视频中各视频帧中的其它代理人添加蒙版,获取场景图像,提取场景的初始特征;根据其它代理人的初始表征特征,建立基本特征图,对所述场景的初始特征和基本特征图进行特征聚合,得到第三情感特征向量;特征融合步骤:对所述外在行为表现模态向量、第一情感特征向量、第二情感特征向量和第三情感特征向量进行特征融合,得到融合特征向量;情感识别步骤:根据所述融合特征向量进行情感识别。2.根据权利要求1所述的一种基于情境感知的多模态情感识别方法,其特征在于,所述基于场景上下文的情感分析步骤中,进行场景情感语义的特征提取具体为:选取残差神经网络作为主体模型的骨干网络,所述残差神经网络中的多个残差连接块按顺序交替嵌入基于通道和空间的注意力机制模块形成完整的注意力提取网络,将所述场景图像载入该注意力提取网络中进行场景情感语义的特征提取。3.根据权利要求2所述的一种基于情境感知的多模态情感识别方法,其特征在于,所述基于通道和空间的注意力机制模块包括通道注意力机制和空间注意力机制,所述通道注意力机制包括:通过全局平均池化推理出一张1D的通道注意力图随后在输出层通过通道级别的乘法进行特征合并;所述空间注意力机制包括:通过全局最大池化层推理出一张2D的空间注意力图随后在输出层通过通道级别的乘法进行特征合并。4.根据权利要求1所述的一种基于情境感知的多模态情感识别方法,其特征在于,所述特征融合步骤中进行特征融合具体为:从所述外在行为表现模态向量、第一情感特征向量、第二情感特征向量和第三情感特征向量中选取强相关的特征向量和弱相关的特征...
【专利技术属性】
技术研发人员:张立华,杨鼎康,王顺利,邝昊鹏,黄帅,
申请(专利权)人:复旦大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。