一种基于伪孪生网络的多模态情感分析方法及其系统技术方案

技术编号:41380219 阅读:61 留言:0更新日期:2024-05-20 10:22
本发明专利技术提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块,挖掘并融合多个尺度的脑电的时间和空间情感感知特征,提炼更深度更有效的脑电内在本征特征;同时,利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外,为了进一步学习模态间的关系,本发明专利技术使用含有双分支子网的伪孪生网络变换每个模态的情感特征,并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合,学习不同模态对情感识别的权重参与到模型分类决策,实现多模态情感特征的一致性和互补性,从而提高模型的性能和泛化能力。

【技术实现步骤摘要】

本专利技术属于脑神经科学领域的生理信号情绪分析,是一种基于伪孪生网络的多模态情感分析方法及其系统


技术介绍

1、情感在人类生活中扮演着重要的角色。通常识别情绪是为了促进适当的互动。然而,在有情绪表达障碍的疾病群体中,个体往往很难通过面部表情准确地表达自己的内心感受。例如,患有焦虑症和行为障碍的人往往难以有效地表达自己的情绪。为了准确地评估患者的情绪表达并帮助医生做出明智的决定,研究人员已经将情绪识别确定为人工智能、医学和计算机科学的一个重要研究领域。

2、目前,情感分析的方法主要分为生理信号和非生理信号两大类。非生理信号是人类情绪的外部显示,通常利用声音特征、面部表情和身体动作来进行情绪识别。然而,这些信号容易被隐藏或干扰,从而影响分析的准确性。为了提高情绪识别的可靠性,许多研究者致力于利用生理信号进行情绪分析的研究。生理信号包括脑电、眼电、肌电、皮肤电等信号,它们源于机体的生理过程和活动,直接反映机体内部的生理状态。它们不受认知因素的影响,具有客观性。因此,利用生理信号准确捕捉个体真实的情绪状态被认为是一种可靠的情感分析方法。

本文档来自技高网...

【技术保护点】

1.一种基于伪孪生网络的多模态情感分析方法,其特征在于所述方法包括以下步骤:

2.根据权利要求1所述方法,其特征在于步骤二中,所述脑电特征采用脑电信号的微分熵特征。

3.根据权利要求1或2所述方法,其特征在于步骤二中,所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度特征和Hjorth特征的拼接结果。

4.根据权利要求1所述方法,其特征在于步骤四中,所述EEG处理模块包括三个路径、输出层,分别为自下而上路径、自上而下路径和横向连接;

5.根据权利要求4所述方法,其特征在于步骤四所述自下而上路径中,第一至第三...

【技术特征摘要】

1.一种基于伪孪生网络的多模态情感分析方法,其特征在于所述方法包括以下步骤:

2.根据权利要求1所述方法,其特征在于步骤二中,所述脑电特征采用脑电信号的微分熵特征。

3.根据权利要求1或2所述方法,其特征在于步骤二中,所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度特征和hjorth特征的拼接结果。

4.根据权利要求1所述方法,其特征在于步骤四中,所述eeg处理模块包括三个路径、输出层,分别为自下而上路径、自上而下路径和横向连接;

5.根据权利要求4所述方法,其特征在于步骤四所述自下而上路径中,第一至第三卷积块结构相同均包括依次串联的深度可分离卷积、批...

【专利技术属性】
技术研发人员:孔万增殷燕燕唐佳佳
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1