基于面部图像和文本特征诱发的多模态情感识别方法技术

技术编号:43878286 阅读:31 留言:0更新日期:2024-12-31 19:00
本发明专利技术公开了一种基于面部图像和文本特征诱发的多模态情感识别方法,包含:获取若干面部图像组成图像集并进行人工标记;获取若干文本组成文本集并进行人工标记;将图像集和文本集根据标记结果进行交叉组合构成包含若干图像‑文本刺激材料的刺激组合集;采集受试者在不同组合刺激材料下的EEG信号和EOG信号;对EEG信号和EOG信号进行预处理;对预处理之后的EEG信号和EOG信号提取各自的EEG特征和EOG特征;通过提取的EEG特征和EOG特征训练预测模型,通过训练好的预测模型对用户发布的图文动态进行情感预测。本发明专利技术的基于面部图像和文本特征诱发的多模态情感识别方法,能够对用户发布的图文数据进行情感识别。

【技术实现步骤摘要】

本专利技术属于情感信号处理,具体涉及一种基于面部图像和文本特征诱发的多模态情感识别方法


技术介绍

1、随着人工智能的快速发展,情感计算逐渐成为一个热门研究话题。而情感数据是情感计算相关领域的研究对象,它是进行后续研究的必要保障。优质的情感数据能够提升整个研究的水平,保障研究课题的可靠性。所以,建立情感数据库对情感计算相关研究很有必要。

2、人的情感与感官体验紧密相关,而传统的数据集相对而言最多只能从两种感官进行刺激。大多都是由图片(视觉)、音频(听觉)、视频(视觉和听觉)等单一刺激诱发的情感,在刺激感官的数量上较为单调,所诱发的情感也相对较弱。

3、社交媒体平台,尤其是小红书这种以用户生成内容,分享自己的生活与体验为主的社交平台,往往包含大量用户的面孔图片信息,以及表达个人感受的文本信息,如果文本内容能与图片内容相融洽,则会相辅相成,营造出更浓烈的情感氛围。但倘若结合的不好,就会产生互斥性,使用户剥离整体营造的情景,情感出现不可控式变化。

4、另外,多模态情绪的特征表达和多模态融合方法是多模态情绪识别的两大关键问题。良本文档来自技高网...

【技术保护点】

1.一种基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,包含:

2.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

3.根据权利要求2所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

4.根据权利要求3所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

5.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

6.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

<p>7.根据权利要求...

【技术特征摘要】

1.一种基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,包含:

2.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

3.根据权利要求2所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

4.根据权利要求3所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

5.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法,其特征在于,

...

【专利技术属性】
技术研发人员:潘煜韦维金佳方俊兵
申请(专利权)人:贵州师范学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1