基于多模态前缀和跨模态注意力的情感分析方法及系统技术方案

技术编号:40520906 阅读:24 留言:0更新日期:2024-03-01 13:39
本发明专利技术公开了基于多模态前缀和跨模态注意力的情感分析方法及系统;其中方法,包括:获取待情感分析的视频片段;所述待情感分析的视频片段包括:语音、文本和图像三种模态数据;将待情感分析的视频片段,输入到训练后的多模态情感分析模型中,输出多模态情感分析结果;其中,训练后的多模态情感分析模型,用于:对视频片段中的语音、文本和图像分别进行编码,得到语音特征、文本标记序列和视觉特征;对语音特征和视觉特征分别进行前缀生成,得到语音前缀标记和视觉前缀标记;将语音前缀标记和视觉前缀标记进行串联拼接,将拼接结果添加到文本标记序列中,得到修正后的文本标记序列;对修正后的文本标记序列进行情感分类,得到情感分类标签。

【技术实现步骤摘要】

本专利技术涉及情感分析,特别是涉及基于多模态前缀和跨模态注意力的情感分析方法及系统


技术介绍

1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
,并不必然构成现有技术。

2、情感分析旨在提取对一个实体的潜在态度和意见。传统的情感分析方法主要针对文本。然而,随着技术的发展,人们开始使用音频、图像、视频的方式表达自己的意见和情感。因此,多模态情感分析(msa)模型开始被广泛提出。与单一模态情感分析相比较,多模态情感分析可以取得更好的预测结果,因为多种模态数据之间的互补关系可以更深入的分析情感。

3、在实现本专利技术的过程中,专利技术人发现现有技术中存在以下技术问题:

4、现有技术对情感分析的过程中往往只考虑单模态的数据,而且,数据集不能够被充分利用导致模型训练后的精度不够高;

5、现有技术对情感分析的过程中没有考虑跨模态数据融合,导致情感分析结果不够准确。


技术实现思路

1、为了解决现有技术的不足,本专利技术提供了基于多模态前缀和跨模态注意力的情感分析方法及系本文档来自技高网...

【技术保护点】

1.基于多模态前缀和跨模态注意力的情感分析方法,其特征是,包括:

2.如权利要求1所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述多模态情感分析模型,其网络结构包括:

3.如权利要求2所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述音频前缀生成模块和视觉前缀生成模块的内部结构是一样的,所述音频前缀生成模块,包括:

4.如权利要求3所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述音频前缀生成模块和视觉前缀生成模块的工作过程是一样的,其中,音频前缀生成模块的工作过程,包括:

5.如权利要求4所述的...

【技术特征摘要】

1.基于多模态前缀和跨模态注意力的情感分析方法,其特征是,包括:

2.如权利要求1所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述多模态情感分析模型,其网络结构包括:

3.如权利要求2所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述音频前缀生成模块和视觉前缀生成模块的内部结构是一样的,所述音频前缀生成模块,包括:

4.如权利要求3所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,所述音频前缀生成模块和视觉前缀生成模块的工作过程是一样的,其中,音频前缀生成模块的工作过程,包括:

5.如权利要求4所述的基于多模态前缀和跨模态注意力的情感分析方法,其特征是,...

【专利技术属性】
技术研发人员:朱振方李萌李克峰亓江涛裴洪丽张广渊王朋
申请(专利权)人:山东交通学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1