面向不确定模态缺失的多模态情感分析方法及系统技术方案

本发明专利技术提出了面向不确定模态缺失的多模态情感分析方法及系统，涉及数据处理技术领域，具体方案包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；本发明专利技术基于模态翻译模块，将视觉和音频模态翻译成文本模态，提高视觉和音频模态质量并且能够捕获不同模态之间的深层交互；通过对完整模态进行预训练，得到完整模态的联合特征来指导缺失模态的联合特征向完整模态的联合特征逼近，不需要考虑有哪种模态缺失，只需要向完整模态的联合特征向量逼近即可，具有更强的通用性。具有更强的通用性。具有更强的通用性。

【技术实现步骤摘要】
面向不确定模态缺失的多模态情感分析方法及系统


[0001]本专利技术属于数据处理
，尤其涉及面向不确定模态缺失的多模态情感分析方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前，在信息化与智能化快速发展的环境下，多模态情感分析(MSA)在自然人机交互、个性化广告、意见挖掘和决策等领域发挥了极大的作用；该技术致力于通过文本、语音或面部表情等不同方式来识别人类情感；近年来，随着移动互联网和智能终端的快速发展，越来越多的用户通过推特、微博等社交平台表达自己的观点和感受，产生了大量的社交数据；社交平台上的数据已经从单一的文本形式发展为多模态数据，例如文本、音频和图像。
[0004]与单模态数据相比，多模态数据包含更加丰富的信息，更有利于识别用户的真实情感；当前，多模态情感分析引起了广泛的关注，已经成为人工智能领域的研究热点，并且出现了多种有效的多模态情感分析模型；例如：基于循环神经网络的多模态情感分析模型、基于Transformer的多模态情感分析模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向不确定模态缺失的多模态情感分析方法，其特征在于，包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；其中，所述多模态情感分析网络包括模态翻译模块，所述模态翻译模块是基于多头自注意力机制提取三种模态数据的单模态特征，并使用Transformer解码器对Transformer编码器进行监督，使视觉特征和音频特征逼近文本特征，从而将视觉特征和音频特征翻译成文本特征。2.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法，其特征在于，所述基于多头自注意力机制提取三种模态数据的单模态特征，具体为：使用Transformer编码器提取每种模态的上下文特征；对提取的上下文特征进行残差连接，并进行归一化；对归一化之后的上下文特征进行线性变换，得到三种模态数据的单模态特征。3.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法，其特征在于，所述使用Transformer解码器对Transformer编码器进行监督，具体为：以文本特征作为多头注意力机制的Quary、待翻译的模态特征作为多头注意力机制的Key和Value，构建Transformer解码器；通过待翻译的模态特征与Transformer解码器输出的文本特征之间的翻译损失，监督Transformer编码器将待翻译的模态特征向文本特征进行翻译。4.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法，其特征在于，所述多模态情感分析网络还包括公共空间投影模块；所述公共空间投影模块是对模态翻译后的三种模态特征进行线性变换，获取各模态的自相关公共空间，将其融合为缺失模态的联合特征。5.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法，其特征在于，所述多模态情感分析网络还包括预训练模块和Transformer编码器模块；所述预训练模块，使用所有完整的模态数据对多模态情感分析网络进行预...

【专利技术属性】
技术研发人员：刘志中，周斌，初佃辉，孟令强，孙宇航，
申请(专利权)人：烟台大学，
类型：发明
国别省市：