一种基于单模态和多模态联合训练的情感分析方法及系统技术方案

本发明专利技术公开了一种基于单模态和多模态联合训练的情感分析方法及系统，涉及多模态情感分析技术领域。为了兼顾多模态的交互和独立，本发明专利技术提出了一种名为JTUM的融合策略，该策略包含了三个单模态任务和多模态任务。在单模态任务中，使用单模态标签生成模块来获得独立的单模态监督，学习单模态表示。在多模态任务中，使用crossmodal transformer来学习多模态序列之间的交互。最后，使用自注意力机制收集时间信息优化预测结果。本发明专利技术的方法既关注了单个模态的特性，又关注了跨模态间的相互作用，提高了预测模型的鲁棒性能够获得更为准确的情感分析结果，为平台智能管理和兴趣推荐等大数据处理技术的应用提供了重要的技术辅助。数据处理技术的应用提供了重要的技术辅助。数据处理技术的应用提供了重要的技术辅助。

【技术实现步骤摘要】
一种基于单模态和多模态联合训练的情感分析方法及系统


[0001]本专利技术涉及多模态情感分析
，尤其涉及一种基于单模态和多模态联合训练的情感分析方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着智能产品的丰富和社交媒体的迅速发展，人类的表达方式不再局限于文字形式，越来越多的人开始利用视觉和音频来表达情感，多模态数据呈现出了爆发式的增长。多模态情感分析旨在通过文本、视觉和音频等多模态信号来预测多模态数据中表达的情感。多模态情感分析在风控、舆情监督、社交平台、电商平台评价和兴趣推荐等领域都有重要的应用。因此，如何有效的对多个模态进行融合是多模态情感分析的关键。
[0004]在以往的研究中，研究者从多个角度提出了一些融合方法。基于拼接串联或加权等简单操作的融合方法，基于注意力机制的融合方法，基于张量的融合方法。然而，这些方法都缺少对于多模态交互信息和单模态独立信息的共同关注。针对这个问题，Hazarika等人设计了包括模态不变和模态特定表示两个子空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单模态和多模态联合训练的情感分析方法，其特征在于，包括以下步骤：获取视频片段，提取文本、音频和视觉三种模态；对三种模态分别进行编码得到单独的特征向量表示；针对模态的独立性和交互性分别建立单模态任务和多模态任务；将三种模态的特征向量输入单模态任务获得每个模态的单模态标签；将三种模态的特征向量输入多模态任务进行两两模态交互，得到三种跨模态交互后的模态表示；利用三种跨模态交互后的模态表示结合自注意力机制输出多模态任务的预测结果；在单模态标签和多模态标签的监督下联合训练单模态任务和多模态任务，将训练后多模态任务输出的预测结果作为情感分析的最终结果。2.如权利要求1所述的基于单模态和多模态联合训练的情感分析方法，其特征在于，对三种模态分别进行编码得到单独的特征向量表示的具体步骤为：对于文本模态，使用12层的BERT，并将最后一层输出的头部词向量作为文本模态特征向量表示；对于视觉和音频模态，先利用特征提取器进行特征抽取，再使用堆叠的LSTM对视觉和音频模态分别进行编码，最后，把最后一层的首个词向量作为整个序列的表示，得到视觉模态特征向量表示和音频模态特征向量表示。3.如权利要求1所述的基于单模态和多模态联合训练的情感分析方法，其特征在于，单模态任务和多模态任务共享编码后的特征向量表示。4.如权利要求1所述的基于单模态和多模态联合训练的情感分析方法，其特征在于，将三种模态的特征向量输入单模态任务获得每个模态的单模态标签的具体步骤为：将三种模态的特征向量输入到全连接层；通过线性回归得到单模态预测结果和单模态表示；使用ULGM根据单模态预测结果得到单模态标签。5.如权利要求4所述的基于单模态和多模态联合训练的情感分析方法，其特征在于，使用ULGM根据单模态预测结果得到单模态标签的具体步骤为：分别计算三个单模态表示和一个融合模态表示正负样本的中心点；计算出每个模态表示到正负样本中心点的相对距离；根据相对距离得到单模态标签与多模态标签的比值关系；根据单模态标签与多模态标签的比值关系计算出偏移量，从而得到单模态标签。6.如权利要求1所述的基于单模态和多模态联合训练的情感分析方法，其特征在于，将三种模态的特征向量输入多模态任务进行两两模态交互，得到三种跨模态交互后的模态表示的...

【专利技术属性】
技术研发人员：朱振方，李萌，李克峰，亓江涛，裴洪丽，张广渊，王朋，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：