一种基于多模态数据的情感分析方法技术

一种基于多模态数据的情感分析方法，包括以下操作：将至少三种单模态数据进行单模态深度上下文特征提取处理，生成至少三种单模态深度上下文特征信息；将所述至少三种单模态深度上下文特征信息进行跨模态融合处理，生成至少六种跨模态特征信息；将所述至少六种跨模态特征信息进行双模态注意力机制融合处理，生成至少三种一级多模态特征信息；将所述至少三种一级多模态特征信息进行拼接融合处理，生成二级多模态融合特征信息和三级多模态融合特征信息；将所述二级多模态融合特征信息和三级多模态融合特征信息进行决策级融合处理，生成多模态情感分类结果。该方法能够兼顾模态信息之间的连贯性和交互性，获得的结果具有较高的准确度。度。度。

【技术实现步骤摘要】
一种基于多模态数据的情感分析方法


[0001]本专利技术涉及数据处理
，具体为一种基于多模态数据的情感分析方法。

技术介绍

[0002]近年来，随着各种社交媒体和社交网络的流行，越来越多的用户使用包含文本、音频、图像在内的多模态数据(例如：发布在YouTube、Tik Tok等平台的视频、发布在Facebook的图片、文字评论等)在社交媒体上表达自己的看法或观点。大量的多模态数据中蕴含着丰富的情感信息，利用两个及两个以上模态数据预测情感信息的过程，称为多模态情感分析(Multimodal Sentiment Analysis，MSA)。多模态数据进行情感分析将有利于了解用户对某些事件的态度和看法，在舆论分析、商品推荐、抑郁症治疗反馈等方面具有很大的应用价值。此外，近年来的研究表明，与单模态情感分析模型相比，多模态情感分析模型在处理社交媒体情感数据时具有更强的鲁棒性，并在情感分析准确率方面取得了显著的改进。
[0003]随着机器学习在多模态情感分析领域中表现出强大的学习能力以及广泛应用，多模态情感分析取得了不错的研究成果。多模态情感分析除了需要充分挖掘每个模态内部的情感信息之外，其核心挑战是对多模态数据之间的交互融合进行建模。因为，不同模态数据之间通常包含补充信息，多模态数据交互融合能够学习到多模态数据之间的互补信息和重要性差异。
[0004]在多模态情感分析领域，传统的情感分析方法主要使用特征级融合方法和决策级融合方法对文本、音频和图像等多模态数据进行融合。目前，已经提出了大量的情感分析深度学习模型。例如：基于上下文感知的RNN模型(Recurrent Neural Networks，循环神经网络)能够有效地利用和捕获所有模态对话的上下文情感信息，使当前情感信息包含上下文信息，能够发现上下文信息对当前情感信息的影响，有效地分析当前的情感状态；MISA(Machine Intelligence Service Assistant，机器智能服务助理)的多模态情感分析框架，能把每个模态划分为两个不同的子空间用来学习模态表示，以帮助模态数据融合过程；张量融合网络模型中三次使用笛卡尔积分别对文本、图像、音频中的单模态、双模态、三模态特征进行建模，但其复杂度较高，不便于操作；一种门控多模态单元模型，该模型使用乘法门决定模态如何影响单元的激活；一种多模态注意网络，使用一种多模态聚焦机制，选择性融合三个模态信息。以上模型在多模态数据输入时直接将多模态特征向量进行拼接融合，忽略了不同模态特征之间的语义差异，没有建立起不同模态间的交互关系，并且存在较大噪声干扰。
[0005]近年来，基于注意力机制的多模态数据融合方法被广泛应用，其中最具代表性的模型是Transformer，该模型利用多头注意力机制来学习模态信息之间的依赖关系，并且可以实现并行化处理，能够有效地提高多模态机器学习模型的效率。现有技术当中将Transformer应用到多模态情感分析模型中，能够取得了较好的效果。现有技术已在基于Transformer的多模态情感分析模型上来融合不同模态特征，该方法在Transformer的基础上引入了模态强化单元，利用来自源模态的信息强化目标模态，从而实现异步序列的多模
态融合。
[0006]在多模态情感分析中，现有技术往往很难考虑单模态内部特征的表示，也很难考虑到模态之间的交互，不能很好地兼顾模态之间人类情绪之间的连贯性和多模态情感数据之间的特征交互融合。

技术实现思路

[0007]本专利技术的目的是提供了一种基于多模态数据的情感分析方法，能够兼顾模态的连贯性和交互性，获得较为准确的多模态情感分类结果。
[0008]本专利技术技术方案如下：一种基于多模态数据的情感分析方法，包括以下操作：将至少三种单模态数据进行单模态深度上下文特征提取处理，生成至少三种单模态深度上下文特征信息；将所述至少三种单模态深度上下文特征信息进行跨模态融合处理，生成至少六种跨模态特征信息；将所述至少六种跨模态特征信息进行双模态注意力机制融合处理，生成至少三种一级多模态特征信息；将所述至少三种一级多模态特征信息进行拼接融合处理，生成二级多模态融合特征信息和三级多模态融合特征信息；将所述二级多模态融合特征信息和三级多模态融合特征信息进行决策级融合处理，生成多模态情感分类结果。
[0009]如上所述的一种基于多模态数据的情感分析方法，所述生成至少六种跨模态特征信息的操作中，具体包括：将任意一种所述至少三种单模态深度上下文特征信息作为目标模态信息，其他任意一种单模态深度上下文特征信息作为辅助模态信息，经Transformer的跨模态融合处理，得到所述至少六种跨模态特征信息。
[0010]其中，所述经Transformer的跨模态融合处理的过程中，Transformer的跨模态融合具体包括位置编码层处理、多头注意力机制层Ⅰ处理、残差连接和归一化层处理、前馈神经网络层处理和残差连接和归一化层Ⅱ处理；将所述目标模态信息和辅助模态信息进行位置编码层处理，得到位置信息；将所述位置信息进行多头注意力机制层处理，得到目标辅助模态特征信息；将所述目标模态信息和目标辅助模态特征信息进行残差连接和归一化层Ⅰ处理，得到目标辅助模态稳定信息；将所述目标辅助模态稳定信息进行前馈神经网络层处理，得到目标辅助模态增强信息；将所述目标辅助模态稳定信息和目标辅助模态增强信息进行残差连接和归一化层Ⅱ处理，得到所述跨模态特征信息。
[0011]如上所述的一种基于多模态数据的情感分析方法，所述生成至少三种一级多模态特征信息的操作中，具体包括：基于所述至少六种跨模态特征信息中，含有相同目标模态信息的至少两种跨模态特征信息，经双模态注意力机制融合处理，得到所述至少三种一级多模态特征信息。
[0012]其中，所述经双模态注意力机制融合处理的操作中，具体包括：将所述含有相同目标模态信息的至少两种跨模态特征信息的向量及其分别对应的转置向量进行矩阵乘积分别运算，得到至少两种匹配矩阵；将所述至少两种匹配矩阵进行Softmax函数计算，得到至少两种概率分布分数；将所述至少两种概率分布分数和跨模态特征信息进行矩阵乘积和哈达玛乘积依次运算，得到至少两种注意力矩阵；将所有所述注意力矩阵进行拼接融合，得到所述一级多模态特征信息。
[0013]如上所述的一种基于多模态数据的情感分析方法，所述生成二级多模态融合特征信息和三级多模态融合特征信息中，具体包括，将所有所述一级多模态特征信息进行拼接
融合处理，得到所述二级多模态融合特征信息；将所述至少三种一级多模态特征信息中的任意两种一级多模态特征信息，以及所述任意两种一级多模态特征信息所不包括的单模态深度上下文特征信息进行拼接融合处理，得到至少三种次二级多模态融合特征信息，将所有所述次二级多模态融合特征信息进行拼接融合处理，得到所述三级多模态融合特征信息。
[0014]本专利技术还提供了一种基于多模态数据的情感分析装置，其特征在于，包括：单模态深度上下文特征提取模块，用于提取单模态深度上下文特征信息，生成单模态深度上下文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的情感分析方法，其特征在于，包括以下操作：将至少三种单模态数据进行单模态深度上下文特征提取处理，生成至少三种单模态深度上下文特征信息；将所述至少三种单模态深度上下文特征信息进行跨模态融合处理，生成至少六种跨模态特征信息；将所述至少六种跨模态特征信息进行双模态注意力机制融合处理，生成至少三种一级多模态特征信息；将所述至少三种一级多模态特征信息进行拼接融合处理，生成二级多模态融合特征信息和三级多模态融合特征信息；将所述二级多模态融合特征信息和三级多模态融合特征信息进行决策级融合处理，生成多模态情感分类结果。2.根据权利要求1所述的情感分析方法，其特征在于，所述生成至少六种跨模态特征信息的操作中，具体包括：将任意一种所述至少三种单模态深度上下文特征信息作为目标模态信息，其他任意一种单模态深度上下文特征信息作为辅助模态信息，经Transformer的跨模态融合处理，得到所述至少六种跨模态特征信息。3.根据权利要求2所述的情感分析方法，其特征在于，所述经Transformer的跨模态融合处理的过程中，Transformer的跨模态融合具体包括位置编码层处理、多头注意力机制层处理、残差连接和归一化层Ⅰ处理、前馈神经网络层处理和残差连接和归一化层Ⅱ处理；将所述目标模态信息和辅助模态信息进行位置编码层处理，得到位置信息；将所述位置信息进行多头注意力机制层处理，得到目标辅助模态特征信息；将所述目标模态信息和目标辅助模态特征信息进行残差连接和归一化层Ⅰ处理，得到目标辅助模态稳定信息；将所述目标辅助模态稳定信息进行前馈神经网络层处理，得到目标辅助模态增强信息；将所述目标辅助模态稳定信息和目标辅助模态增强信息进行残差连接和归一化层Ⅱ处理，得到所述跨模态特征信息。4.根据权利要求1所述的情感分析方法，其特征在于，所述生成至少三种一级多模态特征信息的操作中，具体包括：基于所述至少六种跨模态特征信息中，含有相同目标模态信息的至少两种跨模态特征信息，经双模态注意力机制融合处理，得到所述至少三种一级多模态特征信息。5.根据权利要求4所述的情感分析方法，其特征在于，所述经双模态注意力机制融合处理的操作中，具体包括：将所述含有相同目标模态信息的至少两种跨模态特征信息的向量及其分别对应的转置向量进行矩阵乘积分别运算，得到至少两种匹配矩阵；将所述至少两种匹配矩阵进行Softmax函数计算，得到至少两种概率分布分数；将所述至少两种概率分布分数和跨模态特征信息进行矩阵乘积和哈达玛乘积依次运算，得到至少两种注意力矩阵；将所有所述注意力矩阵进行拼接融合，得到所述一级多模态特征信息。

【专利技术属性】
技术研发人员：刘志中，黄光玉，孟令强，孙宇航，初佃辉，
申请(专利权)人：烟台大学，
类型：发明
国别省市：