本申请实施例公开了一种多模态情感分析方法、装置及电子设备。该多模态情感分析方法能够基于目标视频的至少三个单模态数据通过特征级融合及决策级融合的混合融合策略进行情感分析，相较于单模态情感分析模型，融合多模态特征的情感分析方法更好地利用多种模态之间的交互信息以更有效地反映用户的真实情感，且通过结合混合融合策略进行情感分析能有效提高情感分析结果的准确性。效提高情感分析结果的准确性。效提高情感分析结果的准确性。
【技术实现步骤摘要】
一种多模态情感分析方法、装置及电子设备
[0001]本申请涉及信息处理
，特别是涉及一种多模态情感分析方法、装置及电子设备。
技术介绍
[0002]随着科学技术的快速发展，许多社交网站应运而生，如微博、贴吧等，大量用户在社交网站以文本、音频、视频等多种方式来发表观点，海量社交媒体数据的形态不再局限于单一的文本模态，而是呈现为庞大的多样化的模态信息，如文本模态、视觉模态及语音模态等。近年来，基于单模态数据的情感分析方法在用户满意度分析、舆情监控等方面取得了丰富的成果，但这些方法不能有效处理多个模态数据，不能充分利用信息的多样性。
[0003]为了充分利用多个模态数据中蕴藏的信息，多模态情感分析(Multimodal Sentiment Analysis)逐渐成为情感分析领域的研究热点。多模态情感分析是在单模态情感分析的基础上，从文本、图像或音频等数据中对用户观点、情感状态等进行挖掘的研究。多模态数据往往蕴含着更丰富的情感信息，通过对文本、音频和视频等多种模态数据进行信息挖掘并有效地融合利用，可以更好地指导分析减少分类错误，从而提高情感分析结果的准确性。这对于舆情监控、商品推荐和研究用户反馈等众多实际应用具有重大的应用价值。
[0004]多模态情感分析除了需要捕获单个模态的内部特征，还需要研究如何整合文本、语音、视频等多模态数据的特征，从中获得更加丰富、准确的多模态特征表示，提高多模态情感分析模型的有效性与鲁棒性。在多模态数据融合中，存在特征级融合(feature
‑
level fusion)与决策级融合(decision
‑
level fusion)两种融合机制。特征级融合通常是将多种模态的特征向量进行拼接，形成融合的多模态特征向量，实现多模态信息的交互。决策级融合机制首先将每个模态的特征进行独立分析，将分析结果融合为决策向量以获得最终的决策结果。在决策级融合中，首先为每种模态建立不同的模型，然后通过平均、加权求和、多数投票或深度神经网络来组合它们的决策。决策级融合的优点是模块化程度较高，可以通过对输出层的微调，从预先训练的单模态模型中构建多模态模型。
[0005]上述的多模态情感分析方法通常在特定视图的动态建模方面有很强的能力，其性能也优于单模态模型。然而，该融合机制在跨模态建模方面存在不足，不能很好的捕捉多种模态之间的联系。
[0006]当然，目前也有研究混合融合类的情感分析模型。混合融合是特征级融合和决策级融合的结合，这种融合方法结合了特征级融合和决策级融合的优点。比如，Gunes等人结合视频中的面部表情和姿态提出一种基于视觉的多模态情感分析框架，从视频序列中自动识别面部表情和手势特征进行特征级融合，随后将分析结果用乘积和加权的方法进行决策级融合得到最终的识别结果。因此，已有的混合融合策略在进行特征级和决策级融合时，进行融合的模态较为单一，不能很好的学习多个模态数据之间的交互信息，情感分析结果准确率并不是很高。
[0007]因此，在进行情感分析时，如何有效提高多个模态数据之间的信息融合度以提高情感分析结果，成为需要本领域技术人员解决的技术问题。
技术实现思路
[0008]本申请提供了一种多模态情感分析方法、装置及电子设备，能够有效提高多个模态数据之间的信息融合度以提高情感分析结果准确性。
[0009]本申请提供了如下方案：
[0010]第一方面，提供一种多模态情感分析方法，所述多模态情感分析方法包括：
[0011]基于任一目标视频在任一单位时间内的至少三个单模态数据分别获得相应的至少三个深度上下文特征；
[0012]基于所述至少三个深度上下文特征进行特征级融合以分别获得第一多模态特征及第二多模态特征；
[0013]对所述第一多模态特征及所述第二多模态特征进行决策级融合以获得所述任一目标视频在任一单位时间的目标情感类别。
[0014]在一种较佳的实施方式中，所述基于任一目标视频在任一单位时间内的至少三个单模态数据分别获得相应的至少三个深度上下文特征，包括：
[0015]分别提取任一目标视频的任一单位时间内的至少三个单模态数据；
[0016]基于所述至少三个单模态数据分别通过与当前单模态数据对应的BiGRU网络获得至少三个深度上下文特征；
[0017]将所述至少三个深度上下文特征通过全连接层均映射到相同的维度。
[0018]在一种较佳的实施方式中，基于所述至少三个深度上下文特征进行特征级融合以分别获得第一多模态特征及第二多模态特征，包括：
[0019]基于相同维度的所述至少三个深度上下文特征进行两两双模态注意力融合获得至少三个双模态特征；
[0020]基于所述至少三个双模态特征中的任一双模态特征，以及所述任一双模态特征所不包括的深度上下文特征，通过注意力融合获得第一多模态特征；
[0021]基于所述至少三个双模态特征以及所述至少三个深度上下文特征，通过拼接融合获得第二多模态特征。
[0022]在一种较佳的实施方式中，所述基于所述至少三个双模态特征中的任一双模态特征，以及所述任一双模态特征所不包括的深度上下文特征，通过注意力融合获得第一多模态特征，包括：
[0023]基于所述至少三个双模态特征中的任一双模态特征通过全连接层降维，以与所述任一双模态特征所不包括的深度上下文特征维度一致；
[0024]将降维后的所述至少三个双模态特征中的任一双模态特征与所述任一双模态特征所不包括的深度上下文特征的转置，通过矩阵乘积得到相应的三模态交互矩阵；
[0025]基于任意一个所述三模态交互矩阵及相应的双模态特征所不包括的深度上下文特征获得相应的三模态注意力矩阵；
[0026]基于任意一个三模态注意力矩阵及相应的双模态特征矩阵获得相应的三模态交互注意力矩阵；
[0027]基于所有所述三模态交互注意力矩阵拼接获得所述第一多模态特征。
[0028]在一种较佳的实施方式中，所述基于任意一个三模态交互矩阵及相应的双模态特征所不包括的深度上下文特征获得相应的三模态注意力矩阵，包括：
[0029]基于任意一个三模态交互矩阵，通过Softmax函数计算得到相应的三模态概率分布矩阵；
[0030]基于所述三模态概率分布矩阵及相应双模态特征所不包括的深度上下文特征，通过矩阵乘积得到相应的三模态注意力矩阵。
[0031]在一种较佳的实施方式中，所述基于任意一个三模态注意力矩阵及相应的双模态特征矩阵获得相应的三模态交互注意力矩阵，包括：
[0032]基于任意一个三模态注意力矩阵及相应的双模态特征矩阵通过哈达玛乘积操作获得相应的三模态交互注意力矩阵。
[0033]在一种较佳的实施方式中，所述基于所述至少三个双模态特征以及所述至少三个深度上下文特征，通过拼接融合获得第二多模态特征，包括：
[0034]将所述至少三个双模态特征进行拼接获得拼接后三模态特征；
[0035]将所述拼接后三模态本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态情感分析方法，其特征在于，所述分析方法包括：基于任一目标视频在任一单位时间内的至少三个单模态数据分别获得相应的至少三个深度上下文特征；基于所述至少三个深度上下文特征进行特征级融合以分别获得第一多模态特征及第二多模态特征；对所述第一多模态特征及所述第二多模态特征进行决策级融合以获得所述任一目标视频在任一单位时间的目标情感类别。2.如权利要求1所述的多模态情感分析方法，其特征在于，所述基于任一目标视频在任一单位时间内的至少三个单模态数据分别获得相应的至少三个深度上下文特征，包括：分别提取任一目标视频的任一单位时间内的至少三个单模态数据；基于所述至少三个单模态数据分别通过与当前单模态数据对应的BiGRU网络获得至少三个深度上下文特征；将所述至少三个深度上下文特征通过全连接层均映射到相同的维度。3.如权利要求1所述的多模态情感分析方法，其特征在于，基于所述至少三个深度上下文特征进行特征级融合以分别获得第一多模态特征及第二多模态特征，包括：基于相同维度的所述至少三个深度上下文特征进行两两双模态注意力融合获得至少三个双模态特征；基于所述至少三个双模态特征中的任一双模态特征，以及所述任一双模态特征所不包括的深度上下文特征，通过注意力融合获得第一多模态特征；基于所述至少三个双模态特征以及所述至少三个深度上下文特征，通过拼接融合获得第二多模态特征。4.如权利要求3所述的多模态情感分析方法，其特征在于，所述基于所述至少三个双模态特征中的任一双模态特征，以及所述任一双模态特征所不包括的深度上下文特征，通过注意力融合获得第一多模态特征，包括：基于所述至少三个双模态特征中的任一双模态特征通过全连接层降维，以与所述任一双模态特征所不包括的深度上下文特征维度一致；将降维后的所述至少三个双模态特征中的任一双模态特征与所述任一双模态特征所不包括的深度上下文特征的转置，通过矩阵乘积得到相应的三模态交互矩阵；基于任意一个所述三模态交互矩阵及相应的双模态特征所不包括的深度上下文特征获得相应的三模态注意力矩阵；基于任意一个三模态注意力矩阵及相应的双模态特征矩阵获得相应的三模态交互注意力矩阵；基于所有所述三模态交互注意力矩阵拼接获得所述第一多模态特征。5.根据权利要求4所述的多模态情感分析方法，其特征在于，所述基于任意一个三模态交互矩阵及相应的双模态特征所不包括的深度上下文特征获得相应的三模态注意力矩阵，包括：基于任意一个三模态交互矩阵，通过Softmax函数计算得到相应的三模态概率分布矩阵；基于所述三模...
【专利技术属性】
技术研发人员：刘志中，周斌，孟令强，初佃辉，黄光玉，
申请(专利权)人：烟台大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。