基于模态异质性弥合与多模态动态图融合的情感分析方法技术

本发明专利技术公开了基于模态异质性弥合与多模态动态图融合的情感分析方法，方法包括：获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果，本发明专利技术的准确性高，可广泛应用于计算机技术领域。泛应用于计算机技术领域。泛应用于计算机技术领域。

【技术实现步骤摘要】
基于模态异质性弥合与多模态动态图融合的情感分析方法


[0001]本专利技术涉及计算机
，尤其是基于模态异质性弥合与多模态动态图融合的情感分析方法。

技术介绍

[0002]情感与日常生活密切相关，很多人经常在社交平台通过图文和视频等方式表达自己的情绪和观点。目前大多数研究者用面部表情信息、文本信息以及语音信息三种模态进行情感分析，多模态的情感分析有效解决了单模态的局限性，不同模态间信息相互补充能够提高情感分析的准确度。在多模态的情感分析任务中，主要面临多模态数据表征、多模态融合、多模态对齐等挑战。不同模态的信息在数据形式和处理方式上有很大差别，现在的很多方法都是将每个模态数据处理成序列结构，没有有效考虑到数据的非结构化性。此外，三种模态的数据存在差异，多模特数据进行融合之前和融合的过程中还需要考虑到模态间的异质性、噪声数据以及模态内和模态间的语义关系。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种准确性高的情感分析方法、装置、电子设备以及存储介质。
[0004]本专利技术实施例的一方面提供了一种基于模态异质性弥合与多模态动态图融合的情感分析方法，包括：
[0005]获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；
[0006]基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；
[0007]根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果。
[0008]可选地，所述获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态，包括：
[0009]获取视频数据；
[0010]从所述视频数据中提取音频特征、人脸特征和文本特征；
[0011]配置每个视频的情感极性；其中，所述情感极性包括消极情绪、积极情绪和中立态度；
[0012]其中，所述音频特征包含语气信息和情绪信息；所述人脸特征包含目标对象的面部信息。
[0013]可选地，所述基于模态间异质性弥合与多模态动态图融合，构建情感分析模型，包括：
[0014]将不同模态的情感数据分别输入到不同的网络模型中，对各个模态的情感数据进行特征提取和特征数据的标准化处理，得到每个模态的节点特征；
[0015]根据每个模态的节点特征，对每个模态进行单模态图的构建；
[0016]根据构建得到单模态图，进行模态间的差异弥合处理，得到目标模态特征；
[0017]根据所述目标模态特征构建多峰图并对此图进行多头注意力机制下的动态图融合处理，筛选得到多模态融合图；
[0018]根据所述多模态融合图，构建情感分析模块。
[0019]可选地，对于文本模态的情感数据，所述根据每个模态的节点特征，对每个模态进行单模态图的构建，包括：
[0020]通过双向长短期记忆神经网络提取节点表征信息；
[0021]根据所述节点表征信息，使用双向边构建文本模态的情感数据的单峰图。
[0022]可选地，对于音频模态和视频模态的情感数据，所述根据每个模态的节点特征，对每个模态进行单模态图的构建，包括：
[0023]通过模态特定的前馈神经网络对不同模态的情感数据进行处理，得到对应的视频、音频特征编码；
[0024]根据所述视频、音频特征编码，使用未加权的双向边构建视频和音频的单峰图。
[0025]可选地，所述根据构建得到单模态图，进行模态间的差异弥合处理，得到目标模态特征，包括：
[0026]将不同模态的单模态图输入到一个两层图卷积中进行图卷积处理，完成初步弥合；
[0027]在所述图卷积处理之后，通过全连接的前馈层和非线性指数性单元进行再次弥合，将三种单模态图投射到一个公共的嵌入空间，实现对模态间异质性差距的弥合。
[0028]可选地，所述根据所述目标模态特征构建多峰图并对此图进行多头注意力机制下的动态图融合处理，筛选得到多模态融合图，包括：
[0029]对三种模态的单模态图进行构建处理后，使用未加权的双向边把每一个文本、音频、视频节点进行全连接操作，构造了一个多模态图；
[0030]采取多层动态融合的方式，对多模态图进行动态融合；
[0031]其中，所述采取多层动态融合的方式，对多模态图进行动态融合，包括以下步骤：
[0032]使用多头注意力机制进行多模态图的融合，对于每一个节点都有若干个邻居节点，邻居节点的边缘入射到中心节点，根据节点的边缘的两个模态计算初始注意力分数；
[0033]通过Softmax对每一个节点进行正则化处理；
[0034]计算每个节点的输出特征；
[0035]对所有输出特征的输出信息进行拼接，得到节点表征；
[0036]经过融合计算，将节点从一个只包含单模态信息的节点转化为一个具有与其他模态信息的多峰节点，实现模态间的相互融合；
[0037]在每一层的融合操作后，计算每一条边的所有注意力头的平均注意力权重；
[0038]对所有边的平均注意力权重进行排序，筛选出多条权重数值最高的边，在下一层的融合操作中只有这些被筛选出来的边参与计算；
[0039]一层动态融合完成后，将输出的新的多模态图输入到下一层中，经过多次的融合和筛选，得到了最终的多模态融合图。
[0040]本专利技术实施例地另一方面还提供了一种基于模态异质性弥合与多模态动态图融合的情感分析装置，包括：
[0041]第一模块，用于获取不同模态的情感数据，所述不同模态包括视频模态、音频模态
和文本模态；
[0042]第二模块，用于基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；
[0043]第三模块，用于根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果。
[0044]本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0045]所述存储器用于存储程序；
[0046]所述处理器执行所述程序实现如前面所述的方法。
[0047]本专利技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0048]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0049]本专利技术的实施例首先获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果，本专利技术的准确性高。
附图说明
[0050]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，包括：获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果。2.根据权利要求1所述的一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，所述获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态，包括：获取视频数据；从所述视频数据中提取音频特征、人脸特征和文本特征；配置每个视频的情感极性；其中，所述情感极性包括消极情绪、积极情绪和中立态度；其中，所述音频特征包含语气信息和情绪信息；所述人脸特征包含目标对象的面部信息。3.根据权利要求1所述的一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，所述基于模态间异质性弥合与多模态动态图融合，构建情感分析模型，包括：将不同模态的情感数据分别输入到不同的网络模型中，对各个模态的情感数据进行特征提取和特征数据的标准化处理，得到每个模态的节点特征；根据每个模态的节点特征，对每个模态进行单模态图的构建；根据构建得到单模态图，进行模态间的差异弥合处理，得到目标模态特征；根据所述目标模态特征构建多峰图并对此图进行多头注意力机制下的动态图融合处理，筛选得到多模态融合图；根据所述多模态融合图，构建情感分析模块。4.根据权利要求3所述的一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，对于文本模态的情感数据，所述根据每个模态的节点特征，对每个模态进行单模态图的构建，包括：通过双向长短期记忆神经网络提取节点表征信息；根据所述节点表征信息，使用双向边构建文本模态的情感数据的单峰图。5.根据权利要求3所述的一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，对于音频模态和视频模态的情感数据，所述根据每个模态的节点特征，对每个模态进行单模态图的构建，包括：通过模态特定的前馈神经网络对不同模态的情感数据进行处理，得到对应的视频、音频特征编码；根据所述视频、音频特征编码，使用未加权的双向边构建视频和音频的单峰图。6.根据权利要求3所述的一种基于模态异质性弥合与多模态动态图融合的情感分析方法，其特征在于，所述根据构建得到单模态图，进...

【专利技术属性】
技术研发人员：黄昌勤，陆招娣，黄琼浩，韩中美，蒋凡，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：