基于互信息方法表示的多阶段多模态情感分析方法技术

本发明专利技术提出了一种基于互信息方法表示的多阶段多模态情感分析方法，涉及人工智能领域。其包括通过原始多模态数据获取具有对应关系的文本、视觉和声音模态数据，并对原始多模态数据进行特征编码，得到模型输入特征；分别根据声音、语言和视觉不同模态的特点进行模态内高维特征提取；声音、语言、视觉和语言模态特征进行互信息最大化方法的多模态特征协同表示，得到模态间最大相关的特征表示；特征融合时采用一种新的融合网络结构用于不同模态间信息融合，对包含声音、文本和视觉特征的单模态、双模态和三模态间的相互作用分层次可调整化的建模。弥补各有关键信息丢失、噪声干扰和部分特征冗余等问题，提升多模态情感分析效果。果。果。

【技术实现步骤摘要】
基于互信息方法表示的多阶段多模态情感分析方法


[0001]本专利技术涉及人工智能领域，具体而言，涉及一种基于互信息方法表示的多阶段多模态情感分析方法。

技术介绍

[0002]随着社交媒体的普及，网络上图像和视频类数据逐渐增多，情感分析的研究任务，从单一的语言模态拓展到多模态形式的情感预测。网络上诸多数据蕴含视觉、语言和声音等多模态信息，这些数据中反应了用户的真实态度和情感状态，在票房预测、政治选举和舆情监督等现实场景具有很高的应用价值。因此，对多模态数据的有效融合与表示，提高情感分析的准确度，从而更真实的揭示用户的情感，已成为目前多模态情感分析的主要研究问题。
[0003]多模态情感分析以往专利技术重点集中于多模态数据的融合策略，主要包括从融合阶段划分的早期融合、后期融合与混合融合，以及从融合方法上划分的基于张量模型的融合、基于时序模型的融合与基于注意力模型的融合方法。目前，多模态情感分析通过融合方式的选择，提高了多模态情感分析任务的准确率，但仍存在需要改进的地方，如多模态特征在融合过程中可能存在关键信息丢失和特征噪声干扰等问题影响预测结果。
[0004]通过多模态表示方法可以在一定程度上弥补多模态融合策略的不足，捕捉不同模态间的联系，消除模态特征的噪声。多模态表示学习工作主要包括联合表示与协同表示，结构化协同表示中的互信息最大化的表示方法可以增强不同模态特征的依赖性，增强模态间的共有信息表示。然而多数多模态表示学习的相关工作对输出的多模态序列特征简单采用拼接或加权的方式输出，这可能会导致模态间交互不充分，出现特征冗余的情况。

技术实现思路

[0005]本专利技术的目的在于提供一种基于互信息方法表示的多阶段多模态情感分析方法，其能够针对单一多模态融合策略与单一多模态表示学习存在的不足，提出一种基于互信息方法表示的多阶段多模态情感分析方法。即在特征提取的基础上，采用一种互信息最大化的表示学习并创新性提出的多模态层次融合网络相结合，从而相互弥补各单一阶段存在的有关键信息丢失、噪声干扰和部分特征冗余等问题，进一步提升多模态情感分析效果。
[0006]本专利技术的实施例是这样实现的：
[0007]第一方面，本申请实施例提供一种基于互信息方法表示的多阶段多模态情感分析方法，其包括如下步骤，步骤(1)：通过原始多模态数据获取具有对应关系的文本、视觉和声音模态数据，并对上述原始多模态数据进行特征编码，得到模型输入特征；步骤(2)：分别根据声音、语言和视觉不同模态的特点进行模态内高维特征提取；步骤(3)：声音、语言、视觉和语言模态特征进行互信息最大化方法的多模态特征协同表示，得到模态间最大相关的特征表示；步骤(4)：特征融合时采用一种新的融合网络结构用于不同模态间信息融合，对包含声音、文本和视觉特征的单模态、双模态和三模态间的相互作用分层次可调整化的建模；
步骤(5)：经多次迭代训练，将所选评价指标最高的模型应用于多模态情感分析。
[0008]在本专利技术的一些实施例中，上述步骤(1)中，选取MOSI与MOSEI情感视频作为上述原始多模态数据。
[0009]在本专利技术的一些实施例中，上述步骤(1)中，在原始多模态数据特征编码的过程中，视觉模态采用Facet对视频中用于表达人物情感信息的动作进行特征捕捉；声音模态使用COVAREP采集音频中的特征；文本模态采用预训练BERT模型经大规模语料库训练后，多模态情感分析任务中采用BERT的输出作为特征编码。
[0010]在本专利技术的一些实施例中，上述视觉模态采集包括眼部闭合、颈部肌肉、头部动作、手部动作和腿部动作中的任意一种或多种特征；上述声音模态采集包括强度、音调、音频峰值斜率和浊清分段特征中的任意一种或多种特征。
[0011]在本专利技术的一些实施例中，上述步骤(2)中，模态内高维特征提取过程中，采用了两个独立的LSTM模型提取不同模态的时间特征。
[0012]在本专利技术的一些实施例中，上述步骤(3)中，多模态特征协同表示过程中，采用互信息最大化的表示方法学习不同模态间的投影表示；具体计算过程中，通过前馈神经网络优化互信息目标，输出使各模态最大相关的非线性投影；最大化模态间互信息的损失函数表示如下：其中q(y
i
|x
i
)为多元Gaussian分布，N为训练中的批量大小，m1，m2为对两个目标模态的似然求和；经互信息方法优化表示为T
m
＝D
m
(H
m
)，包括由各模态对应的双层前馈神经网络D
m
输出表示的模态特征。
[0013]在本专利技术的一些实施例中，上述步骤(4)中，特征融合过程中，采用一种多模态层次融合网络完成模态特征间的融合交互；上述多模态层次融合网络的计算过程如下：T
[L,V]＝D
L,V
(T
L
,T
V
)，T
[L,A]＝D
L,A
(T
L
,T
A
)，T
[V,A]＝D
V,A
(T
V
,T
A
)，T
[L,V,A]＝D
L,V,A
(T
L
,T
V
,T
A
,T
[L,V],T
[L,A],T
[V,A])，其中各自对应表示语言、视觉和声音各模态特征，均表示双模态特征，分别对应不同模态特征经多个独立双层前馈神经网络D
L,V
，D
L,A
，D
L,A
学习得到；表示三模态特征由双模态特征表示三模态特征由双模态特征经双层前馈神经网络D
L,V,A
学习得到；逐层学习后的单模态，双模态和三模态特征经D
f
融合得到多模态融合特征Z。
[0014]在本专利技术的一些实施例中，上述多模态层次融合网络对单模态、双模态和三模态间的相互作用分层次建模，根据交互过程动态调整内部结构。
[0015]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0016]第一，本专利技术在多模态特征表示阶段采用了互信息最大化的方法，可以捕捉不同模态的依赖，提高不同模态间的相关性表达，很大程度上消除了各模态特征的噪声；
[0017]第二，本专利技术在特征融合阶段提出一种多模态层次融合网络对不同模态间的相互作用逐层的交互融合，减少了过往低效融合带来的特征信息冗余问题；
[0018]第三，本专利技术采用多阶段建模的思想，将多模态表示学习与多模态融合方法的有效结合，可以很大程度上解决以往单一阶段存在的噪声干扰、关键情感信息丢失及特征信
息冗余问题。
[0019]本专利技术针对上述单一多模态融合策略与单一多模态表示学习存在的不足，提出一种基于互信息方法表示的多阶段多模态情感分析方法。在特征提取的基础上，采用一种互信息最大化的表示学习并创新性提出的多模态层次融合网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，步骤(1)：通过原始多模态数据获取具有对应关系的文本、视觉和声音模态数据，并对所述原始多模态数据进行特征编码，得到模型输入特征；步骤(2)：分别根据声音、语言和视觉不同模态的特点进行模态内高维特征提取；步骤(3)：声音、语言、视觉和语言模态特征进行互信息最大化方法的多模态特征协同表示，得到模态间最大相关的特征表示；步骤(4)：特征融合时采用一种新的融合网络结构用于不同模态间信息融合，对包含声音、文本和视觉特征的单模态、双模态和三模态间的相互作用分层次可调整化的建模；步骤(5)：经多次迭代训练，将所选评价指标最高的模型应用于多模态情感分析。2.如权利要求1所述的基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，步骤(1)中，选取MOSI与MOSEI情感视频作为所述原始多模态数据。3.如权利要求1所述的基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，步骤(1)中，在原始多模态数据特征编码的过程中，视觉模态采用Facet对视频中用于表达人物情感信息的动作进行特征捕捉；声音模态使用COVAREP采集音频中的特征；文本模态采用预训练BERT模型经大规模语料库训练后，多模态情感分析任务中采用BERT的输出作为特征编码。4.如权利要求3所述的基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，所述视觉模态采集包括眼部闭合、颈部肌肉、头部动作、手部动作和腿部动作中的任意一种或多种特征；所述声音模态采集包括强度、音调、音频峰值斜率和浊清分段特征中的任意一种或多种特征。5.如权利要求1所述的基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，所述步骤(2)中，模态内高维特征提取过程中，采用了两个独立的LSTM模型提取不同模态的时间特征。6.如权利要求1所述的基于互信息方法表示的多阶段多模态情感分析方法，其特征在于，包括如下步骤，所述步骤(3)中，多模态特征协同表示过程中，采用互信息最大化的表示方法学习不同模态间的投影表示；具体计算过程中，通过前馈神经网络优化互信息目标，输出使各模态最大相关的非线性投影；最大化模态间互信息的损失函数表示如下：其中q(y
i
|x
i
)...

【专利技术属性】
技术研发人员：侯金鑫，李希城，徐明成，谢杰，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：