基于动态梯度和多视图协同注意力的多模态情感分析方法技术

本发明专利技术涉及情感分析技术领域，具体公开了一种基于动态梯度和多视图协同注意力的多模态情感分析方法，包括：获取具有情感信息的多模态数据；将多模态数据输入至多模态情感分析模型，获得情感分析结果，其中多模态情感分析模型的训练包括：将训练集数据进行模态表示学习以获得浅层学习特征；将浅层学习特征进行特征融合处理获得深层融合特征，以及进行动态梯度调节处理以获得梯度调节参数；根据深层融合特征进行模型预测以获得训练结果；根据验证集数据以及测试集数据重复上述训练过程，以获得多模态情感分析模型。本发明专利技术提供的基于动态梯度和多视图协同注意力的多模态情感分析方法在进行情感分析时能够既关注模态之间交互又能关注模态之间的平衡。能关注模态之间的平衡。能关注模态之间的平衡。

【技术实现步骤摘要】
基于动态梯度和多视图协同注意力的多模态情感分析方法


[0001]本专利技术涉及情感分析
，尤其涉及一种基于动态梯度和多视图协同注意力的多模态情感分析方法。

技术介绍

[0002]在大数据时代，数据能带来很多价值。通过对互联网中的数据进行情感分析，能够在很多领域发挥重要的作用。在电商领域中，对消费者的评论进行情感分析，可以快速的了解市场对商品的反馈，为商家的经营和政府的科学监管提供技术支持。在人机交互领域中，机器人通过理解人的情感和意图能够做出更适合的反应，让机器人更好的服务人类。
[0003]传统情感分析的研究对象主要是单模态数据，特别是文本数据。例如，现有技术中通过构建包含基础情感词，场景情感词的情感词典，有效的实现了文本的情感分类。再如，通过使用朴素贝叶斯，最大熵分类和支持向量机三种机器学习方法，在电影评论数据集的情感分类任务中准确率达到了82.9％。或者以长短期记忆神经网络(Long Short
‑
term Memory,LSTM)和卷积神经网络(CNN)作为基础模型，提出C
‑
LSTM模型，既能捕捉短语局部特征，也能捕捉句子的全局语义和时态语义，在文本情感分析任务中取得优异的性能。
[0004]但是随着大数据时代的到来，人们可以表达情感的形式也越来越多样。单模态情感分析相较多模态情感分析，局限性越来越明显。许多研究都证实单模态情感分析在情感识别的准确率上低于多模态情感分析，尤其复杂情感的识别。而多模态模型在联合训练策略下优化了所有模态的统一学习目标，在某些情况下可能不如单模态模型，这有悖于一般认知，容易忽视这个问题。研究发现，各模态往往以不同的速度收敛，导致出现不协调的收敛问题。通常的解决方法是借助额外的预训练模型辅助模态训练，但是这种专注于各模态自身的特征学习的方式往往简化了各模态之间的交互。而若关注模态之间的交互，则容易忽视模态之间的不平衡。
[0005]因此，如何能够在进行情感分析时既关注模态之间交互又能关注模态之间的平衡成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0006]本专利技术提供了一种基于动态梯度和多视图协同注意力的多模态情感分析方法，解决相关技术中存在的情感分析时无法既关注模态之间交互又关注模态之间平衡的问题。
[0007]作为本专利技术的一个方面，提供一种基于动态梯度和多视图协同注意力的多模态情感分析方法，其中，包括：
[0008]获取具有情感信息的多模态数据，所述多模态数据的形式包括文本、音频和视频；
[0009]将所述多模态数据输入至多模态情感分析模型，获得情感分析结果，其中所述多模态情感分析模型的训练包括：
[0010]将训练集数据进行模态表示学习以获得浅层学习特征；
[0011]将所述浅层学习特征进行特征融合处理获得深层融合特征，以及进行动态梯度调
节处理以获得梯度调节参数，其中所述梯度调节参数用于辅助所述模态表示学习以更新获得的浅层学习特征；
[0012]根据所述深层融合特征进行模型预测以获得训练结果；
[0013]根据验证集数据以及测试集数据重复上述训练过程，以获得多模态情感分析模型；
[0014]其中所述训练集数据、验证集数据和测试集数据均包括具有情感信息的多模态数据。
[0015]进一步地，将训练集数据进行模态表示学习以获得浅层学习特征，包括：
[0016]将文本训练集数据通过预训练BERT模型进行特征提取，获得文本浅层学习特征；
[0017]将音频训练集数据和视频训练集数据均通过sLSTM模型进行特征提取，获得音频浅层学习特征和视频浅层学习特征。
[0018]进一步地，将所述浅层学习特征进行特征融合处理获得深层融合特征，以及进行动态梯度调节处理以获得梯度调节参数，包括：
[0019]将所述浅层学习特征通过多视图协同注意力网络以及LSTM实现特征融合处理，获得深层融合特征；
[0020]将所述浅层学习特征值通过动态梯度调节策略实现梯度调节，并获得梯度调节参数。
[0021]进一步地，将所述浅层学习特征通过多视图协同注意力网络以及LSTM实现特征融合处理，获得深层融合特征，包括：
[0022]将每两个模态的浅层学习特征均进行多视图协同注意力处理，获得该两个模态基于对方注意力的特征；
[0023]根据每个模态基于其他模态注意力的特征以及该模态的浅层学习特征通过LSTM进行处理获得深层融合特征。
[0024]进一步地，将每两个模态的浅层学习特征均进行多视图协同注意力处理，获得该两个模态基于对方注意力的特征，包括：
[0025]将每两个模态中一个模态的浅层学习特征通过非线性投影层投影到三个编码空间；
[0026]将每两个模态中另一个模态的浅层学习特征与三个编码空间进行交互，并计算每两个模态中另一个模态的浅层学习特征与三个编码空间的共享相似度矩阵以及每两个模态相互之间的注意力图；
[0027]根据每两个模态相互之间的注意力图进行平均计算，获得最终注意力图；
[0028]根据所述最终注意力图获得每两个模态之间分别基于对方注意力的特征。
[0029]进一步地，根据每个模态基于其他模态注意力的特征以及该模态的浅层学习特征通过LSTM进行处理获得深层融合特征，包括：
[0030]根据每个模态基于其他模态注意力的特征和该模态的浅层学习特征进行拼接，获得每个模态基于多视图协同注意力的融合特征；
[0031]将每个模态基于多视图协同注意力的融合特征输入至LSTM，以获得所有模态的深层融合特征。
[0032]进一步地，将所述浅层学习特征值通过动态梯度调节策略实现梯度调节，并获得
梯度调节参数，包括：
[0033]将每个模态的浅层特征通过各自对应的分类器进行处理，获得每个模态的近视预测结果和损失值；
[0034]根据不同的策略以及每个模态的近视预测结果和损失值进行梯度调节，以获得梯度调节参数。
[0035]进一步地，根据不同的策略以及每个模态的近视预测结果和损失值进行梯度调节，以获得梯度调节参数，包括：
[0036]根据第一策略和每个模态的近视预测结果进行计算，获得贡献程度惩罚系数；
[0037]根据第二策略和每个模态的损失值进行计算，获得学习速度惩罚系数；
[0038]其中所述贡献程度惩罚系数和所述学习速度惩罚系数均用于更新每个模态的特征提取器的参数；
[0039]所述第一策略用于监测每个模态对学习目标的贡献程度，所述第二策略用于监测每个模态的学习速度。
[0040]进一步地，根据第一策略和每个模态的近视预测结果进行计算，获得贡献程度惩罚系数，包括：
[0041]获取每个模态的近视预测结果；
[0042]根据每个模态的近视预测结果的效果确定该模态所对应的特征提取器的参数训练优化速度，其中所述近视预测结果的效果与所述特征提取器的参数训练优化速度成反比。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态梯度和多视图协同注意力的多模态情感分析方法，其特征在于，包括：获取具有情感信息的多模态数据，所述多模态数据的形式包括文本、音频和视频；将所述多模态数据输入至多模态情感分析模型，获得情感分析结果，其中所述多模态情感分析模型的训练包括：将训练集数据进行模态表示学习以获得浅层学习特征；将所述浅层学习特征进行特征融合处理获得深层融合特征，以及进行动态梯度调节处理以获得梯度调节参数，其中所述梯度调节参数用于辅助所述模态表示学习以更新获得的浅层学习特征；根据所述深层融合特征进行模型预测以获得训练结果；根据验证集数据以及测试集数据重复上述训练过程，以获得多模态情感分析模型；其中所述训练集数据、验证集数据和测试集数据均包括具有情感信息的多模态数据。2.根据权利要求1所述的基于动态梯度和多视图协同注意力的多模态情感分析方法，其特征在于，将训练集数据进行模态表示学习以获得浅层学习特征，包括：将文本训练集数据通过预训练BERT模型进行特征提取，获得文本浅层学习特征；将音频训练集数据和视频训练集数据均通过sLSTM模型进行特征提取，获得音频浅层学习特征和视频浅层学习特征。3.根据权利要求2所述的基于动态梯度和多视图协同注意力的多模态情感分析方法，其特征在于，将所述浅层学习特征进行特征融合处理获得深层融合特征，以及进行动态梯度调节处理以获得梯度调节参数，包括：将所述浅层学习特征通过多视图协同注意力网络以及LSTM实现特征融合处理，获得深层融合特征；将所述浅层学习特征值通过动态梯度调节策略实现梯度调节，并获得梯度调节参数。4.根据权利要求3所述的基于动态梯度和多视图协同注意力的多模态情感分析方法，其特征在于，将所述浅层学习特征通过多视图协同注意力网络以及LSTM实现特征融合处理，获得深层融合特征，包括：将每两个模态的浅层学习特征均进行多视图协同注意力处理，获得该两个模态基于对方注意力的特征；根据每个模态基于其他模态注意力的特征以及该模态的浅层学习特征通过LSTM进行处理获得深层融合特征。5.根据权利要求4所述的基于动态梯度和多视图协同注意力的多模态情感分析方法，其特征在于，将每两个模态的浅层学习特征均进行多视图协同注意力处理，获得该两个模态基于对方注意力的特征，包括：将每两个模态中一个模态的浅层学习特征通过非线性投影层投影到三个编码空间；将每两个模态中另一个模态的浅层学习特征与三个编码空间进行交互，并计算每两个模态...

【专利技术属性】
技术研发人员：孙俊，王香，
申请(专利权)人：匀熵智能科技无锡有限公司，
类型：发明
国别省市：