基于梯度调节的多模态情绪分析方法、装置、设备及存储制造方法及图纸

本公开提供了一种基于梯度调节的多模态情绪分析方法、装置、设备及存储，涉及人工智能、多模态情感分析技术领域。将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据第一参数确定第二参数；将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据第二参数确定第三参数，得到训练完成的多模态情绪分析模型。本公开根据不同模态流的不同信息进行梯度训练，使得模型在进行多模态数据训练时得以自适应地调节梯度，有效地解决了同时训练模态数据不平衡问题。数据不平衡问题。数据不平衡问题。

【技术实现步骤摘要】
基于梯度调节的多模态情绪分析方法、装置、设备及存储


[0001]本公开涉及人工智能、多模态情感分析
，尤其涉及一种基于梯度调节的多模态情绪分析方法、装置、设备及存储。

技术介绍

[0002]随着科技飞速发展，人工智能已经成为当今人机互动中的热门话题。其中，情绪分析是人工智能领域的一个重要分支，是近年来的研究热点。情绪分析通过多种模态数据来挖掘人们对于产品、服务、组织、个人、事件等的观点、情感倾向、态度等。以往情绪分析方法聚焦于单模态分析。其中大部分方法均是利用文本信息挖掘和推理蕴含的情感。然而，多模态数据与单模态数据相比，包含了更丰富的信息，多个模态之间可以互相补充得到真实的情感分类结果。从人机交互角度出发，多模态情绪分析可以使得机器在更加自然的情况下与人进行交互，机器可以基于图像中人的表情和手势，声音中的音调，和识别出的自然语言来理解用户情感，进而进行反馈。综上所述，多模态情绪分析技术的发展源于实际生活的需求，人们自然的表达情感，技术就应有能力进行智能的理解和分析。
[0003]现有技术中，多模态情绪分析系统多模态融合方法往往是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于梯度调节的多模态情绪分析方法，其特征在于，包括：将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据所述第一参数确定第二参数；将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据所述第二参数确定第三参数，得到训练完成的多模态情绪分析模型。2.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，动态梯度训练包括：获取训练集；将所述训练集采样一个批次作为第一批次；将所述第一批次在多模态情绪分析模型中前向传播，确定所述第一批次的差异比；根据所述第一批次的差异比，确定所述第一批次的调节比；将所述第一批次在多模态情绪分析模型中反向传播，确定梯度；根据所述调节比与梯度，更新所述多模态情绪分析模型的参数。3.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：获取同一种情绪的三种时序长度不同模态数据；对所述三种时序长度不同模态数据分别编码，确定第一情绪模态数据、第二情绪模态数据和第三情绪模态数据。4.根据权利要求3所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：对编码后的第一情绪模态数据、第二情绪模态数据和第三情绪模态数据通过平均池化操作进行特征提取。5.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：采用注意力机制学习各个模态数据预设的关注部分；对每个模态的数据进行压缩，并与其他模态的信息进行预设信息共享。6.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述第一情绪模态数据为文本数据，第二情绪模态数据为音频数据，第三情绪模态数据为视觉...

【专利技术属性】
技术研发人员：王昊，杨明川，李伟，刘振华，秦芊，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：