一种基于反馈特征学习的多模态情感分析方法、系统技术方案

本发明专利技术涉及一种基于反馈特征学习的多模态情感分析方法、系统。本申请提供的一种基于反馈特征学习的多模态情感分析方法，对获取到多模态信息分别进行特征提取，以及特征编码，在获取到各个模态的单模态特征后，两两模态之间进行融合，并对未进行模态融合的单模态特征进行反馈增强，用来自更高级别的跨模态融合向量来增强低水平原始模态的特征，使原始模态的特征不仅能够学习到其他模态的语义信息，同时能够保留自身的重要语义信息并过滤掉不重要的噪声信息，以此来进行模态之间的互补学习，提高情感预测的准确性。提高情感预测的准确性。提高情感预测的准确性。

【技术实现步骤摘要】
一种基于反馈特征学习的多模态情感分析方法、系统


[0001]本专利技术涉及情感分析领域，特别是涉及一种基于反馈特征学习的多模态情感分析方法领域。

技术介绍

[0002]情感分析是情感计算研究中最基础也最重要的领域，在当前的人工智能系统往下一代情感智能的进阶中发挥着至关重要的作用。人类的智能除了逻辑计算和推理，还有被情绪感受驱动的决策和行为。正是“智商”与“情商”的有机融合构成了人类的智能。因此对于人工智能而言，仅具有感知和识别客观数据对象的能力远远不够，拥有情感的检测、识别及表达能力才是迈向人类智能的飞跃。而情感分析研究正是旨在赋予机器以发现和理解人类情感状态的能力，即通过分析带有情感色彩的、以多种感官数据为载体的主观性表达，识别出表达者的情感情绪状态或倾向。情感分析研究对来自不同领域的很多应用大有益处，例如智能人机交互系统，智能业务和客户服务系统以及远程医疗系统。
[0003]目前基于多模态情感分析的主要研究方向有多模态融合与多模态表征的学习，多模态的融合更是占据主要的地位。大部分的研究者通过构建复杂的融合网络，来学习多种模态之间的交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于反馈特征学习的多模态情感分析方法，其特征在于，包括：对原始音频、图像和文本分别进行特征提取得到第一原始音频特征、第一原始图像特征和第一原始文本特征；对第一原始音频特征进行编码得到第一音频特征；对第一原始图像特征进行编码得到第一图像特征；对第一原始文本特征进行编码得到第一文本特征；将第一音频特征和第一图像特征进行模态融合得到音频
‑
图像特征；将第一音频特征和第一文本特征进行模态融合得到音频
‑
文本特征；将第一图像特征和第一文本特征进行模态融合得到图像
‑
文本特征；计算音频
‑
图像特征与第一文本特征之间的最大均值差异，并通过门控制机制对所述第一文本特征进行反馈增强；计算音频
‑
文本特征与第一图像特征之间的最大均值差异，并通过门控制机制对所述第一图像特征进行反馈增强；计算图像
‑
文本特征与第一音频特征之间的最大均值差异，并通过门控制机制对所述第一音频特征进行反馈增强；将经过反馈增强后的模态对融合特征进行连接，并进行融合，得到多模态融合特征；根据多模态融合特征完成情感预测。2.根据权利要求1所述的一种基于反馈特征学习的多模态情感分析方法，其特征在于：计算音频
‑
图像特征与第一文本特征之间的最大均值差异，并通过门控制机制对所述第一文本特征进行反馈增强的具体步骤为：将所述音频
‑
图像特征和所述第一文本特征映射到一个具有特征核的高维空间中，并度量它们之间的最大均值差异；将所述音频
‑
图像特征和所述第一文本特征相加，并通过激活函数得到一个比例向量；根据比例向量和所述音频
‑
图像特征和所述第一文本特征完成对所述第一文本特征的反馈增强。3.根据权利要求2所述的一种基于反馈特征学习的多模态情感分析方法，其特征在于，在根据多模态融合特征完成情感预测后，还包括：计算预测损失L
MAE
，结合求得的最大均值差异之和，作为总损失函数，并根据所述总损失函数更新使用的网络模型。4.根据权利要求3所述的一种基于反馈特征学习的多模态情感分析方法，其特征在于：在将第一音频特征和第一图像特征进行模态融合得到音频
‑
图像特征；将第一音频特征和第一文本特征进行模态融合得到音频
‑
文本特征；将第一图像特征和第一文本特征进行模态融合得到图像
‑
文本特征的过程中，使用注意力瓶颈融合方法完成两两特征之间的模态融合。5.根据权利要求4所述的一种基于反馈特征学习的多模态情感分析方法，其特征在于，根据比例向量和所述音频
‑
图像特征和所述第一文本特征完成对所述第一文本特征的反馈增强，是通过如下公式完成的：R＝sigmoid(M
·
W
M
+X
·
W
X
+b)X
′
＝M
⊙
R+X
⊙
(I
‑
R)
其中的
⊙
表示按元素乘，I是一个元素全为1的张量。M∈{M
AV
,M
AT
,M
...

【专利技术属性】
技术研发人员：冼广铭，阳先平，招志锋，郎济聪，刘庆龙，胡伊斐，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：