一种基于回路生成的多模态情感分析系统及方法技术方案

本发明专利技术提出一种基于回路生成的多模态情感分析系统，包括，特征提取子系统，用于存储多模态原始数据，并将多模态原始数据进行特征提取，得到多模态特征；回路生成特征融合子系统，用于对多模态特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；对多模态特征与多模态生成特征以及多模态融合特征进行融合得到混合特征；将多模态生成特征与多模态特征进行互注意力对齐处理，得到强化单模态特征；情感分析子系统，用于对混合特征以及强化单模态特征进行情感分析。通过本发明专利技术提出的方法，实现了对多模态情感的精准分析。析。析。

【技术实现步骤摘要】
一种基于回路生成的多模态情感分析系统及方法


[0001]本专利技术属于计算机视觉领域。

技术介绍

[0002]情感分析,又名意见挖掘、主观性分析，针对的是对于一段表达人类情感的文字，通过计算机算法分析挖掘得到相应的情感分析结果。信息的模态是指信息的来源或者形式，比如文字、视频、语音等。多模态数据通常指包括多种模态的数据，其中不同模态之间往往存在着各种各样的信息关联。在现实世界中信息存在的方式一般是多模态的，单一的模态信息往往不能全面描述事物。随着社交网络的快速发展，人们可以在网络上通过图片、文字和视频来表达自己的情绪和观点，多个模态之间可以互相补充，分析多模态数据中的情感是情感分析领域中一个重要的问题。多模态信息特征的融合是多模态情感分析模型的关键，目前多模态情感分析的方法主要有两种形式，特征级融合和决策级融合：
[0003]特征级融合也称早期融合。该方案在进行特征提取后立即集成，通常只是简单连接它们的表示。主要是每种模态的特征向量，如文本特征向量、图像特征向量等，通过特征融合单元融合为一个多模态特征向量，然后对组合特征进行决策分析，输出情感分析结果。特征级融合采取连接多模态特征的方式来进行多模态信息融合，能够在较小的计算量上实现多模态融合的效果，但是多模态信息提取的特征来自不同的特征空间，在时间、语义维度上存在较大差异，简单地进行连接特征无法很好的表达多模态信息，并且在多模态信息中存在缺失或噪音时，模型效果会急剧下降。
[0004]决策级融合也称后期融合。针对每一个模态的信息，在提取特征后，进行互相独立的分析，对每个模态设立单独的分析模型，将分析结果融合为决策向量以获得最终的决策结果。决策级融合采取为每个模态进行单独的分析后进行融合的方法，这种方法能够将多模态的特征映射到同一个空间中，但是需要针对每一个分类器进行单独的训练，模型训练的成本较高。同时还会放大每个模态间的冗余信息，覆盖真正有效的信息。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本专利技术的目的在于提出一种基于回路生成的多模态情感分析系统，用于对多模态情感的精准分析。
[0007]为达上述目的，本专利技术第一方面实施例提出了一种基于回路生成的多模态情感分析系统，包括：
[0008]特征提取子系统，用于存储多模态原始数据，并将所述多模态原始数据进行特征提取，得到多模态特征；
[0009]回路生成特征融合子系统，用于对所述多模态特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行融合得到混合特征；将所述多模态生成特征与所述多模态特
征进行互注意力对齐处理，得到强化单模态特征；
[0010]情感分析子系统，用于对所述混合特征以及所述强化单模态特征进行情感分析。
[0011]另外，根据本专利技术上述实施例的一种基于回路生成的多模态情感分析系统还可以具有以下附加的技术特征：
[0012]进一步地，在本专利技术的一个实施例中，所述多模态原始数据包括图像、音频、文本，所述多模态特征包括图像特征、音频特征、文本特征。
[0013]进一步地，在本专利技术的一个实施例中，所述特征提取子系统，包括：
[0014]多模态特征数据库模块，用于存储所述多模态原始数据以及所述多模态特征；
[0015]特征提取模块，用于对所述多模态原始数据进行特征提取，得到多模态特征。
[0016]进一步地，在本专利技术的一个实施例中，所述回路生成特征融合子系统，包括：
[0017]回路生成模块，用于对不同模态的特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；
[0018]特征融合模块，用于对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行特征融合；
[0019]单模态强化模块，用于采用互注意力机制构建单模态强化Transformer，将所述多模态生成特征与所述多模态特征进行互注意力对齐处理，得到强化单模态特征。
[0020]进一步地，在本专利技术的一个实施例中，所述回路生成模块，还用于：
[0021]将文本模态特征X1和图像特征X2输入所述回路生成模块；
[0022]通过编码器将所述文本模态特征X1生成视频模态特征空间中的向量X
′
1，将所述图像模态特征X2生成文本模态特征空间中的向量X
′
2；
[0023]对所述X
′
1与所述X1进行误差约束，使得所述X
′
1与所述X1误差最小；对所述X
′
2与所述X2进行误差约束，使得所述X
′
2与所述X2误差最小；
[0024]选取所述编码器的中间层的特征向量作为混合向量X3、X4输出到所述特征融合模块中。
[0025]进一步地，在本专利技术的一个实施例中，所述情感分析子系统，还包括：
[0026]多任务模块，用于对所述混合特征以及所述强化单模态特征进行情感分析，得到情感分析结果；
[0027]用户交互模块，用于向用户提供上传与访问信息界面，以及向所述用户进行展示所述情感分析结果。
[0028]为达上述目的，本专利技术第二方面实施例提出了一种基于回路生成的多模态情感分析方法，包括：
[0029]获取多模态原始数据，并将所述多模态原始数据进行特征提取，得到多模态特征；
[0030]对所述多模态特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行融合得到混合特征；将所述多模态生成特征与所述多模态特征进行互注意力对齐处理，得到强化单模态特征；
[0031]对所述混合特征以及所述强化单模态特征进行情感分析。
[0032]为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理
器执行所述计算机程序时，实现如上所述的一种基于回路生成的多模态情感分析系统。
[0033]为达上述目的，本专利技术第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种基于回路生成的多模态情感分析系统。
[0034]本专利技术实施例提出的基于回路生成的多模态情感分析系统，利用回路生成方法建立多模态特征融合模块，结合多模态信息，得到一个在多模态信息缺失时能够减少效果下降的特征融合模块，实现对多模态情感的精准分析。
附图说明
[0035]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0036]图1为本专利技术实施例所提供的一种基于回路生成的多模态情感分析系统的流程示意图。
[0037]图2为本专利技术实施例所提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于回路生成的多模态情感分析系统，其特征在于，包括：特征提取子系统，用于存储多模态原始数据，并将所述多模态原始数据进行特征提取，得到多模态特征；回路生成特征融合子系统，用于对所述多模态特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行融合得到混合特征；将所述多模态生成特征与所述多模态特征进行互注意力对齐处理，得到强化单模态特征；情感分析子系统，用于对所述混合特征以及所述强化单模态特征进行情感分析。2.根据权利要求1所述的系统，其特征在于，所述多模态原始数据包括图像、音频、文本，所述多模态特征包括图像特征、音频特征、文本特征。3.根据权利要求1所述的系统，其特征在于，所述特征提取子系统，包括：多模态特征数据库模块，用于存储所述多模态原始数据以及所述多模态特征；特征提取模块，用于对所述多模态原始数据进行特征提取，得到多模态特征。4.根据权利要求1所述的系统，其特征在于，所述回路生成特征融合子系统，包括：回路生成模块，用于对不同模态的特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；特征融合模块，用于对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行特征融合；单模态强化模块，用于采用互注意力机制构建单模态强化Transformer，将所述多模态生成特征与所述多模态特征进行互注意力对齐处理，得到强化单模态特征。5.根据权利要求1或3所述的系统，其特征在于，所述回路生成模块，还用于：将文本模态特征X1和图像特征X2输入所述回路生成模块；通过编码器将所述文本模态特征X1生成视频模态特征空间中的向量X
′
1，将所述图像模态特征X2生成文本模...

【专利技术属性】
技术研发人员：欧中洪，李镇宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：