一种融合关系差异信息的多模态讽刺识别系统技术方案

本发明专利技术涉及一种融合关系差异信息的多模态讽刺识别系统。包括：一个图文特征提取模块，用于提取图文数据的特征表示；一个图文关系融合模块，用于匹配并组合文本图像一致信息用于预测；一个图文差异融合模块，用于提取模态内文本中的不一致性信息、提取模态间图文之间的不一致性信息，并组合不一致信息用于预测；一个讽刺识别模块，用于判别多模态数据中是否存在讽刺感。在讽刺感。在讽刺感。

【技术实现步骤摘要】
一种融合关系差异信息的多模态讽刺识别系统


[0001]本专利技术涉及多模态讽刺识别领域，更具体地，涉及一种融合关系差异信息的多模态讽刺识别系统。

技术介绍

[0002]讽刺是一种复杂的语言行为，也属于一种特殊的情感表达方式，人们往往采用夸张、比喻等手法表达与真实意思相反的内容。随着社交平台的文化属性层次不断丰富，用户发表推文的含义通常不仅仅局限于表面，而讽刺就是用户经常使用的表达方式之一。在当前社交平台的用户观点发掘中，仅通过传统情感分析、观点发掘方法分析用户观点态度存在较大局限，难以有效识别观点中隐含的不一致信息。因此，通过识别讽刺的检测方法有利于分析用户真实的观点态度，提高情感分析、观点发掘任务的精确度。
[0003]同时，随着社交媒体和网络文化的不断发展，人们也不局限于使用文本形式作为表达自己观点的唯一方式，文本、图片、视频等多模态的推文在各种社交平台上被广泛发布。其中，通过文字和图像的组合达到讽刺效果的推文不在少数。在多模态语境中，讽刺不再是一种纯粹的语言现象，并且由于社交媒体短文本的性质，文本的信息并不总是充分的，反义关系更多地通过跨模态的方式表现出来。因此，仅从文本分析的角度判断多模态信息中的讽刺是不够的。
[0004]近年来，多模态融合技术的研究得到了快速的发展。多模态融合任务是通过设计模态融合策略，使不同模态的数据相互补充，为下游任务提供更丰富的信息。目前基于多模态融合技术的情感分析、图文检索等任务正在趋于成熟并得到广泛应用。
[0005]在讽刺领域的研究中，与传统纯文本的讽刺检测相比，多模态讽刺检测更能适应数据类型丰富的社交媒体平台。讽刺是一种隐式的情绪表达方法，识别讽刺需要深入理解数据的语义信息。纯文本的讽刺检测普遍存在缺乏上下文信息补充的问题，从而导致识别效果不佳。而多模态讽刺检测恰恰可以通过补充多种模态信息的交互线索，丰富语境信息，对讽刺任务进行多层次关系对比检测，达到一个较为理想的效果。多模态讽刺识别作为多模态融合任务的下游任务，其研究重点围绕各模态的语义信息展开，通过分析各模态数据间的潜在联系，为讽刺识别模型提供更丰富的上下文信息。目前应用于社交媒体的多模态讽刺识别方法首先针对各模态数据特点，采用多种深度学习网络模型提取图像、文本的特征表示，而后通过注意力机制、图神经网络等深度学习算法将不同模态的数据进行模态融合，较好的利用了各模态的数据关联与差异信息。现有主流多模态讽刺模型围绕多模态融合策略进行了大量的研究，大多可以分为前端融合、中端融合和后端融合，这些方法都能够充分的利用模态间信息进行讽刺检测。然而讽刺的语义信息不仅来源于关联图文数据后分析模态间图文信息所产生的不协调感，也可能存在于文本本身或图片本身，也即模态内的讽刺信息。因此，在融合图文模态间数据的同时，如何发掘图像、文本模态内部的不一致信息进而提高讽刺识别精度，是多模态讽刺识别任务存在的主要挑战。

技术实现思路

[0006]本专利技术的目的在于提供一种融合关系差异信息的多模态讽刺识别系统，基于社交媒体领域的图像、文本双模态数据，针对各模态内容分层次地进行特征提取分析，包含从文本模态中提取的话题数据、图像模态中识别的文本数据和对象信息。同时对于不同的模态信息，在模态关系融合方面，设计了一种基于自注意力机制的图文关系融合模块；在模态差异融合方面，设计了一种基于门控机制与疏离矩阵相结合的模态内和模态间的图文差异融合模块；最后采用拼接机制融合各模态数据的关系、差异信息，并将融合后的结果应用于讽刺识别。
[0007]为实现上述目的，本专利技术的技术方案是：一种融合关系差异信息的多模态讽刺识别系统，包括：
[0008]一个图文特征提取模块，用于提取图文数据的特征表示；
[0009]一个图文关系融合模块，用于匹配并组合文本图像一致信息用于预测；
[0010]一个图文差异融合模块，用于提取模态内文本中的不一致性信息、提取模态间图文之间的不一致性信息，并组合不一致信息用于预测；
[0011]一个讽刺识别模块，用于判别多模态数据中是否存在讽刺感。
[0012]在本专利技术一实施例中，所述图文特征提取模块，对图像模态、文本模态、话题模态进行初级信息的特征抽取。
[0013]在本专利技术一实施例中，所述图文关系融合模块，借鉴多头注意机制的思想，设计一个图像文本匹配层来捕捉并融合文本和图像之间的一致信息。
[0014]在本专利技术一实施例中，所述图文差异融合模块，抽取图像实体及图像文本的融合向量，再捕捉其与文本信息模态间的不一致信息；利用相同模块，捕捉文本与话题模态内的不一致信息。
[0015]在本专利技术一实施例中，所述讽刺识别模块，根据图文关系、差异等模块提取的图文特征，判别数据中是否存在讽刺感。
[0016]相较于现有技术，本专利技术具有以下有益效果：本专利技术能够充分发掘模态内容本身具有的层次信息，并能够进一步提取和融合模态内和模态间的关联性与不协调性，从而有效提高讽刺识别的精确度。
附图说明
[0017]图1为本专利技术一种融合关系差异信息的多模态讽刺识别系统框图。
[0018]图2为本专利技术一实施例的融合关系差异信息的多模态讽刺识别系统示例图。
具体实施方式
[0019]下面结合附图，对本专利技术的技术方案进行具体说明。
[0020]如图1、2所示，本专利技术一种融合关系差异信息的多模态讽刺识别系统，包括：
[0021]1)图文特征提取模块：用于对图像、文本数据进行预处理，针对不同模态内容及其属性特点提取相应特征表示；2)图文关系融合模块：设计一种自注意力关系融合机制，用于融合图文特征表示，提取图文数据之间的关联程度；3)图文差异融合模块：设计一种门控机制与疏离矩阵相结合的机制，提取模态内与模态间的差异程度；4)讽刺识别模块：将关联、
差异的多模态数据的特征表示输入分类器，判别多模态数据是否存在讽刺感。
[0022]1、图文特征提取模块
[0023]下面描述特征提取模块如何提取不同模态数据的特征表示。
[0024]①
文本数据特征提取
[0025]对于文本数据，本专利技术采用预训练的BERT模型来获取文本表示。文本编码为BERT编码器最后一层的输出，可以描述为T＝{t1,t2,
…
,t
n
}，其中，为单词i的词嵌入表示。
[0026]②
话题文本数据特征提取
[0027]相同的，对于话题文本数据，本专利技术同样采用采用预训练的BERT模型来获取文本表示，话题文本编码可以描述为H＝{h1,h2,
…
,h
n
}，其中，为单词i的词嵌入表示。
[0028]③
图像数据特征提取
[0029]对于图像数据，本专利技术采用ResNet
‑
152网络模型进行图像特征提取，为得到更丰富的图像特征信息，本专利技术截断最后一个完全连接层，并获得最后一个卷积层的输出：
[0030][0031]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合关系差异信息的多模态讽刺识别系统，其特征在于，包括：一个图文特征提取模块，用于提取图文数据的特征表示；一个图文关系融合模块，用于匹配并组合文本图像一致信息用于预测；一个图文差异融合模块，用于提取模态内文本中的不一致性信息、提取模态间图文之间的不一致性信息，并组合不一致信息用于预测；一个讽刺识别模块，用于判别多模态数据中是否存在讽刺感。2.根据权利要求1所述的一种融合关系差异信息的多模态讽刺识别系统，其特征在于，所述图文特征提取模块，对图像模态、文本模态、话题模态进行初级信息的特征抽取。3.根据权利要求1所述的一种融合关系差...

【专利技术属性】
技术研发人员：廖祥文，何佳，梁明，张纬峰，曾炜森，
申请(专利权)人：福州大学，
类型：发明
国别省市：