一种基于事实和情感对立性的多模态反讽检测方法技术

本发明专利技术公开了一种基于事实和情感对立性的多模态反讽检测方法，步骤1、获得待检测数据元组包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、利用隐式的跨模态注意力机制实现特征对齐处理；步骤3、实现多模态数据的语义和情感不一致性建模；步骤4、计算语义不一致性；步骤5、获得图像特征与文本特征情感极性的差值；步骤6、基于图像特征与文本特征情感极性的差值和不一致性值进行反讽检测，得到检测结果。与现有技术相比，本发明专利技术在利用多模态反讽检测数据集上表现出了优秀的预测性能，超过了所有现有的方法。本发明专利技术可以精确对给定图像是否属于讽刺情感类别进行检测。进行检测。进行检测。

【技术实现步骤摘要】
一种基于事实和情感对立性的多模态反讽检测方法


[0001]本专利技术属于自然语言处理和计算机视觉处理
，特别是涉及一种基于事实和情感对立性的多模态反讽情感检测的方法。

技术介绍

[0002]讽刺是一种有趣且流行的表达用户观点的方式，通常情况下意味着表达出的真实态度与字面的意思相反。由于社交媒体的发展，图文多模态数据成为了用户表达讽刺的主流方法，讽刺检测(sarcasm detection,SD)在产品评价分析、意见挖掘等应用中具有重要的作用。
[0003]在早期阶段，研究人员主要研究由文本数据引起的讽刺。由于推特等网络数据往往包含类别标签，使用这些标签建立了一个自然语言的讽刺语料库。根据构建的讽刺语料库信息，研究者们探索了利用讽刺语料库对文本数据进行讽刺的检测以及文本意见，情感的挖掘等相关任务。
[0004]由于图像
‑
文本多模态数据的普及，多模态讽刺检测(multi
‑
modal sarcasm detection,MSD)近年来受到越来越多的关注。与单模态讽刺检测不同，挖掘模态之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事实和情感对立性的多模态反讽检测方法，该方法具体包括以下步骤：步骤1、获得待检测数据元组，包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、将从步骤1获得的图像特征数据和文本特征数据分别作为两个模态，利用隐式的跨模态注意力机制实现两个模态间的特征对齐处理，得到对齐的图像特征和对齐的文本特征，继而归并到同一特征空间；步骤3、基于步骤2中对齐的图像特征和对齐的文本特征分布实现多模态数据的语义和情感不一致性建模；步骤4、将对齐的图像特征和对齐的文本特征输入步骤3的语义不一致性模型，通过该模型进行处理，获得增强后的讽刺图像特征和增强后的讽刺文本特征，基于获得的所述增强后的图像特征和所述增强后的文本特征的相似性，分别计算其属于讽刺数据高斯分布与非讽刺数据高斯分布的概率，得到语义不一致性；步骤5、从情感词典引入情感信息，通过连续对比学习进一步增强图像情感特征，获得图像特征与文本特征情感极性的差值作为情感不一致性；步骤6、基于步骤4和步骤5的图像特征与文本特征语义和情感极性的差值和不一致性值进行反讽检测，得到检测结果。2.如权利要求1所述的一种基于事实和情感对立性的多模态反讽检测方法，其特征在于，其中步骤2中，跨模态注意力机制进一步包括以下处理：步骤2
‑
1、对于给定的一个图像特征e
p
∈R
m
×
C
和一个文本特征e
w
∈R
k
×
C
，按照空间维度将特征进行点积，得到二维关系矩阵RM，表达式如下：其中，T表示转置，Conv表示卷积操作；步骤2
‑
2、对于视觉模态，计算每批数据中图像特征的通道间方差，生成图像激活向量v
p
，将图像激活向量v
p
与原图像特征进行点积，获取对齐的图像特征e
ap
，e
ap
＝e
p
·
v
p
；同理，将文本激活向量v
w
与原文本特征进行点积，生成对齐的文本特征e
aw
，e
aw
＝e
wp
·
v
w
。3.如权利要求1所述的一种基于事实和情感对立性的多模态反讽检测方法，其特征在于，其中所述步骤4进一步包括以下处理：步骤4
‑
1、引入通道级加权策略来学习讽刺表征，得到增强后的图像特征，表达式如下：r
p
＝e
ap
·
σ(ReLu(FC(e
ap
)))
ꢀꢀꢀꢀꢀ
(2)其中，r
p
表示增强后的图像讽刺相关特征表示，σ表示维持的高斯分布的方差值，e
ap
为隐式对齐的图像特征，ReLu()表示激活函数，FC()表示一个全连接层；同理，使用通道级加权策略获得增强后的文本特征不变量表示r
w
，表达式如下：r
w
＝e
aw
·
σ(ReLu(FC(e
aw
)))
ꢀꢀꢀꢀꢀ
(3)其中，r
w
表示增强后与讽刺相关的文本特征，σ表示维持的高斯分布的方差值，e
aw
为对齐的本文特征，ReLu()表示激活函...

【专利技术属性】
技术研发人员：杨巨峰，文长崧，贾国力，
申请(专利权)人：南开大学，
类型：发明
国别省市：