一种基于特征融合的多模态讽刺检测方法及系统技术方案

本发明专利技术公开了一种基于特征融合的多模态讽刺检测方法及系统，该方法包括以下步骤：获取待检测文本中的外部知识即形容词‑名词对，后特征表示为A，分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I；采用多头交叉注意机制表示每对多模态输入的文本‑图像的浅层一致性分数以及文本‑外部知识的浅层一致性分数；利用图注意网络计算文本‑图像的深层一致性分数s<subgt;l</subgt;和文本‑外部知识的深层一致性分数使用激活函数和线性层整合得到预测结果y。本发明专利技术结合文本、图像和形容词‑名词对三个模态，建立了知识强化型的多模态讽刺检测模型，在与文本、图像两种模态良好结合的基础上，提供更多元、有效的信息，并获得了更好的性能。

【技术实现步骤摘要】

本专利技术涉及自然语言处理，具体涉及一种基于特征融合的多模态讽刺检测方法及系统。

技术介绍

1、早期的讽刺检测通常针对纯文本模态，着重利用从不同语言文本中提取的各种设计好的离散特征[1]，包括单词情感、标点[2]和表情符号[3]、词性标签[4]等，对讽刺语言进行建模。其后，研究人员开始利用深度学习技术来获得更精确的文本语义表示，如ghosh和veale提出的带有cnn和rnn分层器的讽刺检测模型[5]；zhang等人将bi-gru模型获得的目标推文嵌入与人为设计的上下文特征连接起来，在完全基于特征的系统的基础上获得了极大进步[6]。除了文本本身的内容以外，用户历史行为特征和社交背景[7]以及构建社交网络的方法[8]也对纯文本讽刺检测提供了一定价值。bamman和smith利用人为设计的作者、听众和反馈特征来促进讽刺检测的实现[9]；amir等人利用可训练的用户嵌入来增强cnn分类模型的性能[10]；wu等人基于嵌入、情感特征和同步特征构建了一个密集连接lstm的多任务模型[11]。

2、然而，随着现代社交媒体平台上多模态消息的快速增长，单模态讽本文档来自技高网...

【技术保护点】

1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S1具体包括以下步骤：

3.根据权利要求2所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S2具体包括以下步骤：

4.根据权利要求3所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S3具体包括：

5.根据权利要求4所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S33中，文本和图像模态的深层特征表示实现步骤包括：

6.根据权利要求5所述的基于...

【技术特征摘要】

1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s1具体包括以下步骤：

3.根据权利要求2所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s2具体包括以下步骤：

4.根据权利要求3所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s3具体包括：

5.根据权利要求4所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s33中，文本和图像模态的深层特征表示实现步骤包括：

6.根据权利要求5所述的基...

【专利技术属性】
技术研发人员：代克丽，卢尧，任福临，钱凌寒，杨鸣，马骏，顾彬仕，徐华泽，陈赛赛，欧朱建，沈彬彬，
申请(专利权)人：国网江苏省电力有限公司南通供电分公司，
类型：发明
国别省市：