【技术实现步骤摘要】
本专利技术涉及自然语言处理，具体涉及一种基于特征融合的多模态讽刺检测方法及系统。
技术介绍
1、早期的讽刺检测通常针对纯文本模态，着重利用从不同语言文本中提取的各种设计好的离散特征[1]，包括单词情感、标点[2]和表情符号[3]、词性标签[4]等，对讽刺语言进行建模。其后，研究人员开始利用深度学习技术来获得更精确的文本语义表示，如ghosh和veale提出的带有cnn和rnn分层器的讽刺检测模型[5]；zhang等人将bi-gru模型获得的目标推文嵌入与人为设计的上下文特征连接起来，在完全基于特征的系统的基础上获得了极大进步[6]。除了文本本身的内容以外，用户历史行为特征和社交背景[7]以及构建社交网络的方法[8]也对纯文本讽刺检测提供了一定价值。bamman和smith利用人为设计的作者、听众和反馈特征来促进讽刺检测的实现[9]；amir等人利用可训练的用户嵌入来增强cnn分类模型的性能[10]；wu等人基于嵌入、情感特征和同步特征构建了一个密集连接lstm的多任务模型[11]。
2、然而，随着现代社交媒体平台上多模态消息的快速增长，单模态讽刺检测方法无法有效地结合视觉等信息来提高讽刺检测性能，在复杂多变的多模态社交媒体中效果有限，多模态讽刺检测研究开始受到更多关注。schifanella等人首次定义了多模态讽刺检测任务并公开了一个含有文本和图像两种模态的多模态讽刺检测数据集[12]。在此基础上，pan等人[13]和liang等人[14]分别利用bert和图神经网络对模态内和模态间不一致性进行了建模，同时利用文本和
3、但是，传统的多模态讽刺检测拘泥于文本和图像两个基本模态，而忽略了各种外部知识对讽刺检测提供的影响和帮助。li等人[15]和veale等人[16]通过实验指出，常识对于讽刺检测至关重要；cai等人提出基于预训练的resnet模型，在图像分类任务模型的基础上，通过预测提取每张图像的五个表示图像属性的词语，作为讽刺检测的外部知识[17]；在此基础上，liu等人以由图像生成相关的字幕语句为外部知识，并构建了层次融合模型，使各模态特征进行深层次融合，实现讽刺检测[18]。
4、上述现有技术均忽略了不同模态融合的跨度和鸿沟，没有充分利用模态间更深层次的重要联系；并且，大多数多模态讽刺检测仍拘泥于文本和图像两个基本模态，而忽略了各种外部知识对讽刺检测提供的影响和帮助，因此，检测的准确度有待提高。
5、引用的相关文章列举如下：
6、[1]oma′sˇpta′cˇek,ivan habernal,and jun hong.2014.sarcasm detectionon czech and english twitter.in proceedings of coling 2014,the 25thinternational conference on computational linguistics:technical papers,pages213–223.
7、[2]m.bouazizi and t.ohtsuki.2015.sarcasm detection in twitter:”allyour products are incredibly amazing！！！”-aretheyreally？in 2015ieee globalcommunications conference,pages 1–6.
8、[3]bjarke f,alan m,anders s,et al.2017.using millions of emojioccurrences to learn any-domain representations for detecting sentiment,emotion and sarcasm.arxiv:1708.00524v2,2017.
9、[4]ellen riloff,ashequl qadir,prafulla surve,et al.2013.sarcasm ascontrast between a positive sentiment and negative situation.in proceedingsof the 2013conference on empirical methods in natural language processing,pages 704–714.
10、[5]aniruddha ghosh and dr.tony veale.2016.fracking sarcasm usingneural network.in proceedings of the 7th workshop on computational approachesto subjectivity,sentiment and social media analysis,pages 161–169.
11、[6]meishan zhang,yue zhang,and guohong fu.2016.tweet sarcasmdetection using deep neural network.in proceeding of coling 2016,the 26thinternational conference on computational linguistics:technical papers,pages2449-2460.
12、[7]ashwin rajadesingan,reza zafarani,and huan liu.2015.sarcasmdetection on twitter:abehavioral modeling approach.in proceedings of theeighth acm international conference on web search and data mining,pages 97–106.
13、[8]joan plepi and lucie flek.2021.perceived and intended sarcasmdetection with graph attention networks.arxiv preprint arxiv:2110.04001.
14、[9]david bamman and noah a.smith.2015.contextualized sarcasmdetection on twitter.iproceedings of the international association for theadvancement of artificial intelligence conference on weblogs and socialmedia.austin 2015,pages 574-577
15、[10本文档来自技高网...
【技术保护点】
1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S1具体包括以下步骤：
3.根据权利要求2所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S2具体包括以下步骤：
4.根据权利要求3所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S3具体包括：
5.根据权利要求4所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S33中，文本和图像模态的深层特征表示实现步骤包括：
6.根据权利要求5所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S34包括：
7.根据权利要求1所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤S4具体包括：
8.一种基于特征融合的多模态讽刺检测系统，其特征在于，该系统包括：
9.根据权利要求8所述基于特征融合的多模态讽刺检测系统，其特征在于，所述多模态特征提取模块具体包括：
10.一种计算机设备，其
...【技术特征摘要】
1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s1具体包括以下步骤：
3.根据权利要求2所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s2具体包括以下步骤：
4.根据权利要求3所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s3具体包括：
5.根据权利要求4所述的基于特征融合的多模态讽刺检测方法，其特征在于，所述步骤s33中，文本和图像模态的深层特征表示实现步骤包括：
6.根据权利要求5所述的基...
【专利技术属性】
技术研发人员：代克丽，卢尧，任福临，钱凌寒，杨鸣，马骏，顾彬仕，徐华泽，陈赛赛，欧朱建，沈彬彬，
申请(专利权)人：国网江苏省电力有限公司南通供电分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。