多模态讽刺检测方法、装置、计算机设备以及存储介质制造方法及图纸

技术编号:41112015 阅读:19 留言:0更新日期:2024-04-25 14:04
本发明专利技术涉及自然语言处理技术领域,特别涉及一种多模态讽刺检测方法,通过引入图像字幕文本作为外部知识,提供了更加丰富的讽刺视觉信息,并以文本模式呈现,一方面进一步缓解两种模式之间的语义鸿沟,另一方面利用图像字幕文本在文本模态和图像模态的讽刺特征提取过程中的桥梁作用,在原始图像字幕文本中插入两个讽刺引导标记,以改编外部知识,采用信息编码方法,提取各模态内容中的信息,并采用多模态融合以及多模态交互的方法,构建多模态交互表示,基于获得的多模态交互表示进行特征提取,获得讽刺特征表示以及分类器表示,利用获得的讽刺特征表示以及分类器表示进行协同检测,充分的利用模态间信息,提高讽刺检测的准确性。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,特别涉及是一种多模态讽刺检测方法、装置、计算机设备以及存储介质


技术介绍

1、多模态讽刺检测是一种情感分类任务,旨在识别给定帖子是否含有讽刺情感。在多模态讽刺检测中,给定帖子的情感都根据一组预定义的情感极性进行分类,即具有讽刺情感(积极)或不具有讽刺情感(消极)。因此,一个有效的讽刺检测器对于情感分析和意见挖掘等需要了解人们真实情绪的任务来说具有重要意义。

2、早期的讽刺检测工作主要针对的是纯文本的数据。得益于社交媒体平台的普及和推广,更多的社交帖子以多模态的形式发布,包含文本和图像两个模态的讽刺帖子大量的出现在社交媒体平台上。比如,有时候如果只关注文本,我们可能错误地将推文的情绪归类为不具有讽刺情感(消极),而结合上图片,我们就可以判断出推文实际上是一个具有讽刺情感(积极)的例子。在多模态讽刺检测任务的推进过程中,通常在两个方向上进行努力:一是主要通过建模文本和图片两个模态的表示来获得不同类型的特征,进而融合这些特征来学习区分文字与图像间的不一致表达,二是寻找更好更完善的外部知识来辅助多模态讽刺检测任务。然而,讽本文档来自技高网...

【技术保护点】

1.一种多模态讽刺检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的多模态讽刺检测方法,其特征在于:所述编码模块包括词嵌入模块以及目标检测模块;

3.根据权利要求1或2所述的多模态讽刺检测方法,其特征在于,所述将将所述句子文本表示、图像视觉表示以及字幕文本表示输入至所述融合模块中进行信息融合,获得多模态融合表示,包括步骤:

4.根据权利要求1或3所述的多模态讽刺检测方法,其特征在于,所述将所述第一子多模态融合表示以及第二子多模态融合表示输入至所述交互模块中进行信息交互,获得多模态交互表示,包括步骤:

5.根据权利要求1或4所述的...

【技术特征摘要】

1.一种多模态讽刺检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的多模态讽刺检测方法,其特征在于:所述编码模块包括词嵌入模块以及目标检测模块;

3.根据权利要求1或2所述的多模态讽刺检测方法,其特征在于,所述将将所述句子文本表示、图像视觉表示以及字幕文本表示输入至所述融合模块中进行信息融合,获得多模态融合表示,包括步骤:

4.根据权利要求1或3所述的多模态讽刺检测方法,其特征在于,所述将所述第一子多模态融合表示以及第二子多模态融合表示输入至所述交互模块中进行信息交互,获得多模态交互表示,包括步骤:

5.根据权利要求1或4所述的多模态讽刺检测方法,其特征在于:所述分类器表示包括与所述讽刺引导标记相应的若干个类别的分类器表示;

6....

【专利技术属性】
技术研发人员:李坤桃蔡倩华麦卫兴陈一帆张良均薛云
申请(专利权)人:华南师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1