基于知识注入的双注意力网络的多模态讽刺意图识别方法技术

本发明专利技术提供了一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，该方法包括：获取待识别数据内容，所述待识别数据内容包括若干<文本、图片>对；对文本中的词和图片中的对象进行编码，得到原始表示；基于待识别数据内容的隐性上下文信息对原始表示进行扩展，得到上下文感知表示；获取原始表示与上下文感知表示的注意力计算结果；根据注意力计算结果，计算原始跨模态对比表示和上下文感知跨模态对比表示；基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算讽刺意图识别结果。本发明专利技术有助于提高讽刺识别的整体性能，方便模型的实际应用，并对预测结果提供可解释性。解释性。解释性。

【技术实现步骤摘要】
基于知识注入的双注意力网络的多模态讽刺意图识别方法


[0001]本专利技术涉及一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，属于多模态信息识别


技术介绍

[0002]基于多模态信息的讽刺表达是通过使用与图片中比喻场景相反的文本来达到含蓄表达强烈情感的目的。当前，基于文本和图片的讽刺表达在微博、推特等社交平台上普遍存在。由于讽刺表达能翻转文本中情感或观点的极性，因此，自动检测多模态讽刺意图在客户服务、意见挖掘以及各种需要了解人们真实情感的任务中具有重要意义。
[0003]实际中的多模态讽刺意图检测十分复杂。用户输入信息的语义表达不仅受到显性内容，还有隐性上下文的影响。显性内容是指输入的文本或图片中可观察到的场景内容，隐性上下文是指输入信息中不可见的关于场景的推理知识，包括涉及场景发展的过程和场景中人物的意图。基于文本和图片的完整语义表示，识别讽刺意图需要精准定位多模态信息中描述讽刺的部分并判别它们的语义差异。然而，现有多模态讽刺检测方法仅从输入文本和图片中学习特征，忽略了对内容背后隐性上下文的建模。同时，它们基于文本和图片未处理的全量信息去建模多模态信息间的语义差异，容易引入噪音，导致讽刺意图识别的准确率下降，模型的实际应用受到影响。如何将隐性上下文信息注入到多模态输入来获取更好的特征表示，并基于这些信息精准定位讽刺描述区域进行语义差异识别是亟待解决的问题。

技术实现思路

[0004]针对上述问题，本专利技术提出的基于知识注入的双注意力网络的多模态讽刺意图识别方法，利用知识增强的多维度注意力模块将隐性上下文知识注入到多模态输入表示中，根据人类的推理方式将隐性上下文知识划分为两个角度，即场景状态和情感状态，来构建多模态信息的完整语义表示。同时，使用双注意力网络基于联合记忆向量来协作执行图片和文本注意力模块，该联合记忆向量将先前的注意结果集合起来，以捕获文本和图片中涉及讽刺的共享语义。最后，基于联合嵌入空间，采用多维度跨模态匹配层从多维度区分多模态之间的差异。这有助于提高讽刺识别的整体性能，并对预测结果提供可解释性，方便模型的实际应用。
[0005]本专利技术的
技术实现思路
包括：
[0006]一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，所述方法包括：
[0007]获取待识别数据内容，所述待识别数据内容包括：若干<文本、图片>对，所述文本包含若干个单词i，所述图片涉及多个对象j；
[0008]分别对所述文本中的单词i与所述图片中的对象j进行编码，得到单词原始表示与对象原始表示
[0009]基于所述待识别数据内容的隐性上下文信息，对所述单词原始表示与所述对
象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示
[0010]使用双注意力网络分别对所述单词原始表示所述对象原始表示以及所述单词上下文感知表示所述对象上下文感知表示进行注意力计算，获取原始表示与上下文感知表示的注意力计算结果；
[0011]针对原始表示与上下文感知表示的注意力计算结果，通过比对文本和图片间的差异，得到原始跨模态对比表示和上下文感知跨模态对比表示；
[0012]基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算所述待识别数据内容的讽刺意图识别结果。
[0013]进一步地，所述对所述图片中的对象j进行编码，得到对象原始表示包括：
[0014]对于每张图片，使用预训练的目标检测器从图片中检测出对象j的区域，并将多类分类层之前的池化特征作为对象j的视觉特征表示r
j
；
[0015]将所述视觉特征表示r
j
投影到文本表示的空间中；
[0016]通过计算文本中每个单词i与对象j的相关性，获取特定于对象j的文本表示
[0017]基于所述文本表示与视觉特征表示r
j
，计算对象j带有与文本相关性的表示
[0018]将视觉特征表示r
j
组成的对象序列输入双向门控循环神经网络，并将所述表示作为计算权重，从而得到每一对象j的对象原始表示
[0019]进一步地，所述基于所述待识别的数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示包括：
[0020]针对每一图片或文本中的事件描述，生成不同类型的推理知识并计算所述推理知识的常识推理表示H
M,R
，其中，w
l
标示推理知识中的单词，1≤l≤L，L表示推理知识的长度，关系类型R∈{before,after,intent}，before表示事件前关系类型，ofter表示事件后关系类型，intent表示场景中人物意图关系类型，模态M表示文本模态或图片模态；
[0021]基于所述单词原始表示组成的文本特征映射H
T
、所述对象原始表示组成的图片特征映射H
I
、以及所述常识推理表示H
M,R
，计算所述待识别数据内容与所述推理知识之间的关联矩阵C
M
；
[0022]基于所述关联矩阵C
M
，获取所述单词原始表示与所述对象原始表示的文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示
[0023]通过为每一所述推理知识学习一个相关权重，计算所述表示与所述表示的增强表示与增强表示
[0024]基于所述增强表示与所述增强表示计算单词上下文感知表示与对象
上下文感知表示其中，所述单词感知向量表示包括：单词的场景状态上下文感知表示和情感状态上下文感知表示所述对象上下文感知向量表示包括：对象的场景状态上下文感知表示和情感状态上下文感知表示
[0025]进一步地，所述基于所述关联矩阵C
M
，获取所述单词原始表示与所述对象原始表示的文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示包括：
[0026]基于所述关联矩阵C
M
与所述常识推理表示H
M,R
，使用注意力机制形成推理知识的词级表示与对象级表示
[0027]在所述单词原始表示与所述对象原始表示分别相加所述词级表示与所述对象级表示得到表示与表示
[0028]进一步地，所述基于所述增强表示计算单词上下文感知表示包括：
[0029]将所述增强表示具体为事件前关系类型的增强表示事件后关系类型的增强表示意图关系类型的增强表示
[0030]根据所述增强表示所述单词原始表示与所述增强表示计算单词场景状态上下文感知表示
[0031]根据所属增强表示得到单词情感状态上下文感知表示
[0032]进一步地，使用双注意力网络分别对所述单词原始表示所述对象原始表示进行注意力计算，获取原始表示的注意力计算结果，包括：
[0033]对各单词原始表示进行求和，得到文本完整表示u
(0)
；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，所述方法包括：获取待识别数据内容，所述待识别数据内容包括：若干<文本、图片>对，所述文本包含若干个单词i，所述图片涉及多个对象j；分别对所述文本中的单词i与所述图片中的对象j进行编码，得到单词原始表示与对象原始表示基于所述待识别数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示使用双注意力网络分别对所述单词原始表示所述对象原始表示以及所述单词上下文感知表示所述对象上下文感知表示进行注意力计算，获取原始表示与上下文感知表示的注意力计算结果；针对原始表示与上下文感知表示的注意力计算结果，通过比对文本和图片间的差异，得到原始跨模态对比表示和上下文感知跨模态对比表示；基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算所述待识别数据内容的讽刺意图识别结果。2.如权利要求1所述的方法，其特征在于，所述对所述图片中的对象j进行编码，得到对象原始表示包括：对于每张图片，使用预训练的目标检测器从图片中检测出对象j的区域，并将多类分类层之前的池化特征作为对象j的视觉特征表示r
j
；将所述视觉特征表示r
j
投影到文本表示的空间中；通过计算文本中每个单词i与对象j的相关性，获取特定于对象j的文本表示基于所述文本表示与视觉特征表示r
j
，计算对象j带有与文本相关性的表示将视觉特征表示r
j
组成的对象序列输入双向门控循环神经网络，并将所述表示作为计算权重，从而得到每一对象j的对象原始表示3.如权利要求1所述的方法，其特征在于，所述基于所述待识别的数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示包括：针对每一图片或文本中的事件描述，生成不同类型的推理知识并计算所述推理知识的常识推理表示H
M,R
，其中，w
l
标示推理知识中的单词，1≤l≤L，L表示推理知识的长度，关系类型R∈{before,after,intent}，before表示事件前关系类型，after表示事件后关系类型，intent表示场景中人物意图关系类型，模态M表示文本模态或图片模态；基于所述单词原始表示组成的文本特征映射H
T
、所述对象原始表示组成的图片特征映射H
I
、以及所述常识推理表示H
M,R
，计算所述待识别数据内容与所述推理知识之间的关联矩阵C
M
；基于所述关联矩阵C
M
，获取所述单词原始表示与所述对象原始表示的文本带
有隐性上下文信息的表示和图片带有隐性上下文信息的表示通过为每一所述推理知识学习一个相关权重，计算所述表示与所述表示的增强表示与增强表示基于所述增强表示与所述增强表示计算单词上下文感知表示与对象上下文感知表示其中，所述单词感知向量表示包括：单词的场景状态上下文感知表示和情感状态上下文感知表示所述对象上下文感知向量表示包括：对象的场景状态上下文感知表示和情感状态上下文感知表示4.如权利要求3所述的方法，其特征在于，所述基于所述关联矩阵C
M

【专利技术属性】
技术研发人员：亢良伊，刘杰，叶丹，周志阳，李硕，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：