【技术实现步骤摘要】
本专利技术涉及的是虚假信息检测，具体涉及一种基于注意力机制多模态虚假信息检测网络。
技术介绍
1、随着网络的发展，人与人之间的距离在互联网的桥梁下被拉得越来越近。社交软件和媒体网络的出现不仅拉近了人与人之间的关系，也实现了世界各大新闻和重要事件在人与人之间的迅速传播。但是，这也给了虚假信息在人与人之间的传播滋生了有利土壤。
2、虚假信息检测分为基于单模态的虚假信息检测和基于多模态的虚假信息检测。目前，现有方案多为通过关键字或关键特征区域对单模态文本或图片信息进行真伪性或有效性检测。尤其是应用于工业检测领域中，通过深度学习算法来检测外表缺陷产品，相较于传统的手工和人工检测，基于深度学习的外表缺陷检测具有准度精、效率高的特点，但无法有效结合其他相关模态数据进行结合检测。
3、中国专利技术专利申请号202011626342.6公开的一种基于原文和评论信息分析算法的虚假信息检测方法，通过注意力机制来对虚假信息进行检测，通过使用图卷积神经网络(gcn)来对文章原文和文章对应评论进行检测。该专利能够对文本模态的虚假信息进行有效鉴别，能识别出原本和文章原文和评论中的不符信息，但文章原文也可存在一些插图类信息，并且对应评论仍可以存在一些类似于表情图片的图片模态信息，该专利技术在图片模态和文本模态的虚假信息检测方面存在一定局限性。
4、另外，现有的虚假信息检测技术也有用到注意力机制进行模态交互从而实现特征融合的，但不同模态提取到的特征向量维度不同，无法更好的实现特征交互和特征融合，同时，现有的采用注意力机制的虚
5、基于多模态的虚假信息检测相较于单模态的虚假信息检测，由于可以通过不同模态信息结合多条路径线索的特点，可以更加准确的实现信息真伪性检测。综上，针对媒体平台和社交软件中，虚假信息鉴别手段有限、鉴别准确度低等问题，开发一种基于注意力机制多模态虚假信息检测网络尤为必要。
技术实现思路
1、针对现有技术上存在的不足，本专利技术目的是提供一种基于注意力机制多模态虚假信息检测网络，实现对媒体平台和社交软件中的虚假信息进行准确检测，对虚假信息及谣言等进行及时甄别，保护数据的真实性和有效性，易于推广使用。
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：基于注意力机制多模态虚假信息检测网络，其多模态注意力机制结构由文本特征提取模块、图片特征提取模块、特征融合机制模块、信息检测模块四部分组成，首先采用bert模型加双向门控循环单元(bi-gru模型)实现对文本模态的数据信息进行特征提取，再通过faster-rcnn对图片模态数据的特征进行提取；然后通过对比学习预训练对两个不同模态不同维度的特征向量进行特征对齐，之后通过注意力机制(attention)建立模间注意力机制和模内注意力机制，捕获语言和视觉领域不同模态之间的特征进行高层交互，并将这个过程多次迭代，实现多模态的最终表征，得到最终的联合表征模型用于检测虚假信息，通过全连接层对其进行二分类并投射到坐标上，最后得到多模态信息的真实性概率。
3、作为优选，所述的文本特征提取模块用于对句子中的单词相互依赖关系和单词上下文匹配信息等特点进行捕捉，文本信息数据通过bert模型预训练的词的嵌入实现每个单词向量的初始化，再通过双向门控循环单元bi-gru来对初始化后的单词向量进行特征的提取，最终得到文本数据表征text embedding。
4、作为优选，所述的图片特征提取模块负责对图片特征进行捕获，构建faster-rcnn网络；给定输入数据为集合u中的数据ui，利用残差网络(resnet)网络结构对训练集中每个事件中的图片进行基础的特征提取，每个图片利用区域建议网络(rpn)提取100个区域建议(region proposal)以及相关联的区域特征，之后通过roipooling层得到同长度特征向量，将获得区域视觉特征表示为image embedding。
5、作为优选，所述的特征融合机制模块由对比学习预训练模块、模间注意力模块、模内注意力模块以及多模态融合器四部分组成；对比学习预训练模块将文本特征提取模块得到的文本特征向量text embedding和图片特征提取模块得到的图片特征向量imageembedding对比学习，将相似的数据拉近，同时将不相似的数据进行互斥,从而更好的实现数据表征；模间注意力模块使用注意力机制计算不同模态之间的相关性，通过所学习到的相关性权重更新文本以及图片的特征向量；模内注意力模块利用注意力计算公式对单模态内进行建模交互，模间注意力机制和模内注意力机制多次迭代，多模态融合器最终实现联合表征提取。具体地，各模块功能如下：
6、(1)对比学习预训练模块对文本特征提取模块得到的文本特征向量textembedding和图片特征提取模块得到的图片特征向量image embedding在两个独立的特征空间下通过对比学习预训练。计算对比损失函数infonce，之后根据损失函数对不同模态进行梯度下降，实现将两个独立特征空间下的特征进行特征对齐，映射到同一个特征空间中的同时增强向量之间的特征相关性，为之后的特征交互做准备。
7、(2)模间注意力模块的模间注意力计算公式为：
8、
9、式中，attention()是注意力运算函数，q、k、v分别为query矩阵、key矩阵和value矩阵；d作为防止分子点积值过大的比例因子，其值为输入特征的维度；
10、将经过对比学习预训练模块的文本特征向量aligned text embedding(以e代表)和图片特征向量aligned image embedding(以r代表)输入到模间注意力机制模块中，注意力运算函数过程如下：
11、e update＝attention(qe,kr,vr)
12、r update＝attention(qr,ke,ve)
13、经过计算得到更新后的文本特征矩阵e update和图片特征矩阵r update，作为模内注意力机制的输入矩阵。
14、(3)模内注意力模块的模内注意力机制是文本模态和图片模态交互关系的进一步延伸和补充，其具体计算过程如下：
15、rnew＝attention(qr,kr,vr)
16、enew＝attention(qe,ke,ve)
17、经过模内注意力机制后，得到更新后的文本特征enew、图片特征rnew。
18、(4)多模态融合器对得到的文本特征向量enew、图片特征向量rnew进行平均池化，得到最终表征ef和rf，平均池化过程如下：
19、ef＝avgpool(enew)
20、rf＝avgpool(rnew)
21、最后将池化后的最终表征ef和rf进行拼接，得到联合表征v；对v进行线性变换后得到最终联合本文档来自技高网...
【技术保护点】
1.基于注意力机制多模态虚假信息检测网络，其特征在于，其多模态注意力机制结构由文本特征提取模块、图片特征提取模块、特征融合机制模块、信息检测模块四部分组成，首先采用BERT模型加双向门控循环单元(Bi-GRU模型)实现对文本模态的数据信息进行特征提取，再通过Faster-RCNN对图片模态数据的特征进行提取；然后通过对比学习预训练对两个不同模态不同维度的特征向量进行特征对齐，之后通过注意力机制(Attention)建立模间注意力机制和模内注意力机制，捕获语言和视觉领域不同模态之间的特征进行高层交互，并将这个过程多次迭代，实现多模态的最终表征，得到最终的联合表征模型用于检测虚假信息，通过全连接层对其进行二分类并投射到坐标上，最后得到多模态信息的真实性概率。
2.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的文本特征提取模块用于对句子中的单词相互依赖关系和单词上下文匹配信息特点进行捕捉，文本信息数据通过BERT模型预训练的词的嵌入实现每个单词向量的初始化，再通过双向门控循环单元Bi-GRU来对初始化后的单词向量进行特征的提取，最终得到文本数据
3.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的图片特征提取模块负责对图片特征进行捕获，构建Faster-RCNN网络；给定输入数据为集合U中的数据ui，利用残差网络(ResNet)网络结构对训练集中每个事件中的图片进行基础的特征提取，每个图片利用区域建议网络(RPN)提取100个区域建议(Region proposal)以及相关联的区域特征，之后通过ROIPooling层得到同长度特征向量，将获得区域视觉特征表示为Image embedding。
4.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的特征融合机制模块由对比学习预训练模块、模间注意力模块、模内注意力模块以及多模态融合器四部分；对比学习预训练模块将文本特征提取模块得到的文本特征向量Textembedding和图片特征提取模块得到的图片特征向量Image embedding对比学习，将相似的数据拉近，同时将不相似的数据进行互斥；模间注意力模块使用注意力机制计算不同模态之间的相关性，通过所学习到的相关性权重更新文本以及图片的特征向量；模内注意力模块利用注意力计算公式对单模态内进行建模交互，模间注意力机制和模内注意力机制多次迭代，多模态融合器最终实现联合表征提取。
5.根据权利要求4所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的对比学习预训练模块对文本特征提取模块得到的文本特征向量Text embedding和图片特征提取模块得到的图片特征向量Image embedding在两个独立的特征空间下通过对比学习预训练；计算对比损失函数InfoNCE，之后根据损失函数对不同模态进行梯度下降，实现将两个独立特征空间下的特征进行特征对齐，映射到同一个特征空间中的同时增强向量之间的特征相关性，为之后的特征交互做准备。
6.根据权利要求4所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的模间注意力模块的模间注意力计算公式为：
7.根据权利要求4所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的模内注意力模块的模内注意力机制是文本模态和图片模态交互关系的进一步延伸和补充，其具体计算过程如下：
8.根据权利要求4所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的多模态融合器对得到的文本特征向量Enew、图片特征向量Rnew进行平均池化，得到最终表征Ef和Rf，平均池化过程如下：
9.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的信息检测模块根据得到的最终联合表征Final embedding，使用激活函数为softmax的全连接层(FC)将最终表征Final embedding投射到二分类目标空间，从而得到概率分布p；最终通过设定阈值并根据所得概率与阈值对应关系对信息进行真伪性判断。
...【技术特征摘要】
1.基于注意力机制多模态虚假信息检测网络，其特征在于，其多模态注意力机制结构由文本特征提取模块、图片特征提取模块、特征融合机制模块、信息检测模块四部分组成，首先采用bert模型加双向门控循环单元(bi-gru模型)实现对文本模态的数据信息进行特征提取，再通过faster-rcnn对图片模态数据的特征进行提取；然后通过对比学习预训练对两个不同模态不同维度的特征向量进行特征对齐，之后通过注意力机制(attention)建立模间注意力机制和模内注意力机制，捕获语言和视觉领域不同模态之间的特征进行高层交互，并将这个过程多次迭代，实现多模态的最终表征，得到最终的联合表征模型用于检测虚假信息，通过全连接层对其进行二分类并投射到坐标上，最后得到多模态信息的真实性概率。
2.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的文本特征提取模块用于对句子中的单词相互依赖关系和单词上下文匹配信息特点进行捕捉，文本信息数据通过bert模型预训练的词的嵌入实现每个单词向量的初始化，再通过双向门控循环单元bi-gru来对初始化后的单词向量进行特征的提取，最终得到文本数据表征text embedding。
3.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的图片特征提取模块负责对图片特征进行捕获，构建faster-rcnn网络；给定输入数据为集合u中的数据ui，利用残差网络(resnet)网络结构对训练集中每个事件中的图片进行基础的特征提取，每个图片利用区域建议网络(rpn)提取100个区域建议(region proposal)以及相关联的区域特征，之后通过roipooling层得到同长度特征向量，将获得区域视觉特征表示为image embedding。
4.根据权利要求1所述的基于注意力机制多模态虚假信息检测网络，其特征在于，所述的特征融合机制模块由对比学习预训练模块、模间注意力模块、模内注意力模块以及多模态融合器四部分；对比学习预训练模块将文本特征提取模块得到的文本特...
【专利技术属性】
技术研发人员：李军，邵彦华，何永瑾，李卓远，蒋文韬，任亚唯，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。