【技术实现步骤摘要】
本专利技术属于信息安全和媒体监管领域，具体涉及一种基于多层次的跨模态融合和新型注意力机制的多模态虚假新闻检测方法。更具体地说，本专利技术在采用新颖的多层次跨模态融合基础架构下，实现了现实场景中细粒度虚假新闻分类，并采用新型的注意力机制提高了在现实训练样本不均衡情况下检测虚假新闻的准确度。
技术介绍
1、随着社交媒体和数字内容的多样化发展，新闻信息出现采用图像、视频等视觉内容与传统文本形式结合的方式进行传播的趋势，隐藏其中的虚假新闻呈现出更具欺骗性和煽动性的传播态势，在近年来对社会造成了日益严重的危害。针对多模态信息中潜在的造假要素，实现对多模态虚假新闻的更加细粒度的检测，已成为当下信息安全和媒体监管领域面临的具有挑战性和紧迫性的问题。
2、近年来的虚假新闻检测相关研究中，基于深度学习技术催生了自动化检测手段，解决了早期依赖手工设计语言学表征来捕捉文本特征所导致的人力成本昂贵、领域知识依赖性高、模型泛化能力差等问题。此外，随着卷积神经网络(convolutional neuralnetworks,cnn)成为处理视觉信息的强大工具，其在虚假新闻检测领域中也取得了显著成效。通过使用卷积神经网络，针对不同模态的新闻数据进行更加精细的建模，能够提高虚假新闻检测的精度和鲁棒性，这使得现有的虚假新闻检测方法形成了两个分支：单模态虚假新闻检测和多模态虚假新闻检测。单模态虚假新闻检测方法完全基于自然语言处理(natural language processing,nlp)方法，仅关注文本信息的特征提取和分类，但在虚假媒体信息越来越倾
3、现有的多模态虚假新闻检测方法仅针对每种模态新闻信息中的局部信息与局部信息之间的交互，而忽略了每种模态新闻信息中的局部信息与全局信息之间的交互。现有的方法虽然在大量多模态虚假新闻的检测案例中简单而有效，但由于缺乏对于局部信息与全局信息之间交互的考虑，现有方法无法完善地融合不同粒度的特征，而现实多模态新闻造假的一大主要途径便是在原本真实的图文信息中做出微小的篡改，这会导致篡改后的信息在细粒度层次的局部信息产生与粗粒度层次的全局信息之间的语义分歧，因此现有方法难以全面覆盖现实中多模态新闻的各种常见造假类型对应的数据特点，进而无法针对性地检测每种现实新闻造假方式。
4、此外，近年来的多模态虚假新闻检测方法中常常向模型中引入注意力机制(attention mechanism)以提高表现性能。注意力机制是一种在深度学习模型中广泛使用的计算机制，用于模拟人类在信息处理时的选择性集中和加权分配注意力的过程。它通过分析输入数据的不同部分的重要性，为每个部分分配相应的注意力权重。现有的多模态虚假新闻检测方法大多采用注意力机制中较为基础的种类自注意力机制(self-attentionmechanism)用于计算不同模态特征之间的关联程度，这虽然使便模型能够一定程度上更加准确地捕捉到虚假新闻中不同信息之间的高关联度信息、提高数据特征中的一致性表征占比，但使模型仅关注不同信息之间的一致性表征也会导致模型对信息之间的不一致性表征不敏感，而现实多模态新闻造假的根本特点便是模态内或模态间的信息不匹配，因此现有的大多数仅采用自注意力机制的多模态虚假新闻检测模型在现实虚假新闻检测任务中难以达到在所有新闻造假类别上的整体更好效果。
技术实现思路
1、针对现有技术的不足及发展情况，本专利技术提出一种基于新颖特征融合方式的多模态虚假新闻检测方法。具体来说，该方法是包含了一种新颖的多层次特征融合方法和一种新型注意力机制的多模态虚假新闻检测方法。与现有方法仅采用模态内局部信息-局部信息的单一层次特征融合方法相比，多层次融合方法同时兼顾了模态内局部信息-局部信息特征融合方法与模态内局部信息-全局信息特征融合方法，使模型充分利用模态内部的全局信息与局部信息之间的关联，从原理上覆盖更多种现实中多模态新闻的常见造假类型对应的数据特点，针对性地提高对多种现实多模态新闻造假类型，尤其是图文不匹配与文本/图像内容篡改两种造假类型的整体检测表现。同时，本专利技术提出一种全新的注意力机制即逆向注意力机制，相较于现有方法采用的更关注信息间一致性表征的自注意力机制，逆向注意力机制能够显式学习直观体现现实多模态新闻造假所导致的信息不匹配，与现有的方法相比能够明显提高模型对于虚假新闻的整体敏感度，并增强可解释性。
2、为实现上述目的，本专利技术提供了如下技术方案：
3、一种基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：该方法采用逆向注意力机制，实现模态内的局部特征与局部特征的融合、局部特征与全局特征的融合，同时实现不同模态的局部特征之间的融合，该方法包括以下步骤：
4、s1、获取多模态新闻输入，即获取一组对应的新闻文本-图像对，并经过预训练的特征提取器获得原始文本特征ft和原始图像特征fi；
5、s2、构建多模态虚假新闻检测模型，该模型先经由文本特征提取分支和图像特征提取分支分别处理原始文本特征和原始图像特征，得到多种文本融合特征与图像融合特征，再将这些融合特征进行串联拼接并得到最终结果，其中，文本特征提取分支与图像特征提取分支结构完全相同，均由模态内局部-局部特征融合模块与跨模态特征融合模块串联后，再与模态内局部-全局特征融合模块并联组成，其中每个模块均采用特殊注意力机制，即分别计算自注意力机制矩阵与逆向注意力机制矩阵，然后将两者进行串联拼接，其中，所述的逆向注意力机制是指将自注意力运算得到的查询向量与键向量相乘得到的自注意力权重矩阵，乘以负数权重并与正边界值相加，将得到的新权重矩阵重新与自注意力运算得到的值向量相乘，并进行归一化后再输入softmax函数；
6、s3、将原始文本特征ft和原始图像特征fi分别输入对应模态的模态内局部-全局特征融合模块和模态内局部-局部特征融合模块，分别得到文本模态的模态内局部-全局融合特征和图像模态的模态内局部-全局融合特征以及文本模态的模态内局部-局部融合特征和图像模态的模态内局部-局部融合特征此后将和分别输入对应模态的跨模态特征融合模块，得到融合了图像特征的跨模态文本特征ft-i和融合了文本特征的跨模态图像特征fi-t，以上六种特征将参与计算损失用于约束网络的训练过程；
7、s4、利用两种模态的模态内局部-全局融合特征和两种模态的模态内局部-局部融合特征和两种跨模态融合特征ft-i、fi-t，计算当前新闻的真假性分类结果r，r与真实性标签y构成分类损失用于约束整个多模态虚假新闻检测模型的训练。
8、进一步地，步骤s1具体包括：
9、获取新闻原始数据中的文本数据t和图像数据i，并分别输入文本特征提取器和图像本文档来自技高网...
【技术保护点】
1.一种基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：该方法采用逆向注意力机制，实现模态内的局部特征与局部特征的融合、局部特征与全局特征的融合，同时实现不同模态的局部特征之间的融合，该方法包括以下步骤：
2.根据权利要求1所述的基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：步骤S1具体包括：
3.根据权利要求1所述的基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：步骤S2具体包括：
4.根据权利要求1所述的基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：步骤S3具体包括：
5.根据权利要求1所述的基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：步骤S4具体包括：
【技术特征摘要】
1.一种基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：该方法采用逆向注意力机制，实现模态内的局部特征与局部特征的融合、局部特征与全局特征的融合，同时实现不同模态的局部特征之间的融合，该方法包括以下步骤：
2.根据权利要求1所述的基于多层次融合和注意力机制的多模态虚假新闻检测方法，其特征在于：步骤s1具体包括：
<...【专利技术属性】
技术研发人员：孙建德，邵屹，李静，万文博，姜也，张璇，张冠文，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。