一种基于多模态关系的网络谣言检测方法技术

本发明专利技术公开了一种基于多模态关系的网络谣言检测方法，包括：获取网络平台上发布的待检测的图像与相关的文本；通过预训练fasterR‑CNN模型提取出图像中包含不同类别物体的视觉特征向量；对文本进行预处理后，通过GRU进行语义向量的提取；通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，对于视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而更新视觉特征向量与语义向量；将两部分更新得到的视觉特征向量与语义向量连接在一起，再通过二分类器，获得待检测的信息为谣言与真实类别的概率。该方法能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。

A network rumor detection method based on multimodal relation

【技术实现步骤摘要】
一种基于多模态关系的网络谣言检测方法
本专利技术涉及网络空间安全
，尤其涉及一种基于多模态关系的网络谣言检测方法。
技术介绍
网络社会的崛起使得机遇与挑战并存，尤其是互联网接入的低准入门槛和信息传播的自由性严重影响了网络空间的稳定，网络谣言的肆意传播就是其中一个必须引起重视的问题。当今社交网络平台用户早已破亿，活跃度极高，其传播面广、传播迅速、使用面广、不受时间空间限制和其放大镜特征将信息影响力成倍放大，尤其是一些敏感话题、焦点事件、热点问题、重大公共事件、突发事件一夕之间家喻户晓，或造成信任缺失、政府、企业形象受损、民怨沸腾，所以针对网络谣言的自动和迅速检测对网络空间安全具有重要意义。随着多媒体技术的发展，无论自媒体还是专业媒体都开始向基于图、文、短视频的多媒体新闻形式转变。多媒体内容承载着更加丰富与直观的信息，能够更好地描述新闻事件，且更易广泛传播。研究表明，带图片流量媒体的平均转发次数是纯文本的11倍。正因如此，虚假的新闻或谣言经常使用极具煽动性的图片来吸引和误导读者，从而快速且广泛地传播，这使得对视觉模态内容的检测已经成为应对网络谣言挑战的不容忽视的一部分。传统的基于视觉模态内容进行虚假内容检测的工作主要是利用传统的手工特征，如视觉清晰度、视觉相似度直方图、双重JPEG压缩痕迹等，这些手段往往对粗糙的图片篡改有很好的效果，但随着生成图片技术不断提高，这些方法在不能保证精度的同时也显著提高了资源成本要求。近年来，随着神经网络和深度学习模型的快速发展，相应的检测技术应运而生并取得了巨大成功。在虚假信息检测中，也产生了同时利用文本和视觉莫泰信息来判别新闻的真实性的多模态检测方法。在现有工作中，具有代表性的包括：attRNN、EANN和MVAE。这些方法虽然在多模态形式的虚假信息检测中提供了启发式的思路，但仍有很大缺点。一是对于图像和文本两种信息的提取过程仍比较粗糙，尤其是图片的语义特征；二是在特征融合阶段往往都是将两种模态特征简单拼接，难以表达模态间的交互与关联。
技术实现思路
本专利技术的目的是提供一种基于多模态关系的网络谣言检测方法，能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。本专利技术的目的是通过以下技术方案实现的：一种基于多模态关系的网络谣言检测方法，包括：获取网络平台上发布的待检测的信息，包括图像以及相关的文本；对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。由上述本专利技术提供的技术方案可以看出，使用多模态特征融合，同时考察文本信息和图像信息，具有更高的准确率；同时，区别于其他使用注意力机制的多模态方法，本方法同时兼顾了模态内的信息，使模型能整合更丰富的信息关系。该方法只需使用单条信息作为输入便可以获得精确的检测结果，可以在谣言传播初期迅速检测并处理。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于多模态关系的网络谣言检测方法的模型结构示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术提供了一种基于多模态关系的网络谣言检测方法。在特征提取阶段利用基于fasterR-CNN的目标检测模型提取图像特征，能够关注到图像中的具体目标和显著区域。在特征融合阶段，区别于以往的着眼于图像和文本间的关系，本专利技术对同一模态内的信息也应用了注意力机制，这样的好处是模态内的关联信息可以对模态间的信息起到补充作用。本专利技术提出的方法在WeiboRumorSet数据集上取得了很好的效果，可以发现传统方案使用单一模态难以区分的虚假信息案例。如图1所示，为本专利技术实施例提供的一种基于多模态关系的网络谣言检测方法的模型结构示意图，其主要包括如下五个部分：1、多模态数据获取。本专利技术实施例中，获取网络平台上发布的待检测的信息，包括图像以及相关的文本。示例性的，可以通过社交媒体平台来获取，例如，微博平台。本专利技术实施例中，待检测的信息所包含的文本、以及其他用户转发该待检测的信息时附带的文本。例如，对于从微博平台上获取的微博信息，除了包含微博信息自身的文本还包含其他用户转发微博信息时附带的文本。2、视觉特征的提取。本专利技术实施例中，对于图像，通过在VisualGenome上预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量。fasterR-CNN模型为目标检测中常用的经典模型，对于给定图片I，模型可以输出图中的目标级别信息，即包含不同类别物体的视觉特征向量V＝{v1,v2,…,vK}，其中，vi代表一个物体的视觉特征向量，i＝1,2,…,K，K表示特征向量总数目(这里取36)。示例性的，视觉特征向量V可以是一个K×2048维视觉特征矩阵。相对于以往的图片特征提取方式，本专利技术实施例提供的方法更加集中于图像的目标或其他显著区域。3、文本的预处理与特征提取。本专利技术实施例中，对于文本，进行预处理后，通过门控循环单元进行语义向量的提取。需要说明的是，图1左下角虚线框内的文本仅为示意。1)预处理。对于文本，由于社交媒体信息的复杂性与无序性，会产生很多无用的冗余信息，比如符号表情、特殊字符、URL(统一资源定位符)等，因此需要进行预处理。具体地，对于所有的URL、特殊字符和表情符号等冗余信息，全部选择忽略，只保留剩余文字信息，再拼接为文本序列，拼接间隙使用分隔符作为标识。例如，对于微博中的文本进行预处理后，只保留剩余的文字信息，之后，将源微博剩余的文字信息及后续转发微博剩余的文字信息依次拼接成序列L。2)特征提取。经统计，数据集中的98％的文本经过预处理之后长度均不超过150个字符，因此这里为了计算效率限定，一段文本L最多包含150个单词，超出的单词丢弃掉，不足的补齐。之后，使用预训练的GLOVE(可以在中文维基百科上预训练)进行词特征的向量化，将预处理后的文本表示为矩阵形式，再使用门控循环单本文档来自技高网...

【技术保护点】
1.一种基于多模态关系的网络谣言检测方法，其特征在于，包括：/n获取网络平台上发布的待检测的信息，包括图像以及相关的文本；/n对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；/n对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；/n通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。/n

【技术特征摘要】
20191225 CN 201911357589X1.一种基于多模态关系的网络谣言检测方法，其特征在于，包括：
获取网络平台上发布的待检测的信息，包括图像以及相关的文本；
对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；
对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；
通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。


2.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，包含不同类别物体的视觉特征向量表示为V＝{v1,v2,…,vK}，其中，vi代表一个物体的视特征向量，K表示特征向量总数目，i＝1,2,…,K。


3.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述的相关的文本包括：待检测的信息所包含的文本、以及其他用户转发该待检测的信息时附带的文本。


4.根据权利要求2所述的一种基于多模态关系的网络谣言检测方法，其特征在于，对文本进行预处理包括：去除文本中的冗余信息，仅保留文字信息，再拼接为文本序列，拼接间隙使用分隔符作为标识；所述冗余信息至少包括如下信息的一种或多种：符号表情、特殊字符、统一资源定位符。


5.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，通过门控循环单元进行语义向量的提取之前，使用预训练的GLOVE进行词特征的向量化，将预处理后的文本表示为矩阵形式，再使用门控循环单元进行特征提取，从而得到语义向量。


6.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量包括：
视觉特征向量与语义向量各自作为一个模态信息，通过注意力机制提取每一个(视觉特征向量，语义向量)对的重要程度，根据重要程度实现不同模态信息之间流动，以更新各模态信息，通过信息流动过程来实现图像与文本之间跨模态关联；操作过程如下：
对视觉特征向量与语义向量分别进行线性变换，得到注意力机制所需的k...

【专利技术属性】
技术研发人员：张勇东，毛震东，邓旭冉，赵博文，
申请(专利权)人：北京中科研究院，中国科学技术大学，
类型：发明
国别省市：北京;11