一种基于多模态一致性的短视频谣言检测方法技术

一种基于多模态一致性的短视频谣言检测方法，属于自然语言处理领域。针对谣言视频中存在对于主题的曲解和关键帧的篡改的问题，设计一种基于主题和关键帧的短视频谣言分类模型TKCM；TKCM使用聚合网络获取视频的主题特征、使用注意力网络获取视频的关键帧特征，将两者信息输入模态调节机制调整网络对三种模态的重要性关注度，拼接特征进行短视频谣言检测。针对谣言视频存在不一致问题，提出学习不一致信息的方法，将融入主题、关键帧和不一致性信息的方法ICIM一起用来谣言检测。实验结果表明，在短视频谣言数据集上的F1值比常用的视频分类模型有4％～7％的提升。与融入一致性信息之前的模型相比，在F1值上有2.3％的提升。在F1值上有2.3％的提升。在F1值上有2.3％的提升。

【技术实现步骤摘要】
一种基于多模态一致性的短视频谣言检测方法


[0001]本专利技术属于自然语言处理领域，尤其是涉及一种基于多模态一致性的短视频谣言检测方法。通过融合多模态信息和训练模型的一致性判别能力来解决视频谣言检测任务中由于各模态间信息不一致带来的识别困难问题。

技术介绍

[0002]随着近些年来短视频平台的快速发展，短视频越来越火，受众也越来越多。据数据分析网QuestMobile平台2021年1月发表的报告：2020年6月，抖音月活跃用户数达到51336万人，快手月活跃用户数达到42975万人；抖音月人均使用时长达到1569.5min，快手则为1162.6min。人人都可随时随地在短视频平台上发表自己的言论、上传视频，这使得短视频平台成为舆论的阵地。
[0003]同时，也有一些人通过编造内容、剪切视频、组合内容来制造谣言视频，以达到一些不良的目的，如吸引眼球、引导、传播等。这导致人们很难区分谣言和真实情况，使得有人在无意中成为谣言的传播者。北京师范大学新闻传播学院的统计则显示，近五分之一的网络谣言现在配有短视频。由于受众面广、传播快、煽动性强，网络谣言很容易引起公众的焦虑和恐慌，导致各种群体性事件，严重威胁社会安全。在短视频快速发展的时代，各种短视频平台已经成为谣言传播的温床。由于视频比纯文本或者图文更具有欺骗性，且其来源和真实性难以考证，视频的网络谣言更具危害性。因此，准确及时地检测短视频谣言，对于维护社会媒体平台的舆论稳定，保护国家网络话语权，保证社会秩序的平稳发展具有重要的现实意义。
[0004]现存的工作中，对文本信息的谣言检测用到的通常是自然语言处理中常用的几种编码技术，包括RNN、CNN、对抗网络、图结构和自动编码等。
[0005]谣言数据往往不仅包含文本信息，还包含视觉信息，如图片和视频。传统的基于统计的方法使用额外的图像数量、图像的流行度和图像的类型来检测谣言。然而，这些基于统计的特征并不能说明图像的语义特征。随着深度学习的发展，学者提出使用神经网络从图像中提取特征，并将提取的特征用于谣言检测。然而，现有的图像造假技术可以改变图像的语义信息，而基于卷积网络模型只能提取像素级的图像信息，无法判断图像是否被造假。
[0006]关于文字和视觉信息的研究表明，文字和图片信息在谣言检测任务中证明是有效的。有效地结合文字和视觉信息进行谣言检测，也可以提高谣言检测的效果。
[0007]目前短视频谣言检测主要存在以下两个问题：
[0008](1)短视频谣言的多模态信息融合问题。经典的多模态融合更多考虑多个模态从底层特征开始，通过深度学习逐步聚合成为跨模态特征，但谣言视频中存在对于主题的曲解和关键帧的篡改等手段，因此，短视频谣言的多模态融合需要从主题和关键帧角度来学习谣言特征。
[0009](2)模态间不一致问题。人为制造谣言视频的过程，通常是通过对视频的画面、标题和音频进行拼合、剪接和捏造。导致三种模态之间描述的内容、场景、发生的时间等出现
不一致的情况。经典的多模态视频分类，更多通过提取多个模态的特征，融合成视频的整体特征进行分类，无法学习到谣言视频模态间不一致的信息。因此，传统的多模态视频分类方法无法很好的应用在谣言视频检测上，短视频谣言检测需要学习模态间不一致信息。

技术实现思路

[0010]本专利技术的目的在于提供一种基于多模态一致性的短视频谣言检测方法，用于短视频的辟谣，针对短视频谣言的产生手段是曲解主题和篡改关键帧，以及经过人工合成的谣言视频会出现模态间不一致的情况；本专利技术第一步从主题和关键帧角度来融合多模态谣言特征；第二步通过学习模态间不一致信息来引导多模态间的融合。
[0011]本专利技术包括以下步骤：
[0012]1)建立基于主题和关键帧的短视频谣言分类模型TKCM；
[0013]2)使用预训练好的各模态特征提取器对单模态特征进行提取，使用聚合网络获取视频的主题特征，使用注意力网络获取视频的关键帧特征，将三种模态输入短视频谣言分类模型TKCM；
[0014]3)将各模态的主题特征与关键帧特征输入模态调节机制调整网络对三种模态的重要性关注度，拼接主题特征与关键帧特征，融合多模态信息；
[0015]4)构建一致性数据集，训练模态间一致性检测模型获取一致性信息；
[0016]5)将主题特征、关键帧特征与一致性信息融合，共同作为短视频谣言检测手段。
[0017]在步骤1)中，所述短视频谣言分类模型TKCM包括谣言部分和非谣言部分，从短视频平台获取辟谣视频，人工截取其中存在的谣言部分建立短视频谣言数据集；非谣言部分，从短视频平台上关于知识普及且博主关注量较多的视频中获取。
[0018]在步骤2)中，所述三种模态包括文本模态、视觉模态和音频模态；所述使用预训练好的各模态特征提取器对单模态特征进行提取的具体步骤可为：经过预训练模型获得每种模态的单帧特征向量，将每个模态的单帧聚合起来形成整体的主题特征；同时，使用注意力的方式筛选以获取关键帧；分别采用NeXtVLAD网络和Attention Cluster网络这两种聚合网络获取主题特征和关键帧特征；关键帧特征提取采用注意力机制网络Attention Cluster，它能给相对重要的帧分配更多的权重，主要用于选择视频中的关键帧，并获取三种模态下的关键帧表征；主题特征提取采用NeXtVLAD网络选取聚类中心，然后对视觉、文本和音频等进行编码以得到在每个模态下的主题特性表征。
[0019]在步骤3)中，所述三种模态的重要性有所不同，在三种模态进行拼接之前，将三种模态的特征向量各自乘以一个小于或者等于1的超参数，对各个模态的特征向量值进行适当的缩小或相对放大，预先改变三种模态在最终分类器中的主导作用。
[0020]在步骤4)中，所述构建一致性数据集是通过组合不同的视频中的模态来得到一致性数据集，对于不一致的数据，利用数据集中不同视频中的各个模态进行随机组合；对于模态间是一致的数据，将非谣言数据中相对应的模态进行组合。
[0021]在步骤5)中，将文本
‑
视觉和文本
‑
音频一致性模型嵌入到整体谣言分类框架中，将得到的一致性特征分别通过一个全连接层，然后和TKCM中获取的各模态主题关键帧特征拼接。最后，通过线性层映射至二维空间，进行谣言检测二分任务。
[0022]本专利技术建立两个模型，基于主题和关键帧的短视频谣言检测模型、模态间一致性
检测模型，将这两个模型得到的多模态融合特征一起用来谣言检测。
[0023]与现有的技术相比，本专利技术具有如下的优点和效果：
[0024](1)本专利技术通过融合两种模态的信息增强视频谣言检测效果，三种模态中各有其特有的信息差异且能够通过融合提升视频谣言分类效果。
[0025](2)谣言视频中存在对于主题的曲解和关键帧的篡改等手段，本专利技术多模态融合从短视频谣言的主题和关键帧角度学习谣言特征。
[0026](3)针对模态不一致的谣言视频，本专利技术提出利用BERT来学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态一致性的短视频谣言检测方法，其特征在于包括以下步骤：1)建立基于主题和关键帧的短视频谣言分类模型TKCM；2)使用预训练好的各模态特征提取器对单模态特征进行提取，使用聚合网络获取视频的主题特征，使用注意力网络获取视频的关键帧特征，将三种模态输入短视频谣言分类模型TKCM；3)将各模态的主题特征与关键帧特征输入模态调节机制调整网络对三种模态的重要性关注度，拼接主题特征与关键帧特征，融合多模态信息；4)构建一致性数据集，训练模态间一致性检测模型获取一致性信息；5)将主题特征、关键帧特征与一致性信息融合，共同作为短视频谣言检测手段。2.如权利要求1所述一种基于多模态一致性的短视频谣言检测方法，其特征在于在步骤1)中，所述短视频谣言分类模型TKCM包括谣言部分和非谣言部分，从短视频平台获取辟谣视频，人工截取其中存在的谣言部分建立短视频谣言数据集；非谣言部分，从短视频平台上关于知识普及且博主关注量较多的视频中获取。3.如权利要求1所述一种基于多模态一致性的短视频谣言检测方法，其特征在于在步骤2)中，所述三种模态包括文本模态、视觉模态和音频模态。4.如权利要求1所述一种基于多模态一致性的短视频谣言检测方法，其特征在于在步骤2)中，所述使用预训练好的各模态特征提取器对单模态特征进行提取的具体步骤为：经过预训练模型获得每种模态的单帧特征向量，将每个模态的单帧聚合起来形成整体的主题特征；同时，使用注意力的方式筛选以获取关键帧；分别采用NeXtVLAD网络和Attention Cl...

【专利技术属性】
技术研发人员：林扬豪，曹冬林，游锦鹏，林达真，
申请(专利权)人：厦门大学，
类型：发明
国别省市：