跨样本虚假新闻视频的检测方法及系统技术方案

本发明专利技术提出一种跨样本虚假新闻视频的检测方法，包括：获取目标事件的新闻视频和辟谣视频，提取新闻视频的单样本特征为第一特征，提取该辟谣视频的单样本特征为第二特征；构建以该第一特征为节点和以该节点之间的重要性表示为边的事件图；以信息聚合获取该节点的节点特征，通过对该节点特征进行真假二分类，选出分类为真的节点特征所对应新闻视频为待测视频，以及分类为假的第一虚假视频；通过检测该第二特征与该待测视频的第一特征之间的事实信息冲突，选出该待测视频中的第二虚假视频，以该第一虚假视频和该第二虚假视频为虚假新闻视频。本发明专利技术还提出一种跨样本虚假新闻视频的检测系统，以及一种用于实现跨样本虚假新闻视频检测的数据处理装置。闻视频检测的数据处理装置。闻视频检测的数据处理装置。

【技术实现步骤摘要】
跨样本虚假新闻视频的检测方法及系统


[0001]本专利技术涉及新闻可信度认证
，特别涉及一种跨样本的虚假新闻视频检测方法与系统。

技术介绍

[0002]近年来，抖音、快手等短视频平台催生了大量的假新闻视频。与传统的基于文本和图文的假新闻相比，视频形式的假新闻更具吸引力和说服力，这使得虚假新闻视频检测成为多模态虚假新闻检测任务中一个新兴的研究点。虚假新闻视频一般由新闻标题和视频共同组成。虚假新闻视频检测任务的目标是对输入的新闻视频给出真或假的二分类判断。
[0003]现有工作大多专注于如何充分利用单样本内的多模态信息进行分类。作为最具代表性的工作之一，Qi等人提出了目前检测性能最好的检测模型SV
‑
FEND(短视频虚假新闻检测模型)，如图1所示。该模型分别提取了标题和字幕、音频、关键帧、视频片段、评论及用户画像等多模态特征，使用两个跨模态Transformer建模文本和音频及关键帧特征之间的关联，最后使用Transformer对所有特征进行融合后用于分类。
[0004]尽管现有方法对单样本中的多模态信息利用地已经比较充分，由于造假者的精心篡改，单个视频中呈现的检测线索往往并不明显，这限制了现有的基于单样本的检测方法的性能。例如，部分假新闻视频仅对真新闻视频标题中的时间、地点等新闻元素进行修改，基于单样本多模态内容的检测器难以成功检测此类假新闻视频。

技术实现思路

[0005]为实现对虚假新闻视频进行有效的自动检测。本专利技术针对现有技术中存在的单样本线索有限的技术问题，提出了一种跨样本的虚假新闻视频检测方法，包括：获取目标事件的新闻视频和辟谣视频，提取该新闻视频的单样本特征为第一特征，提取该辟谣视频的单样本特征为第二特征；构建以该第一特征为节点和以该节点之间的重要性表示为边的事件图；以信息聚合获取该节点的节点特征，通过对该节点特征进行真假二分类，选出分类为真的节点特征所对应新闻视频为待测视频，以及分类为假的节点特征所对应新闻视频为第一虚假视频；通过检测该第二特征与该待测视频的第一特征之间的事实信息冲突，选出该待测视频中的第二虚假视频，以该第一虚假视频和该第二虚假视频为该目标事件的虚假新闻视频。
[0006]本专利技术所述的跨样本虚假新闻视频的检测方法，其中检测该第二特征与该待测视频的第一特征之间的事实信息冲突的步骤包括：将该第二特征中的文本特征S
D
和该第一特征中的文本特征S
C
，生成特征对<S
D
，S
C
>，通过BERT模型进行建模，得到文本冲突特征x
t
＝BERT([CLS]S
D [SEP] S
C
[SEP])；在该第二特征中的关键帧特征集中添加时间位置编码f
tem
和分类标记得到该辟谣视频处理后的关键帧特征集在该第一特征中的关键帧特征集中添加时间位置编码
ftem和分类标记得到该待测视频处理后的关键帧特征集采用堆叠的自注意力和交叉注意力模块增强和并将与进行向量拼接得到视觉一致性特征通过自注意力层对x
t
和x
v
进行动态融合，将融合特征进行二分类，以获得该待测视频为第二虚假视频的概率则预测该新闻视频为虚假新闻视频的概率则预测该新闻视频为虚假新闻视频的概率为预测该新闻视频为第一虚假视频的概率。
[0007]本专利技术所述的跨样本虚假新闻视频的检测方法，其中以图注意力神经网络的形式组织该事件图边e
ij
通过注意力机制得到，表示节点v
j
的第一特征对节点v
i
的第一特征的重要性。
[0008]本专利技术所述的跨样本虚假新闻视频的检测方法，其中节点v
i
的节点特征e
ij
＝LeakyReLU(a
T
[Wv
i
，Wv
j
])，为v
i
的邻居节点集，α
i，j
为v
i
与v
j
之间的权重，a、W为可训练参数，[
·
，
·
]表示拼接操作，σ为非线性操作。
[0009]本专利技术所述的跨样本虚假新闻视频的检测方法，其中为对节点特征进行真假二分类的损失函数表示该新闻视频的真实标签。
[0010]本专利技术所述的跨样本虚假新闻视频的检测方法，采用SV
‑
FEND单样本检测器提取该第一特征和该第二特征。
[0011]本专利技术还提出一种跨样本虚假新闻视频的检测系统，包括：特征提取模块，用于获取目标事件的新闻视频和辟谣视频，提取该新闻视频的单样本特征为第一特征，提取该辟谣视频的单样本特征为第二特征；图聚合模块，用于构建以该第一特征为节点和以该节点之间的重要性表示为边的事件图；以信息聚合获取该节点的节点特征，通过对该节点特征进行真假二分类，选出分类为真的节点特征所对应新闻视频为待测视频，以及分类为假的节点特征所对应新闻视频为第一虚假视频；样本修正模块，用于通过检测该第二特征与该待测视频的第一特征之间的事实信息冲突，选出该待测视频中的第二虚假视频，以该第一虚假视频和该第二虚假视频为该目标事件的虚假新闻视频。
[0012]本专利技术所述的跨样本虚假新闻视频的检测系统，其中该样本修正模块包括：文本冲突检测模块，用于获取文本冲突特征；将该第二特征中的文本特征S
D
和该第一特征中的文本特征S
C
，生成特征对<S
D
，S
C
>，通过BERT模型进行建模，得到文本冲突特征x
t
＝BERT([CLS]S
D [SEP]S
C [SEP])；视觉一致性评估模块，用于获取视觉一致性特征；在该第二特征中的关键帧特征集中添加时间位置编码f
tem
和分类标记得到该辟谣视频处理后的关键帧特征集在该第一特征中的关键帧特征集中添加时间位置编码f
tem
和分类标记得到该待测视频处理后的关键帧特征集
采用堆叠的自注意力和交叉注意力模块增强和并将与进行向量拼接得到视觉一致性特征注意力融合和分类模块，用于通过自注意力层对x
t
和x
v
进行动态融合，将融合特征进行二分类，以获得该待测视频为第二虚假视频的概率则预测该新闻视频为虚假新闻视频的概率则预测该新闻视频为虚假新闻视频的概率为预测该新闻视频为第一虚假视频的概率。
[0013]本专利技术还提出一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如前所述的跨样本虚假新闻视频的检测。
[0014]本专利技术还提出一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，实现对跨样本虚假新闻视频的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨样本虚假新闻视频的检测方法，其特征在于，包括：获取目标事件的新闻视频和辟谣视频，提取该新闻视频的单样本特征为第一特征，提取该辟谣视频的单样本特征为第二特征；构建以该第一特征为节点和以该节点之间的重要性表示为边的事件图；以信息聚合获取该节点的节点特征，通过对该节点特征进行真假二分类，选出分类为真的节点特征所对应新闻视频为待测视频，以及分类为假的节点特征所对应新闻视频为第一虚假视频；通过检测该第二特征与该待测视频的第一特征之间的事实信息冲突，选出该待测视频中的第二虚假视频，以该第一虚假视频和该第二虚假视频为该目标事件的虚假新闻视频。2.如权利要求1所述的跨样本虚假新闻视频的检测方法，其特征在于，检测该第二特征与该待测视频的第一特征之间的事实信息冲突的步骤包括：将该第二特征中的文本特征S
D
和该第一特征中的文本特征S
C
，生成特征对<S
D
,S
C
>，通过BERT模型进行建模，得到文本冲突特征x
t
＝BERT([CLS]S
D
[SEP]S
C
[SEP])；在该第二特征中的关键帧特征集中添加时间位置编码f
tem
和分类标记得到该辟谣视频处理后的关键帧特征集在该第一特征中的关键帧特征集中添加时间位置编码f
tem
和分类标记得到该待测视频处理后的关键帧特征集采用堆叠的自注意力和交叉注意力模块增强和并将与进行向量拼接得到视觉一致性特征通过自注意力层对x
t
和x
v
进行动态融合，将融合特征进行二分类，以获得该待测视频为第二虚假视频的概率则预测该新闻视频为虚假新闻视频的概率则预测该新闻视频为虚假新闻视频的概率为预测该新闻视频为第一虚假视频的概率。3.如权利要求1所述的跨样本虚假新闻视频的检测方法，其特征在于，以图注意力神经网络的形式组织该事件图边e
ij
通过注意力机制得到，表示节点v
j
的第一特征对节点v
i
的第一特征的重要性。4.如权利要求3所述的跨样本虚假新闻视频的检测方法，其特征在于，节点v
i
的节点特征征其中，e
ij
＝LeakyReLU(a
T
[Wv
i
,Wv
j
])，为v
i
的邻居节点集，α
i,j
为v
i
与v
j
之间的权重，a、W为可训练参数，[
·
,
·
]表示拼接操作...

【专利技术属性】
技术研发人员：曹娟，亓鹏，唐胜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：