一种多模态虚假信息检测方法、系统及存储介质技术方案

技术编号:40470410 阅读:38 留言:0更新日期:2024-02-26 19:08
本发明专利技术提供一种多模态虚假信息检测方法、系统及存储介质,所述方法的步骤包括:获取待辨认信息,从待辨认信息中分离图像信息和文本信息;将图像信息输入到第一网络模型中,得到图像特征向量,将图像特征向量输入到图像分类网络中,得到图像分类向量;将图像特征向量和图像分类向量输入到多专家结构中,得到融合类别图像特征向量;将文本信息输入到第二网络模型和情感提取模块中,第二网络模型输出文字特征向量,情感提取模块输出文字情感特征向量,融合文字特征向量和文字情感特征向量得到融合情感文字特征向量;将融合类别图像特征向量和融合情感文字特征向量融合,得到融合图文特征向量,并输入到判别模块中判定待辨认信息是否为虚假信息。

【技术实现步骤摘要】

本专利技术涉及网络安全,尤其涉及一种多模态虚假信息检测方法、系统及存储介质


技术介绍

1、当前社交媒体已成为浏览新闻和获取信息的最重要途径。在流行的社交媒体平台上,用户可以发布任何类型的新闻内容。因此,庞大的发布者数量导致了社交网络上新闻的爆炸式增长,其中包括许多虚假新闻。泛滥的虚假新闻很容易误导读者,一些极端的言论甚至会对社会造成影响。因此,针对社交媒体上的虚假新闻检测已成为一个紧迫的研究课题。

2、近来,大多数虚假新闻检测方法都基于深度学习方法,其中可分为单模态方法和多模态方法。单模态方法侧重于单一内容特征,如新闻文本,新闻图像。现有的多模态虚假新闻检测方法大多通过预训练的模型提取图像和文本特征。而现有的图像和文本特征通常是图像本身和文字本身的特征,并通过神经网络模型对这些特征进行辨认。

3、在传统的虚假信息检测方法中,对于文本的检测主要依靠关键字词的检测,而对于模棱两可或是预设关键字词以外的语句时,需要依赖于人工的判断与检测。而对于图像的检测,在传统方法中只能依靠像素、色块等进行粗略而不准确的判断,许多工作仍旧需要人工来进行本文档来自技高网...

【技术保护点】

1.一种多模态虚假信息检测方法,其特征在于,所述方法的步骤包括:

2.根据权利要求1所述的多模态虚假信息检测方法,其特征在于,所述图像分类网络对应各个类别设置有分类器,在将所述图像特征向量输入到图像分类网络中,得到图像分类向量的步骤中,将所述图像特征向量输入到图像分类网络中,所述图像分类网络的每个分类器输出一个分类值,组合各个分类器的分类值得到图像分类向量。

3.根据权利要求1所述的多模态虚假信息检测方法,其特征在于,在将所述图像特征向量和图像分类向量输入到多专家结构中的步骤中,所述多专家结构中对应每个图像分类网络的分类器设置有专家模型。>

4.根据权利...

【技术特征摘要】

1.一种多模态虚假信息检测方法,其特征在于,所述方法的步骤包括:

2.根据权利要求1所述的多模态虚假信息检测方法,其特征在于,所述图像分类网络对应各个类别设置有分类器,在将所述图像特征向量输入到图像分类网络中,得到图像分类向量的步骤中,将所述图像特征向量输入到图像分类网络中,所述图像分类网络的每个分类器输出一个分类值,组合各个分类器的分类值得到图像分类向量。

3.根据权利要求1所述的多模态虚假信息检测方法,其特征在于,在将所述图像特征向量和图像分类向量输入到多专家结构中的步骤中,所述多专家结构中对应每个图像分类网络的分类器设置有专家模型。

4.根据权利要求3所述的多模态虚假信息检测方法,其特征在于,将所述图像特征向量和图像分类向量输入到多专家结构中,得到融合类别图像特征向量的步骤包括:

5.根据权利要求1所述的多模态虚假信息检测方法,其特征在于,在所述第二网络模型输出文字特征向量的步骤中,所述第二网络模型包括顺序连接的文字向量化网络和文本分类网络。

6.根据权利要求5所述的多模态虚假信息检测方法,其特征在于,在所述第二网络模型输出文字特征向量的步骤中,将所述文本信息输入到文字向量化网络中,所述文字向量化网络对文本信...

【专利技术属性】
技术研发人员:寇菲菲李雅文王炳炜姚宇晗李炜炜杨俊俐亓丽梅
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1