一种基于事实知识融合的多模态虚假新闻检测方法技术

本发明专利技术公开了一种基于事实知识融合的多模态虚假新闻检测方法，包括获取新闻数据，抽取出新闻的文本和图片，并进行真实性标注，构建数据集；基于文本，抽取知识图谱中的相关事实性信息作为外部知识；对文本、图片以及外部知识进行编码；对文本和实体组成的图结构中的边分配注意力权重，并根据图结构进行特征聚合；对特征聚合后的图特征进行关键节点筛选；对文本特征和知识特征进行融合；对文本特征和图片特征进行跨模态融合；通过融合知识的文本向量进行分类，然后通过图文融合特征进行分类，完成模型训练，最后通过训练好的模型进行虚假新闻检测。本发明专利技术使文本、图片和外部知识充分进行交互，提高了虚假新闻的辨识准确度。

【技术实现步骤摘要】

本专利技术涉及虚假新闻检测，特别涉及一种基于事实知识融合的多模态虚假新闻检测方法。

技术介绍

1、随着社交媒体的快速发展，其已经成为人们日常生活中获取信息的主要平台，但信息的快速传播也使其成为了虚假新闻的理想平台。随着图片等模态的数据在社交媒体中的涌现，也出现了越来越多的图文并茂的多模态虚假新闻，由于其对事实进行歪曲和捏造，会对社会以及个人带来不可磨灭的负面影响。因此，对社交媒体上的多模态虚假新闻进行检测是十分必要的。

2、对于多模态虚假新闻的检测，早期通常使用根据手动设计的特征提取方法来学习新闻中的一些特征，但这样的方法依赖于专家的先验知识，检测效果也较差，然而随着深度学习的出现，各种方法都极大地提升了检测的效果。

3、目前，主流的检测方法都聚焦于协调文本特征表示和图片特征表示，结合文本语义特征、图片篡改特征以及文本特征和图片特征的相似性来进行虚假新闻检测，然而，这些方法虽然能够有效的利用新闻本身的特征，但忽略了人们判断新闻真假时通常用到的外部知识，外部知识中包含了大量的信息能够帮助人们识别出常见的且通过新闻本身很难被理解的事实性本文档来自技高网...

【技术保护点】

1.一种基于事实知识融合的多模态虚假新闻检测方法，其特征在于，包括：

2.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤S2中，所述外部知识的获取，具体过程如下：

3.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤S3中，对所述文本进行编码，具体如下：

4.根据权利要求3所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤S3中，通过掩码自动编码器对所述图片进行编码；

5.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤S4中，分配权重...

【技术特征摘要】

1.一种基于事实知识融合的多模态虚假新闻检测方法，其特征在于，包括：

2.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤s2中，所述外部知识的获取，具体过程如下：

3.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤s3中，对所述文本进行编码，具体如下：

4.根据权利要求3所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤s3中，通过掩码自动编码器对所述图片进行编码；

5.根据权利要求1所述的基于事实知识融合的多模态虚假新闻检测方法，其特征在于，步骤s4中，分配权重进行特征融合的具体过程如下：

6.根据权利要求1所述的基于事实知识融合的多模态虚假新闻...

【专利技术属性】
技术研发人员：刘鑫，王胜泽，冯收，吴超蓉，张海瀛，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：