一种基于多模态融合的假新闻检测系统与方法技术方案

本发明专利技术公开了一种基于多模态融合的假新闻检测系统与方法，涉及自然语言处理和计算机视觉领域，所述方法包括以下步骤：步骤1、收集新闻样本，构建新闻样本数据集，包括新闻文本和新闻图像，并进行预处理；步骤2、提取所述新闻文本中的句向量和所述新闻图像中的图向量，其中，所述句向量和所述图向量是表征所述新闻文本和所述新闻图像的初始特征向量；步骤3、将所述初始特征向量用于所述特征更新及融合模块的训练学习，得到能够体现出模态间权重的特征，再通过拼接得到最终的特征表示；步骤4、将所述最终的特征表示输入到全连接网络中进行计算，建立起所述最终的特征表示与新闻标签的联系，并进而判断新闻的真假。

【技术实现步骤摘要】

本专利技术涉及自然语言处理和计算机视觉领域，尤其涉及一种基于多模态融合的假新闻检测系统与方法。

技术介绍

1、近年来，互联网用户数量呈现出迅猛增长的趋势，互联网普及率也在稳步提升。随着互联网技术的不断发展和普及，人们获取信息的途径也愈加多样化，网络在信息传播中的作用愈发重要。尽管互联网带来了信息获取的极大便利，但其带来的问题也不容忽视。在信息爆炸的时代，大量虚假信息的涌入对公众的认知造成了严重威胁。

2、随着学术界和工业界对网络虚假信息研究的关注，虚假信息自动检测技术逐步提高。传统方法依赖专家知识从文本内容中提取手工特征，然后在虚假信息分类器中采用传统的机器学习算法进行训练，如朴素贝叶斯（naïve bayes, nb）、决策树（decision tree,dt）和支持向量机（support vector machine, svm）等。这些基于手工制作特征的方法虽然简单，但缺乏全面性和灵活性。大量研究表明，设计人工特征对于各种自然语言处理任务至关重要。在大数据时代，高度可区分的特征表示学习已成为人工智能应用的新瓶颈。过去十年，深度神经网络因其包本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的假新闻检测系统，其特征在于，所述系统包括数据读取和预处理模块、文本特征提取模块、图像特征提取模块、特征更新及融合模块以及检测模块；

2.如权利要求1所述的基于多模态融合的假新闻检测系统，其特征在于，在所述数据读取和预处理模块中，在所述新闻文本和所述新闻图像的命名和存放位置上进行一对一的匹配，且所述新闻文本中包含新闻真或假的标签。

3.如权利要求2所述的基于多模态融合的假新闻检测系统，其特征在于，在所述数据读取和预处理模块中，将所述新闻图像中存在的无效图片视为异常，并生成空白图像；对于所述新闻图像中的每张图像，预处理为具备三个通道的RGB彩色...

【技术特征摘要】

1.一种基于多模态融合的假新闻检测系统，其特征在于，所述系统包括数据读取和预处理模块、文本特征提取模块、图像特征提取模块、特征更新及融合模块以及检测模块；

2.如权利要求1所述的基于多模态融合的假新闻检测系统，其特征在于，在所述数据读取和预处理模块中，在所述新闻文本和所述新闻图像的命名和存放位置上进行一对一的匹配，且所述新闻文本中包含新闻真或假的标签。

3.如权利要求2所述的基于多模态融合的假新闻检测系统，其特征在于，在所述数据读取和预处理模块中，将所述新闻图像中存在的无效图片视为异常，并生成空白图像；对于所述新闻图像中的每张图像，预处理为具备三个通道的rgb彩色图像，且保证所述每张图像的大小一致。

4.一种基于多模态融合的假新闻检测方法...

【专利技术属性】
技术研发人员：刘源，杨根科，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：