一种数据增强的图学习多模态虚假信息检测方法及系统技术方案

本发明专利技术公开了一种数据增强的图学习多模态虚假信息检测方法及系统，本发明专利技术的方法包括采集多元信息，构建树状结构存储评论内容，基于OCR技术扫描嵌入文字的图像样本，抽取后拼接在文本内容后；基于文本周边区域颜色均值进行图像掩防止文本对图像特征学习进行干扰；基于相似度计算补全图结构节点之间的潜在边。基于BERT和ResNet50实现对文本和图像的特征学习，对于图结构，采用正负注意力机制的GAT学习图特征；采用cross‑attention将三个模态两两进行学习实现三个模态融合，将最终向量输入到分类器中实现信息真伪检测。本发明专利技术不仅对信息不同模态分别进行数据增强，还基于正负注意力机制充分权衡了正负向评论的影响，基于多模态特征学习来提升检测结果的准确性。

【技术实现步骤摘要】

本专利技术涉及计算机、网络信息，特别是涉及一种数据增强的图学习多模态虚假信息检测方法及系统。

技术介绍

1、随着互联网及自媒体技术的快速发展，未经审核的信息在传播过程中容易歪解形成虚假信息，这些虚假信息以其格式多元、传播方式广泛、判定边界模糊等特点在多个领域影响巨大。如何充分利用信息在传播过程中用户交互及目标信息内部知识实现检测是关键。

2、在数字化时代背景下，社交网络平台因其实时性和便利性深刻地影响了公众的日常生活，不仅改变了人们获取和交流信息的方式，还极大地影响了信息的传播和接收模式。然而，社交平台的审核机制往往只针对涉政和不当内容，而忽视了对虚假信息的审查，导致虚假信息得以传播。有研究表明，信息在传播过程中容易曲解和变形，衍生出多种虚假信息版本信息，从而在政治、经济、健康、科技、娱乐等多个公众广泛关注的领域中迅速蔓延，其传播会导致误导公众认知、影响民众的信息安全和财产安全、对主流媒体的公信力造成严重冲击等严重危害。因此，虚假信息检测技术应运而生，如何充分对信息内部和信息之间的潜在知识学习和分析来判断信息真伪，在一定程度上取代人工核验从而减本文档来自技高网...

【技术保护点】

1.一种数据增强的图学习多模态虚假信息检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对每条样本中超过预设数量的图像进行拼接，包括：

3.根据权利要求1所述的方法，其特征在于，将提取的所述多模态数据集的图像中嵌入的文字拼接到文本内容中，并计算文本周边区域颜色均值生成图像掩码，并基于相似度计算补全图结构节点之间的潜在边，以得到增强数据集，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述增强数据集，利用BERT模型提取文本的特征表示，利用ResNet50模型提取图像的视觉特征，并通过具有正负注意力策略的GAT提取图结构数据...

【技术特征摘要】

1.一种数据增强的图学习多模态虚假信息检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对每条样本中超过预设数量的图像进行拼接，包括：

3.根据权利要求1所述的方法，其特征在于，将提取的所述多模态数据集的图像中嵌入的文字拼接到文本内容中，并计算文本周边区域颜色均值生成图像掩码，并基于相似度计算补全图结构节点之间的潜在边，以得到增强数据集，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述增强数据集，利用bert模型提取文本的特征表示，利用resnet50模型提取图像的视觉特征，并通过具有正负注意力策略的gat提取图结构数据节点间的关系特征，以分别输出对应三种模态的特征向量，...

【专利技术属性】
技术研发人员：朱一凡，贺政，宋美娜，欧中洪，鄂海红，张光卫，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：