多模态虚假新闻数据的处理方法、装置、设备以及介质制造方法及图纸

技术编号:44912891 阅读:24 留言:0更新日期:2025-04-08 18:56
本发明专利技术公开了一种多模态虚假新闻数据的处理方法、装置、设备以及介质,涉及数据处理技术领域。通过将文本数据和图像数据各自的特征数据进行对比学习处理得到对比学习损失的对比学习处理,减少不同模态之间的异构性,实现跨模态信息的精确对齐,通过对齐后的特征,能够更好地捕捉文本和图像之间的语义关联。引入将第一数据以及图像数据和文本数据对应的融合变量进行相互学习处理得到相互学习损失的相互学习机制,在保持文本和图像各自模态特征的同时,通过信息共享实现模态间的协同学习。这一机制使模型能够自动平衡不同模态的重要性。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别是涉及一种多模态虚假新闻数据的处理方法、装置、设备以及介质


技术介绍

1、在多模态虚假新闻检测领域,模态间隙是一个普遍存在的问题。由于不同模态(例如文本与图像)表现形式的差异,存在显著的异构性,这种异构性影响了信息的整合与协同,增加了检测的难度。

2、现有的多模态检测方法往往难以有效融合来自不同模态的信息,导致对新闻真实性判断的不准确。例如,图像中的关键信息可能无法通过现有的特征提取方法被完整地传达给文本模型,这会导致信息缺失和检测结果的不一致,进而信息融合困难;同时,不同模态在信息表达上的不均衡也会加剧模态间隙,导致模型对某一模态的过度依赖,忽视另一模态的重要特征。这种情况容易导致信息偏差,使检测系统难以做出全面和准确的判断。

3、因此,如何减少模态间隙实现各模态之间的融合和协同是本领域技术人员亟需要解决的。


技术实现思路

1、本专利技术的目的是提供一种多模态虚假新闻数据的处理方法、装置、设备以及介质,以解决信息融合困难存在的模态间隙以及多模态不均衡性的本文档来自技高网...

【技术保护点】

1.一种多模态虚假新闻数据的处理方法,其特征在于,包括:

2.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,将所述文本数据、所述图像数据和所述描述数据分别进行嵌入层处理得到各自的特征数据,包括:

3.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,所述将所述文本数据和所述图像数据各自的特征数据进行对比学习处理得到对比学习损失,包括:

4.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,将所述第一融合变量和所述第二融合变量进行二次融合处理得到第一数据,包括:

5.根据权利要求4所述的多模态虚假新闻数...

【技术特征摘要】

1.一种多模态虚假新闻数据的处理方法,其特征在于,包括:

2.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,将所述文本数据、所述图像数据和所述描述数据分别进行嵌入层处理得到各自的特征数据,包括:

3.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,所述将所述文本数据和所述图像数据各自的特征数据进行对比学习处理得到对比学习损失,包括:

4.根据权利要求1所述的多模态虚假新闻数据的处理方法,其特征在于,将所述第一融合变量和所述第二融合变量进行二次融合处理得到第一数据,包括:

5.根据权利要求4所述的多模态虚假新闻数据的处理方法,其特征在于,将所述第一数据与第三融合变量进行相互...

【专利技术属性】
技术研发人员:贾志洋孙家航魏燚伟李义常张敏杰周洪涛许兆张书妍
申请(专利权)人:中国石油大学北京
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1