面向复杂不完备数据场景的短视频谣言检测方法及系统技术方案

技术编号:43764496 阅读:45 留言:0更新日期:2024-12-24 16:06
本发明专利技术公开了面向复杂不完备数据场景的短视频谣言检测方法及系统,涉及数据挖掘技术领域,通过构建一种基于多模态一致性的共享特征抽取模块,让模型自适应地跳过缺失数据部分,并从可用的数据部分中总结视频内容的信息,从而帮助模型理解视频主题;通过构建一种基于跨模态不一致性的冲突检测模块,分析所有可用模态的语义表征,用于检查模态之间可能存在的矛盾与谬误,作为鉴别谣言的辅助依据;通过构建一种可迁移的自适应平衡训练机制,能够根据训练损失自动地调节每个视频模态的训练权重,防止可用模态的过拟合并缓解缺失模态的欠拟合,从而增强模型对于不同模态组合输入的鲁棒性并达到平衡训练的目的。

【技术实现步骤摘要】

本专利技术涉及数据挖掘,具体的是面向复杂不完备数据场景的短视频谣言检测方法及系统


技术介绍

1、短视频平台的快速发展彻底改变了人们获取和分享信息的方式。然而,短视频也加速了虚假新闻和错误信息的传播,这些内容通过失实和伪造的多媒体内容误导观众。与文本形式的虚假新闻相比,视频具有更强的视觉冲击力和叙事能力,传播速度更快,对社会造成的危害更大。尽管伪造的多媒体内容带来了巨大挑战,虚假新闻视频的检测同样容易受到模态缺失问题的影响。在实际应用中,许多因素可能导致社交媒体平台上出现模态缺失,如用户隐私、技术限制和编辑偏好。在训练和推理阶段要求视频的模态完整性不仅成本高昂,甚至是不现实的。因此,模态不完整问题显著增加了检测虚假新闻短视频的难度。

2、目前,基于视频的虚假新闻检测呈现出增长趋势。现有方法通常侧重于设计新颖的多模态融合结构,以整合更多模态信息并提升检测性能。例如,某研究利用共同注意机制引导短视频中文本和语音信息的融合。另一个研究进一步提取视频中说话人的语音情感和面部情感,然后使用全连接网络将情感表征和内容表征进行融合,从而形成多模态表征。同样,本文档来自技高网...

【技术保护点】

1.面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述将原始短视频数据输入至预先建立的多模态编码器内,得到视频内共享特征的过程:

3.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述将原始短视频数据进行对比一致性学习约束损失得到视频间共享特征的过程:

4.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述基于一致性共享特征使用正交约束损失得到模态间的特有特征的计算过程:

...

【技术特征摘要】

1.面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述将原始短视频数据输入至预先建立的多模态编码器内,得到视频内共享特征的过程:

3.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述将原始短视频数据进行对比一致性学习约束损失得到视频间共享特征的过程:

4.根据权利要求1所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,所述基于一致性共享特征使用正交约束损失得到模态间的特有特征的计算过程:

5.根据权利要求4所述的面向复杂不完备数据场景的短视频谣言检测方法,其特征在于,基于得到的视频模态特有映射矩阵文本模态特有映射矩阵音频模态特有映射矩阵和得到的模态特征es,ea,et,通过矩阵乘法得到各个模态的特有表征,其公式如下:

6.根据权利要求...

【专利技术属性】
技术研发人员:鲍秉坤邱鸣杰谭智一
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1