一种基于多视角对比学习的多模态媒体篡改检测方法、系统、设备及介质技术方案

本发明专利技术属于多媒体分析技术领域，并公开了一种基于多视角对比学习的多模态媒体篡改检测方法、系统、设备及介质，包括：获取训练数据集，所述训练数据集包括训练图像‑训练文本对及对应的篡改类别标签；在视觉‑语言模型的基础上引入交叉编码器，设置若干多层感知器头结构，并设计噪声增强、基于原型以及多标签篡改分类的三种对比学习，得到初始多视角对比学习框架；基于所述训练数据集对所述初始多视角对比学习框架进行训练，得到训练后的多视角对比学习框架；基于训练后的多视角对比学习框架执行待检测图像‑文本对数据的篡改检测任务。本发明专利技术所述技术方案能够提高多标签分类的准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术属于多媒体分析，特别是涉及一种基于多视角对比学习的多模态媒体篡改检测方法、系统、设备及介质。

技术介绍

1、随着生成模型的进步，能够生成高度逼真的假内容，导致多模态媒体篡改(dgm4)问题日益严重。现有方法通常通过对比学习对原始图像-文本对进行对齐，并使用交叉编码器聚合图像和文本模态的信息进行检测和定位。然而，这些方法存在以下两个主要问题：

2、1.篡改分布分散(dispersed manipulation distribution，dmd)：由于将所有类型的篡改视为单一类别，导致篡改样本在特征空间中分布分散，难以有效区分不同类型的篡改。

3、2.噪声干扰混淆(noise interference confusion，nic)：数据中的噪声和细微的篡改痕迹混合，导致模型误将原始样本分类为被篡改样本，降低了分类的准确性。

技术实现思路

1、本专利技术的目的是提供一种基于多视角对比学习的多模态媒体篡改检测方法、系统、设备及介质，以解决上述现有技术存在的问题。</p>

2、为实本文档来自技高网...

【技术保护点】

1.一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，所述基于所述训练数据集对所述初始多视角对比学习框架进行训练，具体包括：

3.根据权利要求2所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，根据所述噪声增强对齐学习损失进行训练的过程，具体包括：

4.根据权利要求2所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，根据所述多标签对比学习损失进行训练的过程，具体包括：

5.根据权利要求2所述的一种基于多视角对...

【技术特征摘要】

1.一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，所述基于所述训练数据集对所述初始多视角对比学习框架进行训练，具体包括：

3.根据权利要求2所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，根据所述噪声增强对齐学习损失进行训练的过程，具体包括：

4.根据权利要求2所述的一种基于多视角对比学习的多模态媒体篡改检测方法，其特征在于，根据所述多标签对比学习损失进行训练的过程，具体包括：

5.根据权利要求2所述的一种基于多视角...

【专利技术属性】
技术研发人员：焦铬，赵炜辰，陈纪友，吴芸，
申请(专利权)人：衡阳师范学院，
类型：发明
国别省市：