基于多任务启发式迁移学习的图像被动取证方法技术

基于多任务启发式迁移学习的图像被动取证方法

【技术实现步骤摘要】
基于多任务启发式迁移学习的图像被动取证方法、设备、介质和产品


[0001]本申请涉及数字图像被动取证
，尤其涉及数字图像篡改检测及定位方法
。

技术介绍

[0002]数字图像因“眼见为实”的特性广为流行，随着图像编辑软件的普及与进步，人们更加聚焦于图像的真实性
、
完整性以及来源的可信性
。
这种逻辑模式的变革为多媒体取证技术的孕育和诞生带来了契机与动力
。
然而，图像的预处理范式存在着成本高昂
、
隐私范围难以界定以及需要相关领域专家构造先验嵌入算法等诸多问题，这些问题制约了数字图像取证技术的发展及进一步的应用
。
[0003]随着人工智能时代的来临，网络中数字图像的真实可信性逐渐成为社会所关注的焦点
。
通过先验算法构建的传统数字图像被动检测技术已经不能满足逐步增长的安全性需求
。
因此，实现数字图像被动取证的手段正在由传统先验算法转变为深度学习算法
。
[0004]然而，当前基于深度学习算法的图像被动取证技术由于数据集难以收集与构建，训练资源消耗大，模型构建耗时长等问题，仍困扰着相关领域的发展
。

技术实现思路

[0005]本专利技术目的是为了解决大部分数字图像被动篡改检测方法面临着数据难以收集
、
数据集质量不高和模型任务单一的问题，提供了基于多任务启发式迁移学习的图像被动取证方法
、
设备
、
介质和产品
。
[0006]本专利技术是通过以下技术方案实现的，本专利技术一方面，提供一种基于多任务启发式迁移学习的图像被动取证方法，所述方法包括：
[0007]步骤
1、
基于
Prompt
技术和深度迁移学习技术，建立多任务数字图像篡改鉴定模型
MHTNet
；
[0008]步骤
2、
基于
Grad_CAM++
的数字图像篡改区域定位方法，并利用所述
MHTNet
定位可疑篡改区域
。
[0009]进一步地，步骤1，具体包括：
[0010]步骤
1.1、
构建适配器
C
‑
adapter
模块，将网络的多任务优化问题抽象为单目标凸优化问题；
[0011]步骤
1.2、
设置先验条件和冻结图像分类模型
ConvNeXt
权重，在
ConvNeXt
不同模块尾部插入所述
C
‑
adapter
模块并进行训练，根据训练好图像分类任务权重的
ConvNeXt
，获取
C
‑
adapter
模块嵌入的最佳位置和最优数量，构建多任务数字图像篡改鉴定模型
MHTNet。
[0012]进一步地，步骤
1.2
中的
MHTNet
包括
MHTNet
‑
shallow
与
MHTNet
‑
deep
两种模型；
[0013]所述
MHTNet
‑
shallow
的
C
‑
adapter
插入位置为
ConvNeXt
网络的第二个和第三个模块尾部；
[0014]所述
MHTNet
‑
deep
的
C
‑
adapter
插入位置为
ConvNeXt
网络的四个模块尾部
。
[0015]进一步地，步骤1，具体包括：
[0016]步骤
1.1、
将
CASIA2.0
和
Comofod_small
数据集进行混合作为目标数据集；
[0017]步骤
1.2、
对输入网络的图片进行预处理，统一图片大小；对目标数据集进行翻转和旋转；将图像水平或垂直翻转；将图像按指定角度进行旋转；
[0018]步骤
1.3、
构建适配器
C
‑
adapter
模块，所述
C
‑
adapter
模块由下采样卷积
、Relu
函数和上采样卷积构成；
[0019]步骤
1.4、
在
ConvNeXt
网络的不同模块间插入所述
C
‑
adapter
模块，完成构建图像被动取证任务网络
MHTNet。
[0020]进一步地，步骤
1.4
，具体包括：
[0021]在
ConvNeXt
网络的不同模块间插入所述
C
‑
adapter
模块，构建图像被动取证任务网络，并将图像被动取证任务网络优化抽象为单目标凸优化问题，其目标函数为图像篡改检测准确率的最大值，通过求解
C
‑
adapter
的最佳嵌入位置和嵌入数量，得到将
C
‑
adapter
模块连接到
ConvNeXt
结构中每个模块的末端搭建的图像被动取证
MHTNet
网络
。
[0022]进一步地，步骤2，具体包括：
[0023]步骤
2.1、
将预处理后的图像输入
MHTNet
中，执行前向传播并获取目标类别的输出；通过反向传播计算目标类别相对于最后一个卷积层的特征图梯度；
[0024]步骤
2.2、
根据所述特征图梯度，计算每个通道的权重；
[0025]步骤
2.3、
将每个通道的特征图与对应的权重相乘，得到加权融合的特征图；对于每个通道，将其与权重相乘的结果相加，得到最终的类激活图；
[0026]步骤
2.4、
对类激活图进行归一化处理和尺寸大小调整；将类激活图叠加到原始输入图像上，产生可视化结果，显示
MHTNet
所检测到的可疑篡改区域与源区域
。
[0027]进一步地，步骤
2.2
，具体包括：
[0028]对梯度进行全局平均池化，将每个通道的梯度值转换为标量权重；
[0029]将梯度值与对应的
ReLU
激活值相乘，得到每个通道的加权梯度
。
[0030]第二方面，本专利技术提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种基于多任务启发式迁移学习的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多任务启发式迁移学习的图像被动取证方法，其特征在于，所述方法包括：步骤
1、
基于
Prompt
技术和深度迁移学习技术，建立多任务数字图像篡改鉴定模型
MHTNet
；步骤
2、
基于
Grad_CAM++
的数字图像篡改区域定位方法，并利用所述
MHTNet
定位可疑篡改区域
。2.
根据权利要求1所述的一种基于多任务启发式迁移学习的图像被动取证方法，其特征在于，步骤1，具体包括：步骤
1.1、
构建适配器
C
‑
adapter
模块，将网络的多任务优化问题抽象为单目标凸优化问题；步骤
1.2、
设置先验条件和冻结图像分类模型
ConvNeXt
权重，在
ConvNeXt
不同模块尾部插入所述
C
‑
adapter
模块并进行训练，根据训练好图像分类任务权重的
ConvNeXt
，获取
C
‑
adapter
模块嵌入的最佳位置和最优数量，构建多任务数字图像篡改鉴定模型
MHTNet。3.
根据权利要求2所述的一种基于多任务启发式迁移学习的图像被动取证方法，其特征在于，步骤
1.2
中的
MHTNet
包括
MHTNet
‑
shallow
与
MHTNet
‑
deep
两种模型；所述
MHTNet
‑
shallow
的
C
‑
adapter
插入位置为
ConvNeXt
网络的第二个和第三个模块尾部；所述
MHTNet
‑
deep
的
C
‑
adapter
插入位置为
ConvNeXt
网络的四个模块尾部
。4.
根据权利要求1所述的一种基于多任务启发式迁移学习的图像被动取证方法，其特征在于，步骤1，具体包括：步骤
1.1、
将
CASIA2.0
和
Comofod_small
数据集进行混合作为目标数据集；步骤
1.2、
对输入网络的图片进行预处理，统一图片大小；对目标数据集进行翻转和旋转；将图像水平或垂直翻转；将图像按指定角度进行旋转；步骤
1.3、
构建适配器
C
‑
adapter
模块，所述
C
...

【专利技术属性】
技术研发人员：钱清，王宏，岳毅，龙永，况艺琳，王欢，
申请(专利权)人：贵州财经大学，
类型：发明
国别省市：