基于浅层特征增强和注意力机制的图像篡改检测方法技术

本发明专利技术提供一种基于浅层特征增强和注意力机制的图像篡改检测方法。该方法包括：步骤1：构建篡改图像数据集，并将其分为训练集和测试集；步骤2：设置损失函数，基于损失函数利用训练集对构建的图像篡改检测网络进行训练，得到最优图像篡改检测网络模型；步骤3：利用最优图像篡改检测网络模型对测试集中篡改图像进行检测；其中，图像篡改检测网络包括：特征提取器、特征增强模块和注意力模块；利用特征提取器提取输入图像的浅层特征和深层特征，利用特征增强模块对提取的浅层特征进行重构，并将重构的特征与深层特征进行特征融合，利用注意力模块对融合后的特征进行筛选。本发明专利技术具有能有效捕获篡改痕迹的网络结构，实现像素级的篡改区域定位。区域定位。区域定位。

【技术实现步骤摘要】
基于浅层特征增强和注意力机制的图像篡改检测方法


[0001]本专利技术涉及计算机视觉中的图像篡改检测
，尤其涉及一种基于浅层特征增强和注意力机制的图像篡改检测方法。

技术介绍

[0002]随着信息技术的迅速发展和数码产品的普及，以图像和视频为代表的多媒体成为人们日常生活中信息交流的重要载体。然而，随着图像编辑工具的广泛使用，生成人眼难辨的篡改图像变得越来越容易。这些图像不仅被用于娱乐，而且越来越多的出现在虚假新闻、学术论文与刑事犯罪中，数字图像的真实性越来越得不到保障，这将严重影响公众看待事物的观点，给人们的日常生活、社会安全甚至国家安全带来了很大的威胁。
[0003]通常将图像篡改方式分为三类：拼接、复制粘贴和删除。拼接篡改是将一幅图像上的部分内容粘贴到另一幅图像上，复制粘贴是将原图上的部分内容粘贴到另一个区域，删除为将图像上的部分内容去除后通过周围像素将图像补全。数字图像取证依据的基本原理是：在数字图像产生的过程中，实际场景内容、相机软硬件处理的特性等因素都会在图像中留下某些固有特征，当图像被篡改后，原始图像中的固有特征会不同程度地受到破坏或改变，通过提取与检测图像中的固有特征，就可以解决相关的图像取证问题。
[0004]随着深度学习在目标检测和语义分割等各种计算机视觉任务中的成功，许多基于深度学习的方法被开发出来用于图像篡改定位。借助深度学习对复杂数据的强大表征能力，可以通过深度网络自动地从图像中提取有效的图像篡改特征，从而可在一定程度上摆脱传统方法对手工设计特征的依赖。利用合适的深度网络架构，可以构造端到端的图像篡改定位模型，直接输出篡改定位结果。大多数现有的基于深度学习的篡改检测方法仍存在缺陷，例如整体像素之间的关系没有很好地被建模，图像的局部细节信息容易在卷积网络中丢失等。
[0005]为了增强这些难以察觉的语义不可知特征，Rao等人(Rao Y,Ni J.A deep learning approach to detection of splicing and copy
‑
move forgeries in images.2016IEEE International Workshop on Information Forensics and Security(WIFS).IEEE,2016:1
‑
6.)将卷积神经网络第一层的卷积核设置为隐写分析中的空间丰富模型(spatial rich model,SRM)的高通滤波器，用于提取图像的残差信息。Li等人(Li H,Huang J.Localization of deep inpainting using high
‑
pass fully convolutional network.Proceedings of the IEEE/CVF International Conference on Computer Vision.2019:8301
‑
8310.)针对图像修补的特点设计了检测删除操作的高通滤波层。使用这些高通滤波器虽然保留了篡改容易暴露的高频信息，但低频信息中的篡改特征同时被过滤，导致检测效果变差。因此Zhou等人(Zhou P,Han X,Morariu V I,et al.Learning rich features for image manipulation detection.Proceedings of the IEEE conference on computer vision and pattern recognition.2018:1053
‑
1061.)采取双流互补的方式同时提取颜色空间和噪声空间的特征，这一方式无疑增加了参数量，使网络变得复杂；同时
上述方法的模型泛化能力仍有待提高。

技术实现思路

[0006]针对目前的绝大部分篡改检测模型效果一般，且泛化性能差的问题，本专利技术提供一种基于浅层特征增强和注意力机制的图像篡改检测方法。该方法具有能有效捕获篡改痕迹的网络结构，实现像素级的篡改区域定位，以解决上述的问题。
[0007]本专利技术提供一种基于浅层特征增强和注意力机制的图像篡改检测方法，包括：
[0008]步骤1：构建篡改图像数据集，并将其分为训练集和测试集；
[0009]步骤2：设置损失函数，基于所述损失函数利用所述训练集对构建的图像篡改检测网络进行训练，得到最优图像篡改检测网络模型；
[0010]步骤3：利用所述最优图像篡改检测网络模型对测试集中篡改图像进行检测；
[0011]其中，所述图像篡改检测网络包括：特征提取器、特征增强模块和注意力模块；利用特征提取器提取输入图像的浅层特征和深层特征，利用特征增强模块对提取的所述浅层特征进行重构，并将重构的特征与所述深层特征进行特征融合，利用注意力模块对融合后的特征进行筛选。
[0012]进一步地，所述特征提取器采用改进的ResNet
‑
50主干网络；所述改进的ResNet
‑
50主干网络是指将原ResNet
‑
50主干网络中第四个模块中的卷积替换为扩张率为1、2、4的空洞卷积；并将第一个模块中的卷积组个数由原来的三个减少至两个。
[0013]进一步地，所述的利用特征增强模块对提取的所述浅层特征进行重构，并将重构的特征与所述深层特征进行特征融合，具体包括：
[0014]先对经过改进的ResNet
‑
50主干网络中第一个模块输出的特征进行下采样，再将下采样后的特征与第二个模块输出的特征进行融合，特征增强模块对融合后的特征进行增强，最后将增强后的特征图与改进的ResNet
‑
50主干网络中第四个模块上采样后的特征进行融合。
[0015]进一步地，所述注意力模块采用改进的DANet，所述改进的DANet是指将原DANet中的softmax激活函数替换为sigmoid激活函数，将部分1
×
1卷积替换为3
×
3、5
×
5的卷积。
[0016]进一步地，采用公式(1)作为总损失函数：
[0017]L＝L
BCE
+L
Dice
ꢀꢀ
(1)
[0018]其中，
[0019][0020]其中，L
BCE
表示分辨率为H
×
W的图像的交叉熵损失；L
Dice
表示分辨率为H
×
W的图像的Dice损失；I
g
(i,j)∈{0,1}，表示像素(i,j)处的标签；I
o
(i,j)表示像素(i,j)处为篡改像素的概率。
[0021]进一步地，所述的特征增强模块对融合后的特征进行增强，具体增强过程包括：
[0022]步骤A1：浅层特征F∈R
C
×
H
×
W本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，包括：步骤1：构建篡改图像数据集，并将其分为训练集和测试集；步骤2：设置损失函数，基于所述损失函数利用所述训练集对构建的图像篡改检测网络进行训练，得到最优图像篡改检测网络模型；步骤3：利用所述最优图像篡改检测网络模型对测试集中篡改图像进行检测；其中，所述图像篡改检测网络包括：特征提取器、特征增强模块和注意力模块；利用特征提取器提取输入图像的浅层特征和深层特征，利用特征增强模块对提取的所述浅层特征进行重构，并将重构的特征与所述深层特征进行特征融合，利用注意力模块对融合后的特征进行筛选。2.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，所述特征提取器采用改进的ResNet
‑
50主干网络；所述改进的ResNet
‑
50主干网络是指将原ResNet
‑
50主干网络中第四个模块中的卷积替换为扩张率为1、2、4的空洞卷积；并将第一个模块中的卷积组个数由原来的三个减少至两个。3.根据权利要求2所述的基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，所述的利用特征增强模块对提取的所述浅层特征进行重构，并将重构的特征与所述深层特征进行特征融合，具体包括：先对经过改进的ResNet
‑
50主干网络中第一个模块输出的特征进行下采样，再将下采样后的特征与第二个模块输出的特征进行融合，特征增强模块对融合后的特征进行增强，最后将增强后的特征图与改进的ResNet
‑
50主干网络中第四个模块上采样后的特征进行融合。4.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，所述注意力模块采用改进的DANet，所述改进的DANet是指将原DANet中的softmax激活函数替换为sigmoid激活函数，将部分1
×
1卷积替换为3
×
3、5
×
5的卷积。5.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，采用公式(1)作为总损失函数：L＝L
BCE
+L
Dice
ꢀꢀ
(1)其中，其中，其中，L
BCE
表示分辨率为H
×
W的图像的交叉熵损失；L
Dice
表示分辨率为H
×
W的图像的Dice损失；I
g
(i,j)∈{0,1}，表示像素(i,j)处的标签；I
o
(i,j)表示像素(i,j)处为篡改像素的概率。6.根据权利要求3所述的基于浅层特征增强和注意力机制的图像篡改检测方法，其特征在于，所述的特征增强模块对融合后的特征进行增强，具体增强过程包括：步骤A1：浅层特征F∈R
C
×
H
×
W
首先通过全局平均池化得到全局平均特征G∈R
C
×1×1，对每
个空间位置F
i,j
,i∈[1,W],j∈[1,H]，计算F与G的余弦相似度得到S∈R1×
H
×
W
；C表示通道数，H表示特征图的高，W表示特征图的宽；步骤A2：将S的尺度变换为R1×
HW
，然后将S进行等分量化统计为N个L＝[L1,L2,...,L
N
]块，N∈[1,255]，进而对每个S
i
,i∈[1,HW]，将其量化为量化编码向量E

【专利技术属性】
技术研发人员：柴秀丽，宋世平，谭勇，蒋文斌，甘志华，黄紫晴，路杨，周林，
申请(专利权)人：河南大学，
类型：发明
国别省市：