一种高鲁棒性的图像篡改检测方法技术

本发明专利技术属于信息安全领域，提供了一种高鲁棒性的图像篡改检测方法，包括以下步骤：1)利用空洞卷积来获得多尺度特征提取，使用Concat可以得到全局特征表示，既可防止多次卷积后丢失浅层特征，又能得到更大的感受野，提高小目标篡改检测的效果。2)利用BayarConv进行噪声提取，该噪声器提取方法优于SRM滤波器，Bayarconv是为了增强给定图像中操纵区域和真实区域之间的噪声不一致性而开发的。3)利用残差块、批归一化和激活函数来捕获空间特征，该构造是一个常规的编码器，主要目的是与语义特征进行交叉融合。4)使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到上采样层和卷积层进行检测，并利用混合损失函数训练此模型。本文提出的交叉注意力机制在大量的在多个公开的数据集上的实验数据表明此发明专利技术不仅可以精确的预测篡改位置还可以更准确的识别篡改的类型。识别篡改的类型。识别篡改的类型。

【技术实现步骤摘要】
一种高鲁棒性的图像篡改检测方法
[0001]本专利技术涉及信息安全领域，具体来说，涉及了一种高鲁棒性的图像篡改检测方法。

技术介绍
：
[0002]本部分的陈述仅仅是涉及到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]高鲁棒性的图像篡改检测方法在信息安全领域中处于重要地位，不是针对某一种篡改类型进行定位，而是针对常见的篡改类型复制
‑
移动(Copy
‑
move)，拼接(Splicing)，修复(Inpainting)对篡改内容进行定位和判断篡改类型。
[0004]近年来，随着图像编辑技术和图像编辑软件的进步，低成本的篡改或操纵图像生成过程已经变得广泛可用。在篡改技术中，拼接、复制移动和删除是最常见的操作。图像拼接从真实图像复制区域并将其粘贴到其他图像，复制
‑
移动复制和粘贴同一图像中的区域，以及移除从真实图像中消除区域，它能任意地修改图像或视频，从而生成人眼真假难辨的伪造图像。尽管该技术给数字图像处理领域带来了明显的进步，但也有人将此技术恶意地用在了政治、色情等领域，给社会带来了不小的危害。因此，区分真实图像和篡改图像变得越来越具有挑战性。现有的方法大多数都是针对某一种篡改类型，然而用这些方法检测多种篡改类型的图像性能不好。
[0005]设计一种高鲁棒性的模型体系结构以获取更精确的定位和篡改类型是图像篡改检测任务的研究热点。卷积神经网络已经被证明对于二维图像信号处理是非常有效的。然而，对于高鲁棒性的检测方法与普通图像篡改检测方法不同的是，高鲁棒性检测方法用到的数据集种类更富并且数量更多，训练相对比较困难，所以该方法采用随机森林算法从各个类型的数据集中随机选择图片来减少训练复杂度。此外，如何利用浅层特征和深层特征的互补信息也是图像篡改检测的关键问题。

技术实现思路

[0006]为了缓解上述问题，在此专利技术中，我们提出了一种高鲁棒性的检测方法。该方法由四部分组成，即噪声感知模块、编
‑
解码器、多尺度特征提取和特征融合模块。我们利用BayarConv生成噪声特征，残差块、批归一化和激活函数来捕获空间信息，紧接着我们对空间特征组进行卷积操作获取最终的空间几何特征。同时我们利用并行的空洞卷积结构获取不同尺度的深层篡改信息。然后利用交叉注意力机制实现空间特征与语义特征的融合来解决浅层与深层特征互补信息的问题。最后，我们以端到端的方式对整个网络进行训练，并取得了更好的预测性能。
[0007]本专利技术的技术方案是提供了一种鲁棒性的图像篡改检测方法，该方法包括以下步骤：
[0008]1.利用空洞卷积来获得多尺度特征提取，使用Concat可以得到全局特征表示，既可防止多次卷积后丢失浅层特征，又能得到更大的感受野，提高小目标篡改检测的效果；
[0009]1.1)首先设置卷积核为3
×
3并且设置每层的空洞卷积率d＝{1,3,5}，不同的空洞
卷积率可以用来从不同的角度探索图像伪造信息。
[0010]1.2)其次每一层采用ResNet101学习多尺度语义篡改特征，利用ResNet最后卷积层的输出特征进行操作分类。
[0011]2.利用BayarConv进行噪声提取，该噪声器提取方法优于SRM滤波器，Bayarconv是为了增强给定图像中操纵区域和真实区域之间的噪声不一致性而开发的；
[0012]2.1)首先，给定一个以ω(0,0)为中心元素的以ω为参数的卷积滤波器，Bayarconv施加了两个约束，即ω(0,0)＝
‑
1和∑
i,j！＝0
ω(i,j)＝1在每次训练迭代后，约束被应用于ω。
[0013]2.2)其次，将给定的图像X通过核大小为5
×5×
3的Bayarconv层，得到它的全尺寸噪声视图为Bayarconv(x)，经过编码器后输出是来自其主干的最后一个ResNet块的K个特征映射的阵列。
[0014]3.利用残差块、批归一化和激活函数来捕获空间特征，该构造是一个常规的编码器，主要目的是与语义特征进行交叉融合；
[0015]3.1)首先，我们使用卷积层来设计编码器，使网络能够理解篡改和非篡改之间的外观和空间关系(上下文)，一个编码器由残差块、批归一化和激活函数组成，在每个残差块之后，执行最大池操作，从而给出平移不变性。
[0016]3.2)随后，残差块可以很方便地优化残差映射并且可以很好地训练更多的层。
[0017]3.3)最后，来自编码器的空间特征与语义特征进入到融合模块，得到更准确的判别特征。
[0018]4.使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到上采样层和卷积层进行检测，并利用混合损失函数训练此模型。
[0019]4.1)首先，将空间特征转换为查询Q
s
,将图像的语义特征转换为键K
i
和值V
i
，如下式所示：
[0020][0021]其中S表示空间特征向量，B表示语义特征向量，W
Q
，W
K
，W
V
分别表示查询权重矩阵、键权重矩阵和值权重矩阵。
[0022]4.2)其次采用注意力机制进行计算，如下式所示：
[0023][0024]其中K
iT
表示K
i
的转置。
[0025]然后再将上述得到的注意力输入到1维卷积层和最大池化层得到最终融合的特征。改善了篡改边界信息，优化了篡改区域定位性能。
[0026]4.3)将融合特征输入到Decoder，每个解码器都遵循基本操作
‑‑
上采样、卷积和批归一化，改善了篡改边界信息，优化了篡改区域定位性能。
[0027]4.4)预测定位产生的损失采用SmoothL1损失。
[0028][0029]其中f(x
i
)表示预测值，y
i
表示真实值。
[0030]4.5)分类产生的损失采用交叉熵损失函数进行语义篡改操作分类。
[0031][0032]其中M表示类别的数量(一般为3)，y
ic
表示如果样本i的真实类别等于c取1，否则取0，p
ic
表示观测样本i属于类别c的预测概率。
[0033]本专利技术的优势：本专利技术通过随机选取多种不同种类的数据集进行训练减少了训练复杂度，使用BayarConv噪声器进行噪声提取，利用编
‑
解码器获得了丰富的空间几何特征。同时，利用空洞卷积来获得多尺度特征提取，使用Concat可以得到全局特征表示。使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到Decoder进行检测，输入到1维卷积层和最大池化层得到最终融合的特征。改善了篡改边界信息，优化了篡改区域定位性能。
附图说明
[0034]图1网络流程框架图
[0035]图2交叉注意力网络模块
...

【技术保护点】

【技术特征摘要】
1.一种高鲁棒性的图像篡改检测，其特征在于，该方法包括以下步骤：1)利用空洞卷积来获得多尺度特征提取，使用Concat可以得到全局特征表示，既可防止多次卷积后丢失浅层特征，又能得到更大的感受野，提高小目标篡改检测的效果；2)利用BayarConv进行噪声提取，该噪声器提取方法优于SRM滤波器，Bayarconv是为了增强给定图像中操纵区域和真实区域之间的噪声不一致性而开发的；3)利用残差块、批归一化和激活函数来捕获空间特征，该构造是一个常规的编码器，主要目的是与语义特征进行交叉融合；4)使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到上采样层和卷积层进行检测，并利用混合损失函数训练此模型。2.根据权利要求1所述的一种高鲁棒性的图像篡改检测方法，其特征在于：所述步骤1)具体方法是：2.1)首先设置卷积核为3
×
3并且设置每层的空洞卷积率d＝{1,3,5}，不同的空洞卷积率可以用来从不同的角度探索图像伪造信息。2.2)其次每一层采用ResNet101学习多尺度语义篡改特征，利用ResNet最后卷积层的输出特征进行操作分类。3.根据权利要求1所述的一种高鲁棒性的图像篡改检测方法，其特征在于：所述步骤2)具体方法是：3.1)首先，给定一个以ω(0,0)为中心元素的以ω为参数的卷积滤波器，Bayarconv施加了两个约束，即ω(0,0)＝
‑
1和∑
i,j！＝0
ω(i,j)＝1在每次训练迭代后，约束被应用于ω。3.2)其次，将给定的图像X通过核大小为5
×5×
3的Bayarconv层，得到它的全尺寸噪声视图为Bayarconv(x)，经过编码器后输出是来自其主干的最后一个ResNet块的K个特征映射的阵列。4.根据权利要求1所述的一种高鲁棒性的图像篡改检测方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：夏晨星，曹慧贞，葛斌，王慧玲，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：