基于双流边界感知神经网络的图像篡改区域定位方法技术

一种基于双流边界感知神经网络的图像篡改区域定位方法，针对单一RGB图像数据线索不够的情况，从RGB图像和频域两种角度挖掘篡改线索。通过频率自适应调制模块可以动态的调节各个频率通道，由于频率数据保持相对的空间位置关系，所以与RGB图像互相补充，使用了基于注意力机制的双流特征融合模块。充分挖掘了边界预测和区域预测的关联，联合优化区域预测和边界预测两个分支。使图像篡改区域定位方法在相关的篡改区域定位数据集中达到了优良的性能。

【技术实现步骤摘要】
基于双流边界感知神经网络的图像篡改区域定位方法
本专利技术涉及深度学习与图像取证
，具体涉及一种基于双流边界感知神经网络的图像篡改区域定位方法。
技术介绍
随着多媒体采集设备的快速发展和使用，人们已经迎来了一个多媒体信息爆炸的时代。几乎每个人都有能力制作和传输大量的数字图像。同时，图像编辑软件的简单操作使得图像操作变得越来越容易，普通人也可以很容易的对图像内容进行处理和修改。随着技术的发展，伪造图像越来越不易被发现。如果恶意篡改的图像传播开来，会影响人们对客观事物的判断，有时甚至会对社会和国家产生负面影响。在基于局部噪声特征的方法中，使用手工设计的高频残差滤波器(如SRM滤波器)，将图像预处理为高频信息敏感的残差图像再提取噪声不一致特征来区分区域是否发生篡改。但使用手工设计滤波器来去除低频信息，这导致了一些频率信息的丢失，这些频率信息也包含了识别被篡改部分的线索，制约了现有方法的性能。如何有效的选择并利用这些被忽略掉的频率统计信息，成为提高篡改检测算法的关键。基于成像设备固有属性一致性方法从成像设备入手，比对不同图像的固有属性(如CFA特性、JPEG量表等)，当统一图像中出现与图像整体属性不一致的区域时，判定此区域被篡改。这类方法通常被用来进行图像溯源取证，局限性大，比如不能应对复制移动的篡改方式，且表现效果不好。图像局部篡改总是在操作的边缘留下细微的痕迹。基于边界伪影的检测方法是利用卷积网络提取图像的边界信息，挖掘真实边界和篡改区域边界的不一致性。基于区域边界伪影的方法虽然更符合人类视觉习惯，但对于深度学习网络来说，仅仅提取如此细小的边界伪影信息十分困难。因此仅采用边界伪影检测这一种篡改伪影的方法进行识别的模型仅仅能够完成图像真假分类，不能实现像素级别的区域分割。在大多数方法中，往往忽略图像的频率统计信息，或者只探索图像高频统计信息来定位操纵区域，如何有效的利用图像各频率的统计信息，并挖掘与空域RGB图像的互补关系成为提高定位算法性能的关键。此外，边界伪影对定位篡改区域也很有帮助，虽然一些研究者也进行了初步探索，但边界伪影定位与篡改区域定位之间的互补关系还需要进一步挖掘。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一个在频域转换时使用的频率自适应调制模块，提供双流特征提取框架来同时提取RGB流和频域流特征,提供了一种通过基于注意力机制的融合策略融合双流信息，用融合后的双流信息指导边界分支进行边界篡改伪影挖掘，通过复合损失函数约束网络进行学习，以二进制掩码的形式标记出图片篡改区域的方法。本专利技术克服其技术问题所采用的技术方案是：一种基于双流边界感知神经网络的图像篡改区域定位方法，包括如下步骤：a)将RGB图像I从空域图像转换到频率域数据，将转换的频域数据与RGB图像组成成对的空频数据作为神经网络的输入，使用参数不共享的两个骨架网络分别提取RGB图像和频率域数据的多层次特征；b)将RGB域多层次特征和频率域数据的多层次特征进行特征融合；c)对融合后的特征进行篡改区域定位和篡改边界定位；d)利用复合损失函数约束网络优化训练。进一步的，步骤a)包括如下步骤：a-1)将RGB图像I，I∈R3×H×W转换到YCbCr颜色空间，通道数为3，H为图RGB图像I的长度，W为图RGB图像I的宽度，对转换后的YCbCr颜色空间的Y、Cb、Cr三个分量分别进行P×P大小的切块，P≥1且，并对每个切块进行离散余弦变换，得到P×P个频率系数；a-2)根据Y、Cb、Cr三个分量的每个分量，根据位置关系将相同频率的频域系数放置在同一通道中，第k个通道频率表示为k∈{1,2，...，K}，K为通道的总数量，K＝3×P×P；a-3)为每个频率dk减去所有空间位置上频率系数的均值后再除以所有空间位置上频率系数的标准差得到的归一化频道矩阵，将K个归一化频道矩阵沿通道方向组合成一个三维张量a-4)通过公式计算的潜力系数α，α＝{α1,α2,...αK}，αk∈[0,1]，k∈{1,2，...，K}，式中δ为ReLU函数，β为BN函数，σ为Sigmoid函数，Conv2与Conv1均为卷积计算，Conv1核大小为K/r×K×1×1，Conv2核大小为K×K/r×1×1，r为超参数，K≥r≥1；a-5)使用频率自适应调质模块，其由自适应频率选择模块和频率调制模块构成，通过公式k∈[1,K]计算自适应频率选择模块计算后的加权频道矩阵αk为第k个通道的潜力系数，通过建立频率自适应模块的三维张量的输出利用公式计算频率自适应模块中的频率调制模块的输出Ofam，Conv4与Conv4均为卷积计算，Conv3为3×3的组卷积，其组数等于的通道数，Conv4核大小为C×K×1×1，C的值为频率数据需要嵌入的backbone的首层卷积的输入通道数，C≥1，a-6)使用删除Conv1-x的Resnet101网络作为频率域数据的骨架网络提取多层次特征，得到Resnet101网络中Conv2-x层的输出f2、Resnet101网络中Conv3-x层的输出f3、Resnet101网络中Conv4-x层的输出f4及Resnet101网络中Conv5-x层的输出f5，将原始的RGB图像I输入至Resnet101网络提取多层次特征，得到Resnet101网络中Conv2-x层的输出r2、Resnet101网络中Conv3-x层的输出r3、Resnet101网络中Conv4-x层的输出r4及Resnet101网络中Conv5-x层的输出r5。进一步的，步骤a)中的骨架网络为Resnet101骨架网络。进一步的，P取值为8，K取值为192，r的取值为8，C的取值为64。进一步的，步骤b)中通过公式计算得到融合特征my，y∈[2,3,4,5]，为RGB图像的每个像素点的通道数映射为1后得到的第y层频域特征的空间权重矩阵，为频率域数据的每个像素点的通道数映射为1后得到的第y层频域特征的空间权重矩阵。进一步的，步骤c)包括如下步骤：c-1)将融合特征m5与融合特征m2输入到deeplabv3+架构中的decoder网络，通过decoder网络进行卷积、上采样、sigmod函数变换操作，生成与原始RGB图像尺寸相同的区域预测矩阵，区域预测矩阵中的每个值的范围为0-1，矩阵中的每个值对应原始RGB图像中相同位置的像素，每个值为RGB图像中该像素是篡改像素的概率，完成建立篡改区域定位；c-2)原始的RGB图像I输入至Resnet101网络提取得到Resnet101网络中Conv1-x层的输出r1，将r1上采样到原始RGB图像尺寸作为初始边界特征b1，将初始边界特征b1送入到卷积层卷积处理，将m2和b1按照通道维度拼接起来，通过1个1×1的卷积操作学习一个非线性映射，将每个像素点的通道数映射为1，生成一个与b1相同尺寸的空间权重矩阵，将该空间权重矩阵和b1做逐元素点乘，其结果与b1求和生成边界特征b2，将b2送入到另一卷积层卷积处理，将m3和b2本文档来自技高网...

【技术保护点】
1.一种基于双流边界感知神经网络的图像篡改区域定位方法，其特征在于，包括如下步骤：/na)将RGB图像I从空域图像转换到频率域数据，将转换的频域数据与RGB图像组成成对的空频数据作为神经网络的输入，使用参数不共享的两个骨架网络分别提取RGB图像和频率域数据的多层次特征；/nb)将RGB域多层次特征和频率域数据的多层次特征进行特征融合；/nc)对融合后的特征进行篡改区域定位和篡改边界定位；/nd)利用复合损失函数约束网络优化训练篡改区域定位和篡改边界定位。/n

【技术特征摘要】
1.一种基于双流边界感知神经网络的图像篡改区域定位方法，其特征在于，包括如下步骤：
a)将RGB图像I从空域图像转换到频率域数据，将转换的频域数据与RGB图像组成成对的空频数据作为神经网络的输入，使用参数不共享的两个骨架网络分别提取RGB图像和频率域数据的多层次特征；
b)将RGB域多层次特征和频率域数据的多层次特征进行特征融合；
c)对融合后的特征进行篡改区域定位和篡改边界定位；
d)利用复合损失函数约束网络优化训练篡改区域定位和篡改边界定位。


2.根据权利要求1所述的基于双流边界感知神经网络的图像篡改区域定位方法，其特征在于，步骤a)包括如下步骤：
a-1)将RGB图像I，I∈R3×H×W转换到YCbCr颜色空间，通道数为3，H为图RGB图像I的长度，W为图RGB图像I的宽度，对转换后的YCbCr颜色空间的Y、Cb、Cr三个分量分别进行P×P大小的切块，P≥1且，并对每个切块进行离散余弦变换，得到P×P个频率系数；
a-2)根据Y、Cb、Cr三个分量的每个分量，根据位置关系将相同频率的频域系数放置在同一通道中，第k个通道频率表示为k∈{1,2，...，K}，K为通道的总数量，K＝3×P×P；
a-3)为每个频率dk减去所有空间位置上频率系数的均值后再除以所有空间位置上频率系数的标准差得到的归一化频道矩阵，将K个归一化频道矩阵沿通道方向组合成一个三维张量
a-4)通过公式计算的潜力系数α，α＝{α1,α2,...αK}，αk∈[0,1]，k∈{1,2，...，K}，式中δ为ReLU函数，β为BN函数，σ为Sigmoid函数，Conv2与Conv1均为卷积计算，Conv1核大小为K/r×K×1×1，Conv2核大小为K×K/r×1×1，r为超参数，K≥r≥1；
a-5)使用频率自适应调质模块，其由自适应频率选择模块和频率调制模块构成，通过公式k∈[1,K]计算自适应频率选择模块计算后的加权频道矩阵αk为第k个通道的潜力系数，通过建立频率自适应模块的三维张量的输出利用公式计算频率自适应模块中的频率调制模块的输出Ofam，Conv4与Conv4均为卷积计算，Conv3为3×3的组卷积，其组数等于的通道数，Conv4核大小为C×K×1×1，C的值为频率数据需要嵌入的backbone的首层卷积的输入通道数，C≥1，
a-6)使用删除Conv1-x的Resnet101网络作为频率域数据的骨架网络提取多层次特征，得到Resnet101网络中Conv2-x层的输出f2、Resnet101网络中Conv3-x层的输出f3、Resnet101网络中Conv4-x层的输出f4及Resnet101网络中Conv5-x层的输出f5，将原始的RGB图像I输入至Resnet101网络提取多层次特征，得到Resnet101网络中Conv2-x层的输出r2、Resnet101网络中Conv3-x层的输出r3、Resnet101网络中Conv4-x层的输出r4及Resnet101网络中Conv5-x层的输出r5。


3.根据权利要求1所述的基于双流边界感知神经网络的图像篡改区域定位方法，其特征在于：步骤a)中的骨架网络为Resnet101骨架网络。


4.根据权利要求2所述的基于双流边界感知神经网络的图像篡改区域定位方法，其特征在于：P取值为8，K取值为192，r的取值为8，C的取值为64。

【专利技术属性】
技术研发人员：程志勇，孙超，高赞，陈达，舒明雷，聂礼强，
申请(专利权)人：山东省人工智能研究院，
类型：发明
国别省市：山东;37