基于编解码网络的图像拼接伪造定位方法技术

本发明专利技术公开了一种基于编解码网络的图像拼接伪造定位方法，包括：1)构建训练图像集；2)用训练图像集来训练构建的图像拼接伪造定位网络，并得到最优的图像拼接伪造定位网络的权重参数；3)应用图像拼接伪造定位网络和最优的图像拼接伪造定位网络的权重参数对待测的输入图像给出预测的伪造区域。本发明专利技术提出了篡改痕迹注意网络MTA

【技术实现步骤摘要】
基于编解码网络的图像拼接伪造定位方法


[0001]本专利技术涉及多媒体的
，尤其是指一种基于编解码网络的图像拼接伪造定位方法。

技术介绍

[0002]随着信息技术的不断发展，使得图像、视频、音频等成为信息传播的主要载体，但是，随着图像编辑技术的进步和一些用户友好的编辑软件如Photoshop，使得数字图像的修改变得越来越容易。这些被篡改的图片，严重影响了图像信息的可信度，并造成了恶劣的负面影响。拼接伪造就是一种常见的伪造方法，伪造者利用图像编辑工具将其它图像的内容拼接到目标图像上生成新的伪造图像，从而起到欺骗他人、传播谣言等目的。因此，如何有效的检测伪造图片并定位图像的伪造区域成了图像取证领域的热门研究方向。
[0003]传统的拼接伪造区域定位方法都是基于拼接伪造会修改图像的底层模式，造成不同区域间的不一致性这一假设，来提取相关的特征进行定位。然而这些方法都是基于一些先验知识提取的特定的伪造痕迹来进行伪造区域定位，在实际应用中这些方法的性能非常受限。最近几年，深度学习得到了广泛的应用，由于深度学习的方法可以直接从数据中学习丰富的任务相关的特征，而无需依赖先验知识，从而得到更高的性能，许多研究人员也开始尝试将深度学习模型与图像拼接伪造区域定位相结合。基于深度学习的图像拼接伪造区域定位方法根据定位区域的粒度可以分为图像块级拼接伪造区域定位方法和像素级拼接伪造区域定位方法。而相比于图像块级拼接伪造区域定位方法，像素级拼接伪造区域定位方法是对输入图像的每一个像素进行分类，判断是否为伪造像素，所以可以得到更加精细的伪造区域轮廓信息。现有的像素级拼接伪造定位方法可以根据网络架构可以分为两类，第一类方法将拼接伪造区域定位任务视为实例分割任务并采用Mask
‑
RCNN作为网络架构，先通过目标检测的方法将输入图像中的疑似伪造区域用目标框都框出来，再对每一个目标框区域进行像素级别的分类从而得到伪造区域。然而，在目标框定位时，对于一些非对象的拼接区域伪造，如背景区域伪造，这些方法就不能很好的将其检测出来，所以当面对这些背景伪造图像时这些方法无法获得准确的伪造区域。第二类方法通常使用编码器
‑
解码器的网络架构，其中编码器网络用于去除输入图像中的冗余信息并提取足够的篡改痕迹，而解码器网络用于将编码器网络输出的特征图恢复到输入图像的大小，且为每个像素学习到可区分的判别特征从而实现伪造区域定位。由于基于编码器
‑
解码器网络的方法可以同时处理物体区域伪造和背景区域伪造，且能得到精细的伪造区域轮廓，所以成为了为现在拼接伪造区域定位的主流方法。然而，这些基于编码器
‑
解码器的网络会受到网络的局部感受野的限制，只能为输入图像的每个像素点学习到一部分局部篡改信息进行分类，当遇到一些比较大的物体或伪造区域的拼接图像时，这些方法就不能有效的定位伪造区域。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于编解码网络的图
像拼接伪造定位方法，该方法架构中除了用于实现拼接伪造区域定位的编解码定位网络L
‑
Net外，还包括篡改痕迹注意网络MTA
‑
Net用于提取全局篡改痕迹，从而弥补了基于编码器
‑
解码器网络的方法受限于局部感受野的问题，使得可以实现准确的拼接伪造区域定位。
[0005]为实现上述目的，本专利技术所提供的技术方案为：基于编解码网络的图像拼接伪造定位方法，包括以下步骤：
[0006]1)构建训练图像集
[0007]获取大量的伪造图像和其对应的像素级标签，并对它们进行切分得到同一尺寸的切分图像和对应的像素级标签；在切分过程中得到的切分图像可能不再包含伪造区域，所以根据切分得到的像素级标签对这些切分图像重新打上是否伪造的图像级标签，最后将这些切分图像归纳为训练图像集；
[0008]2)用步骤1)中构建的训练图像集来训练构建的图像拼接伪造定位网络，并得到最优的图像拼接伪造定位网络的权重参数；其中所述的图像拼接伪造定位网络包括编解码定位网络L
‑
Net、篡改痕迹注意网络MTA
‑
Net和多个自适应多尺度融合模块AMSFM，篡改痕迹注意网络MTA
‑
Net用于从输入图像中提取全局篡改痕迹，而多个自适应多尺度融合模块AMSFM用于将MTA
‑
Net提取到的全局篡改痕迹与编解码定位网络L
‑
Net提取到的局部篡改痕迹相融合，从而辅助编解码定位网络L
‑
Net实现图像拼接伪造区域定位；
[0009]3)应用步骤2)中构建的图像拼接伪造定位网络和最优的图像拼接伪造定位网络的权重参数对待测的输入图像给出预测的伪造区域。
[0010]进一步，在步骤1)中，对于获取到的大量的伪造图像和其对应的像素级标签，将其都切分为不重叠的H
×
W的切分图像和相对应尺寸大小的像素级标签，其中H和W分别为切分图像的长度和宽度；在切分过程中，由于得到的切分图像可能不再包含伪造区域，为此根据切分图像对应的像素级标签来为其重新打上图像级标签即该切分图像是否为拼接伪造图像；将这些切分图像im＝{im1,im2,...,im
m
}、对应的像素级标签p_label＝{p_label1,p_label2,...,p_label
m
}和图像级标签i_label＝{i_label1,i_label2,...,i_label
m
}归纳起来就得到了训练图像集，其中m为训练图像集的总样本数量；而im
i
、p_label
i
和i_label
i
分别代表训练图像集中第i
th
张图像、以及第i
th
张图像的像素级标签和图像级标签，i＝1,2,...,m。
[0011]进一步，所述步骤2)包括以下步骤：
[0012]2.1)构建图像拼接伪造定位网络中的编解码定位网络L
‑
Net，该编解码定位网络L
‑
Net包含多个编码器网络块、相对应的解码器网络块和最后的分类层，其中各个编码器网络块和解码器网络块都由多个卷积模块堆叠而成，每个编码器网络块后都跟着一个最大池化层，而每个解码器网络块前都添加了一个上采样层，最后的分类层由一个1
×
1的卷积层和一个sigmoid层组成；编解码定位网络L
‑
Net还引入了跳跃连接结构将各个编码器网络块输出的特征直接送入到对应的解码器网络块中；
[0013]2.2)构建图像拼接伪造定位网络中的篡改痕迹注意网络MTA
‑
Net，该篡改痕迹注意网络MTA
‑
Net由多个卷积块和一个最终的全连接层组成，其中每个卷积块由多个卷积模块堆叠而成，卷积块后再跟随一个最大池化层；不同于其它卷积块，篡改痕迹注意网络MTA...

【技术保护点】

【技术特征摘要】
1.基于编解码网络的图像拼接伪造定位方法，其特征在于，包括以下步骤：1)构建训练图像集获取大量的伪造图像和其对应的像素级标签，并对它们进行切分得到同一尺寸的切分图像和对应的像素级标签；在切分过程中得到的切分图像可能不再包含伪造区域，所以根据切分得到的像素级标签对这些切分图像重新打上是否伪造的图像级标签，最后将这些切分图像归纳为训练图像集；2)用步骤1)中构建的训练图像集来训练构建的图像拼接伪造定位网络，并得到最优的图像拼接伪造定位网络的权重参数；其中所述的图像拼接伪造定位网络包括编解码定位网络L
‑
Net、篡改痕迹注意网络MTA
‑
Net和多个自适应多尺度融合模块AMSFM，篡改痕迹注意网络MTA
‑
Net用于从输入图像中提取全局篡改痕迹，而多个自适应多尺度融合模块AMSFM用于将MTA
‑
Net提取到的全局篡改痕迹与编解码定位网络L
‑
Net提取到的局部篡改痕迹相融合，从而辅助编解码定位网络L
‑
Net实现图像拼接伪造区域定位；3)应用步骤2)中构建的图像拼接伪造定位网络和最优的图像拼接伪造定位网络的权重参数对待测的输入图像给出预测的伪造区域。2.根据权利要求1所述的基于编解码网络的图像拼接伪造定位方法，其特征在于，在步骤1)中，对于获取到的大量的伪造图像和其对应的像素级标签，将其都切分为不重叠的H
×
W的切分图像和相对应尺寸大小的像素级标签，其中H和W分别为切分图像的长度和宽度；在切分过程中，由于得到的切分图像可能不再包含伪造区域，为此根据切分图像对应的像素级标签来为其重新打上图像级标签即该切分图像是否为拼接伪造图像；将这些切分图像im＝{im1,im2,...,im
m
}、对应的像素级标签p_label＝{p_label1,p_label2,...,p_label
m
}和图像级标签i_label＝{i_label1,i_label2,...,i_label
m
}归纳起来就得到了训练图像集，其中m为训练图像集的总样本数量；而im
i
、p_label
i
和i_label
i
分别代表训练图像集中第i
th
张图像、以及第i
th
张图像的像素级标签和图像级标签，i＝1,2,...,m。3.根据权利要求1所述的基于编解码网络的图像拼接伪造定位方法，其特征在于，所述步骤2)包括以下步骤：2.1)构建图像拼接伪造定位网络中的编解码定位网络L
‑
Net，该编解码定位网络L
‑
Net包含多个编码器网络块、相对应的解码器网络块和最后的分类层，其中各个编码器网络块和解码器网络块都由多个卷积模块堆叠而成，每个编码器网络块后都跟着一个最大池化层，而每个解码器网络块前都添加了一个上采样层，最后的分类层由一个1
×
1的卷积层和一个sigmoid层组成；编解码定位网络L
‑
Net还引入了跳跃连接结构将各个编码器网络块输出的特征直接送入到对应的解码器网络块中；2.2)构建图像拼接伪造定位网络中的篡改痕迹注意网络MTA
‑
Net，该篡改痕迹注意网络MTA
‑
Net由多个卷积块和一个最终的全连接层组成，其中每个卷积块由多个卷积模块堆叠而成，卷积块后再跟随一个最大池化层；不同于其它卷积块，篡改痕迹注意网络MTA
‑
Net的第一个卷积块的第一层为内容去除卷积层CRCL；内容去除卷积层CRCL用于去除输入图像的内容信息，从数学表达上，对于第i
th
张输入图像im
i
，CRCL表示为：R＝im
i
‑
f(im
i
)
ꢀꢀꢀꢀ
(1)式中，R表示内容去除卷积层CRCL的输出结果，而f(*)为一个自适应的低通滤波器；为使f(*)为自适应的低通滤波器，通过强制f(*)的权重参数在每一次更新的时候都满足以下
约束：式中，W
filter
代表自适应的低通滤波器f(*)的权重参数，W
filter
有K个卷积核，W
filterk
则表示W
filter
的第k
th
个卷积核，而y和x代表该卷积核的二维坐标，即W
filterk
(y,x)就代表W
filter
的第k
th
个卷积核上y和x所指向的权重参数；2.3)构建图像拼接伪造定位网络中的自适应多尺度融合模块AMSFM，该自适应多尺度融合模块AMSFM用于融合图像拼接伪造定位网络中的编解码定位网络L
‑
Net的编码器网络块的输出特征和篡改痕迹注意网络MTA
‑
Net对应层次的卷积块的输出特征，并将该输出特征作为编解码定位网络L
‑
Net下一个编码器网络块的输入；对于编解码定位网络L
‑
Net的第l
th
个编码器网络块的输出特征f_L
l
和篡改痕迹注意网络MTA
‑
Net的第l
th
个卷积块的输出特征f_MTA
l
，第l
th
个自适应多尺度融合模块AMSFM表示为：f
l
＝ReLU(S
l
×
F(f_L
l
+f_MTA
l
)+Shortcut(f_L
l
+f_MTA
l
))
ꢀꢀꢀꢀ
(3)式中，f
l
为自适应多尺度融合模块AMSFM的输出特征，ReLU为激活函数，F代表多分支卷积模块，Shortcut为1
×
1的卷积层，而S
l
代表第l
th
个自适应多尺度融合模块学习到的自适应缩放因子；多分支卷积模块F包括三个分支，其中第一个分支由一个1
×
1卷积层和一个3...

【专利技术属性】
技术研发人员：吴远泸，沃焱，韩国强，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：