一种基于特征增强神经网络的图像修复取证方法技术

本发明专利技术公开了一种基于特征增强神经网络的图像修复取证方法，对预先经过传统修复算法处理的图像进行预处理，并基于预处理后的图像和对应的标签构造训练集和测试集；基于高通滤波器和卷积操作构造特征增强网络模块；构建下采样和上采样网络；使用构造的训练集及对应的标签集来训练设计好的模型；使用保存的最佳模型权重对测试集的图像进行预测，找出图像中经过修复处理的区域。本发明专利技术展现了传统修复算法取证的最先进性能，能够准确且有效地定位出数字图像中的经过修复处理的区域，并且对JPEG压缩、旋转和缩放等后处理操作具有鲁棒性。旋转和缩放等后处理操作具有鲁棒性。旋转和缩放等后处理操作具有鲁棒性。

【技术实现步骤摘要】
一种基于特征增强神经网络的图像修复取证方法


[0001]本专利技术属于图像处理与信息安全领域，尤其涉及一种基于特征增强神经网络的图像修复取证方法。

技术介绍

[0002]在高速发展的信息时代，随着先进的数码设备和图像编辑软件的诞生，图像处理变得越来越容易，它允许用户在没有专业知识的情况下对图像进行编辑处理。作为一种强大的图像处理技术，图像修复能够以视觉上合理的方式重建数字图像中的缺失区域，或者修复损坏的数字照片。它可以分为两类：传统的修复和基于深度学习的修复。前者是用相同图像的适当背景内容填充目标空洞，而后者能够通过神经网络生成新的对象。此外，还存在着许多与基于块和扩散的技术相结合的传统修复方法。然而，这些方法如果被攻击者出于恶意目的地利用，来生成伪造的图像，例如移除图像中关键的物体或者信息，使得人们对图像内容产生了错误的理解。一旦这些篡改的图像在网络上流通，容易造成巨大的不良影响。因此，验证数字图像的真实性和完整性成为一项不可或缺的任务。
[0003]传统的修复算法主要有两大类：基于扩散修复和基于块修复。对于基于块修复的取证，许多现有技术主要是基于填充的修复块是从同一图像的无损区域复制过来的这一事实来检测修复图像。因此，这些取证算法主要包含两个主要过程：可疑区域的检索和伪造区域的识别。最早，Wu等人提出了一种基于样本修复的取证方法，该算法首先在可疑区域中应用零连通性标记来计算所有块的匹配度特征，然后计算匹配度特征的模糊函数，最后通过切割集识别篡改区域。但是这种方法需要提前手动选择可疑区域，并且搜索相似区域需要很长时间。此后，许多取证方法都是在该算法的基础上进行优化，比如自动检测可疑区域，或者减少算法的计算时间。直到最近，Zhu等人利用深度学习的强大学习能力，设计了一种检测和定位修复篡改图像的网络。此外，作为基于扩散修复取证的开创性尝试，Li等人公开了一种通过分析图像拉普拉斯算子沿等光线方向的局部方差来定位修复区域的方法。然而，这些方法并不适用于各种传统修复算法的统一检测。

技术实现思路

[0004]专利技术目的：针对现有技术存在的问题，本专利技术的提出了一种基于特征增强神经网络的图像修复取证方法，能够准确且有效地定位数字图像中的修复区域，并且对JPEG压缩、旋转和缩放等后处理操作具有鲁棒性。
[0005]技术方案：本专利技术所述的一种基于特征增强神经网络的图像修复取证方法，包括以下步骤：
[0006](1)对预先经过传统修复算法处理的图像进行预处理，并基于预处理后的图像和对应的标签构造训练集和测试集；
[0007](2)基于高通滤波器和卷积操作构造特征增强网络模块；
[0008](3)构建下采样和上采样网络，
[0009](4)使用构造的训练集及对应的标签集来训练设计好的网络；
[0010](5)使用网络训练出来的最佳模型权重对测试集的图像进行预测，找出图像中经过修复处理的区域。
[0011]进一步地，步骤(1)所述预处理为调整大小、向任意方向翻转、扭曲以及随机生成掩码以覆盖图像。
[0012]进一步地，所述步骤(2)实现过程如下：
[0013]特征增强网络模块首先通过具有5个滤波器内核的高通滤波器获取图像噪声残差域，同时对输入图像使用常规卷积来获得颜色特征；然后将图像噪声残差域和颜色特征进行融合来获得增强的特征；最后再使用一个常规卷积来学习更具有代表性的特征；特征增强网络模块总共包含8个网络，5个3
×
3深度可分离卷积、2个3
×
3卷积和1个融合层，卷积层的步长均为1；在滤波器内核中，有4个为SRM内核，一个是拉普拉斯内核；高通滤波器内核设置为深度可分离卷积初始内核，滤波器将执行5次深度可分离的卷积操作，每个卷积使用不同的内核；使用RGB图像作为高通滤波器的输入来获得15个噪声特征图，同时，对输出图像上使用常规卷积得到3个颜色特征图，然后融合颜色特征和噪声残差，得到18个通道的输出，对融合特征使用步长为1的3
×
3卷积生成32个结果。
[0014]进一步地，所述步骤(3)实现过程如下：
[0015]使用VGG
‑
16作为下采样网络，下采样部分包含17个网络层：13个3
×
3卷积和4个最大池化操作，每个卷积层后面跟着一个激活函数和BN层；上采样网络总共包含16个网络层：1个1
×
1卷积、8个3
×
3卷积、4个上采样层以及3个融合层；其中每个3
×
3卷积后面跟着一个激活函数(ReLU)和BN层，上采样内核大小和步长为2；所有卷积的步长均为1；上采样网络分为四个阶段，每个阶段都由一个卷积层和一个上采样层组成，每个阶段的卷积核数量都减少一倍，并且在第一、第三和第四阶段与下采样网络的特征进行融合；最后一阶段输出通道为64的预测结果，将该结果送入1
×
1卷积中，使用Softmax函数进行二分类来判断每个像素是否是经过修复处理。
[0016]进一步地，所述步骤(4)实现过程如下：
[0017]为了减少易分类样本的权重，使模型更加关注难以分类的样本：
[0018]FL(p
t
)＝
‑
(1
‑
p
t
)
γ
log(p
t
)
[0019]其中，FL是损失函数，γ是一个常数，p
t
是由以下公式所得：
[0020][0021]其中，y∈{0,1}表示真实类别，p∈[0,1]表示模型对标签y＝1的类估计概率。
[0022]有益效果：与现有技术相比，本专利技术的有益效果：本专利技术展现了传统修复算法取证的最先进性能，能够准确且有效地定位出数字图像中的经过修复处理的区域，并且对JPEG压缩、旋转和缩放等后处理操作具有鲁棒性。
附图说明
[0023]图1是本专利技术构造的特征增强神经网络示意图；
[0024]图2是不同阶段的图像，其中，(a)是数据集中的一张内容缺损图像；(b)是对应的标签图像；(c)是经过修复后的图像；(d)是最后的效果图。
具体实施方式
[0025]下面结合附图对本专利技术做进一步详细说明。
[0026]本专利技术提出一种基于特征增强神经网络的图像修复取证方法，具体包括以下步骤：
[0027]步骤1：对预先经过传统修复算法处理的图像进行预处理，并基于预处理后的图像和对应的标签构造训练集和测试集。
[0028]从Places数据库中随机选择50000张固定大小为256
×
256的不同图像，来创建合成的修复图像。首先在这些图像中生成缺失区域，这些区域位于图像的中心，篡改区域占整个图像的10％到12％。考虑数据的随机性，图像中缺失区域的形状是随机的，包括矩形、圆形、不规则形状等。然后，对图像进行修复缺失区域以生成修复数据集。最后，修复后的图像被分为两个子集：48000张图像和对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征增强神经网络的图像修复取证方法，其特征在于，包括以下步骤；(1)对预先经过传统修复算法处理的图像进行预处理，并基于预处理后的图像和对应的标签构造训练集和测试集；(2)基于高通滤波器和卷积操作构造特征增强网络模块；(3)构建下采样和上采样网络，(4)使用构造的训练集及对应的标签集来训练设计好的网络；(5)使用网络训练出来的最佳模型权重对测试集的图像进行预测，找出图像中经过修复处理的区域。2.根据权利要求1所述的基于特征增强神经网络的图像修复取证方法，其特征在于，步骤(1)所述预处理为调整大小、向任意方向翻转、扭曲以及随机生成掩码以覆盖图像。3.根据权利要求1所述的基于特征增强神经网络的图像修复取证方法，其特征在于，所述步骤(2)实现过程如下：特征增强网络模块首先通过具有5个滤波器内核的高通滤波器获取图像噪声残差域，同时对输入图像执行常规卷积来获得颜色特征；然后将图像噪声残差域和颜色特征进行融合来获得增强的特征；最后再使用一个常规卷积来学习更具有代表性的特征；特征增强网络模块总共包含8个网络，5个3
×
3深度可分离卷积、2个3
×
3卷积和1个融合层，卷积层的步长均为1；在滤波器内核中，有4个为SRM内核，另一个是拉普拉斯内核；高通滤波器内核设置为深度可分离卷积初始内核，滤波器将执行5次深度可分离的卷积操作，每个卷积使用不同的内核；使用RGB图像作为高通滤波器的输入来获得15个噪声特征图，同时，对输出图像上使用常规卷积得到3个颜色特征图，然后融合颜色特征和噪声残差，得到18个通道的输出，对融合特征使用步长为1的3
×
3卷积生成32个结果。4....

【专利技术属性】
技术研发人员：傅志彬，张玉书，祁树仁，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：