一种基于多域特征融合的图像篡改检测方法技术

本发明专利技术涉及一种基于多域特征融合的数字图像篡改检测方法。本方法使用目标检测流程进行图像篡改检测，首先通过卷积神经网络提取图像空间域和噪声域的篡改遗留特征，将这些特征输入到区域建议网络得到候选检测框。之后，将空间域特征及得到的检测框作为输入信息进行注意力区域识别，识别出图像中具备篡改判别力的篡改可疑区域，在这一过程中，提取图像的重采样特征，引入图像的频域信息。然后将全图空间域特征和可疑区域特征级联，并与噪声域特征通过双线性池化进行融合，应用融合后的特征进行分类和检测框的回归计算，得到篡改类型以及篡改区域的位置。与现有方法相比，本发明专利技术能够检测多种类型篡改并准确定位篡改区域，具有更高的检测准确率。

An image tamper detection method based on multi domain feature fusion

【技术实现步骤摘要】
一种基于多域特征融合的图像篡改检测方法
本专利技术属于数字图像处理、计算机视觉、信息安全、数字图像取证等交叉领域，涉及一种基于多域特征融合的深度学习图像篡改检测方法。
技术介绍
随着信息化、电子化技术的发展，数字图像在新闻、司法、文艺等各个领域大量使用，成为最主要的信息载体。数字图像的广泛使用极大促进了数字图像编辑工具的开发与应用，例如：AdobePhotoshop、CorelDRAW、美图秀秀等。利用这些工具修改后的图像在观感上与真实图像无异，极难辨别。一些不法篡改者，在未经授权的情况下对图像内容进行操作并发布，如违规编辑、扭曲图片内容、合成虚假图像等。这导致篡改图像在媒体报道、社会生活中泛滥成灾，甚至影响司法鉴定领域，危害极其严重。因此，如何判断数字图像内容的真实性、原始性，成为近年来信息内容安全领域的一项重要研究课题。无需其他辅助信息的数字图像篡改盲取证技术是当前判断图像真伪的核心技术。此类篡改检测技术可分为两类。第一类通过区分图像中所有区域是否来自同一拍摄设备实现篡改检测，如Ferrara等人在“Imageforgerylocalizationviafine-grainedanalysisofcfaartifacts”中使用CFA特征来识别相机模式，通过检测图像不同区域拍摄相机的型号来进行篡改检测，这种方法使用人为设定的CFA模型，而当前图像采集设备种类繁多，难以建立全面的模型特征，同时这种方法只针对未压缩的图像有效，因为压缩过程混入的噪声会破坏图像遗留的相机模式信息，局限性较大。第二类通过寻找图像编辑的痕迹实现篡改检测，如Krawetz等人在“Apicture’sworth”中根据真实图像与篡改图像不同的JPEG压缩痕迹进行篡改检测，这种方法存在格式限制，并且不能抵抗中值滤波、高斯模糊等消除痕迹的后处理操作，同时不能对篡改区域进行定位。而Mahdiand等人在“Usingnoiseinconsistenciesforblindimageforensics”中使用局部模式噪声的不一致性来定位篡改，这种方法不能检测复制-粘贴操作，因为篡改区域与真实区域来自同一张图像，具有相似的噪声模式。另外，该方法同样不能抵抗痕迹消除操作且区域定位较为模糊。无论哪种方式，都是从图像中提取特征进行分析，而无论是来源信息还是篡改痕迹信息都是视觉上不可见的、极其微小或隐匿性较高的，这对于特征的构建和提取提出了较高的要求。而另一方面，如今图像获取容易，篡改素材来源广泛，篡改者在进行图像修改伪造的过程中，常使用几何变换、锐化、对比度调整、图像拼接、克隆等操作处理。这些操作往往叠加使用，而篡改者为了去除某些篡改操作过程中引入的标志性特征，又会进一步处理以隐藏篡改痕迹，如进行中值滤波操作等，极大提高综合性篡改检测的难度。上述情况为图像篡改带来极大挑战，现有图像篡改检测算法尚有诸多局限：(1)所提取特征较为单一且细粒度不够，对于篡改信息的标示性不足，检测准确率较低。(2)能够检测的篡改类型较为单一，不能同时进行拼接、复制粘贴、消除等多种混合类型的篡改。(3)难以准确定位篡改区域在图像中的位置。近几年深度学习的发展成果丰硕，也为图像篡改检测领域带来了新的研究思路，但多数方法将卷积神经网络作为特征提取器，依照传统方法的思路，用深度网络的特征替代人为设计的特征进行篡改检测，效果有一定的提升，但使用的网络结构大多应用于图像分类或目标检测等经典机器视觉问题，并未对图像篡改进行充分优化，所提取特征的细粒程度较低，这也是目前篡改检测未能解决的问题。本专利技术针对以上问题，在参考现有基于深度学习的图像篡改检测方法的基础上，提出融合多域多类特征的图像篡改综合检测方法。
技术实现思路
基于以上问题，本专利技术提出一种基于注意力机制的可以融合多域特征的图像篡改检测网络结构，该结构能够综合性检测出图像中的多种内容篡改，如拼接、复制-粘贴、移除等，同时能够准确给出图像中篡改区域的位置。本专利技术网络将图像篡改检测作为目标检测问题，使用FasterR-CNN目标检测框架，提取待检测图像空间域、频域和噪声域上的篡改遗留痕迹，并将这些丰富的篡改表示特征进行融合以显著提高检测结果的准确性。在噪声域上，设计训练了特殊的卷积结构以提取多类操作痕迹，如中值滤波、高斯模糊、加性高斯白噪声等，进一步提高网络提取特征的丰富性及网络检测性能。同时，本专利技术将整图检测和特殊区域检测相结合，通过使用具备更大感受野的LSTM网络学习图像的上下文关联特征，而另一方面寻找局部“特殊区域”。这种区域的确定是通过引入注意力机制来实现的，本专利技术构建了应用于图像篡改检测的注意力网络，这一网络的作用是寻找到待检测图像中“更具判别力的特殊区域”，所谓更具判别力是指该区域包含更多的篡改痕迹信息，更能表示图像是否被篡改。从这种区域中提取的局部判别性特征加入到检测分类中能显著提升准确性。注意力网络能够在大量数据的监督下通过自身权重学习，自动选择出其感兴趣区域，聚焦于具有篡改判别力的区域，而这一过程与人眼分辨篡改图像的过程是相似的。一种基于多域特征融合的图像篡改检测方法包括以下模块和步骤：模块一：特征提取模块。输入一幅待检测图像，提取其空间域和频域的篡改遗留信息。模块二：注意力模块。检测输入图像中具有篡改判别力的区域，在本专利技术中，注意力模块的输入是待检测图像和RPN网络提出的检测框位置，该模块对每个检测框对应的部分图像进行检测，输出的是当前检测框中关注区域，即判别力区域的局部特征。模块三：特征融合模块。对来自两个分支的特征进行融合，采取的操作是双线性融合。该模块的输入是来自两支网络输出的检测框区域不同种类的特征，输出是用于当前区域分类的融合特征。有益效果与现有技术相比，本专利技术具有以下优点：1)提取待检测图像多个特征域的篡改遗留信息，并分层次表达融合以进行充分利用。能够检测拼接、复制粘贴、消除等多种类型的篡改，具有更高的检测准确率。2)能够准确定位篡改的区域。附图说明图1为本专利技术的框架图；图2为本专利技术中特征提取网络的结构图；图3为本专利技术中注意力模块的网络结构图；图4为本专利技术自定义卷积核示意图；图5为本专利技术使用的希尔伯特曲线原理图；图6为本专利技术应用实例实验结果：(a1)、(b1)、(c1)表示的是真实图像，(a2)、(b2)、(c2)表示的是篡改图像，(a3)、(b3)、(c3)表示的是图像真值，(a4)、(b4)、(c4)表示的本专利技术方法的检测结果。a、b、c三组图像分为对应拼接、复制-粘贴和消除三种篡改类型的检测。图7为本专利技术噪声域特征提取模块网络结构图8为本专利技术应用实例实验结果：本专利技术检篡改测算法与其他三种方法在NIST16、Columbia、COVER、CASIA四个数据集上的检测准确率(F1分数)对比。其他三种方法分别为：Krawetz等人、Mahdian等人及Ferrara等人的方法。具体实施方式下面结合附图和具体实施方式对本专利技术的各个模块，网络的训练方式和本本文档来自技高网...

【技术保护点】
1.一种基于多域特征融合的图像篡改检测方法，其特征在于包括以下模块和步骤：/n模块一：特征提取模块：输入一幅待检测图像，提取其空间域和频域的篡改遗留信息，形成RGB分支和噪声流分支；/n模块二：注意力模块：针对RGB分支，检测输入图像中具有篡改判别力的区域，本模块将待检测图像的RGB图像学习特征，以及经RPN网络提出的待检测图像的RGB图像学习特征的区域特征进行级联，作为输入图像的表达；/n模块三：特征融合模块：对来自两个分支的特征进行融合，采取的操作是双线性融合，融合后的特征用于分类；同时使用RGB分支的输出特征进行检测框的回归预测，得到准确的篡改区域的位置并以矩形框表示。/n

【技术特征摘要】
1.一种基于多域特征融合的图像篡改检测方法，其特征在于包括以下模块和步骤：
模块一：特征提取模块：输入一幅待检测图像，提取其空间域和频域的篡改遗留信息，形成RGB分支和噪声流分支；
模块二：注意力模块：针对RGB分支，检测输入图像中具有篡改判别力的区域，本模块将待检测图像的RGB图像学习特征，以及经RPN网络提出的待检测图像的RGB图像学习特征的区域特征进行级联，作为输入图像的表达；
模块三：特征融合模块：对来自两个分支的特征进行融合，采取的操作是双线性融合，融合后的特征用于分类；同时使用RGB分支的输出特征进行检测框的回归预测，得到准确的篡改区域的位置并以矩形框表示。


2.根据权利要求1所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：特征提取模块分为两部分，第一部分是空间域RGB特征提取模块，是一个ResNet101网络，第二部分是噪声域特征提取模块，该模块是一个深度卷积神经网络，依次由一层自定义的特殊卷积层和两层常规的卷积层组成，其中，特殊卷积层用于检测多种图像篡改痕迹信息；后面两层常规卷积层中，加入了BN层和ReLU激活层以提升网络的稳定性。


3.根据权利要求2所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：所述的特殊卷积层定义了特殊的初始化和每次迭代后的更新方式，具体如下：



其中，表示特殊卷积层中第k个卷积核，除了卷积核中心权值为-1外，其余权值均为归一化的随机值，且和为1。


4.根据权利要求2所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：噪声域特征提取模块第一层常规卷积层的卷积核大小为7×7,步长为2,第二层卷积层的卷积核大小为5×5，步...

【专利技术属性】
技术研发人员：李帅伯，马伟，宗秋，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11