一种被拼接篡改的图像的检测方法技术

本发明专利技术一种被拼接篡改的图像的检测方法，涉及图像分析，是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法，利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组多阶段特征进行融合和上采样，得到金字塔特征图，将金字塔特征图不同层分别经过区域生成网络，得到篡改候选区域,经过ROI Align生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测，克服了现有技术提取的图像篡改特征单一不全面，容易忽略区域较小的篡改目标，不能实现端到端的像素级定位的缺陷。

A detection method of spliced and tampered image

【技术实现步骤摘要】
一种被拼接篡改的图像的检测方法
本专利技术的技术方案涉及图像分析，具体地说是一种被拼接篡改的图像的检测方法。
技术介绍
近年来，图像编辑软件如Photoshop等得到了迅速的发展，使人们可以按着自己的意愿对图像进行篡改，甚至达到了以假乱真的程度，若这些篡改图片被别有用心的人应用于军事政治，法庭作证，科学研究等严肃的场合，便会扭曲真相，误导大众，对社会产生不利的影响。因此，研究数字图像是否被经过篡改的图像取证技术具有十分重要的意义。拼接是一种最常见的图像篡改手段，它是将一幅图像或多幅图像的某一部分拼接到另一幅图像，以达到伪造事实的目的，若再经过一些后处理操作，如用模糊、噪声、压缩等后处理方法来隐藏篡改的痕迹，则会更加不易分辨所拼接篡改的图像的真伪。被拼接篡改的图像的检测方法主要分为两种：传统方法和基于深度学习的方法。传统方法主要提取拼接区域和真实区域之间的特征差异，以达到检测和定位拼接篡改的目的，如：基于噪声特征、基于整体特征和基于光源一致性特征的被拼接篡改的图像的检测方法，但这些方法都是基于某一特定假设，提取的特征不能全面有效表示拼接区域和真实区域之间的差异。深度学习方法使用大样本训练模型，自动提取物体特征，将复杂问题转化为模型权重参数，以数学概率的模式来描述图像的目标，被拼接篡改的图像的检测方法也应用了深度学习的方法。Rao在“ADeepLearningApproachtoDetectionofSplicingandCopy-MoveForgeriesinImages”一文中针对拼接设计了专门的网络，CNN从输入的RGB彩色图像中自动学习层次表示，使用空间丰富模型(SRM)对第一层的权重网络初始化，有效抑制了图像内容，提高了检测的精度。但是，该方法只是对被篡改图像进行分类，并没有实现像素级的拼接区域定位。Pomari在“Imagesplicingdetectionthroughilluminationinconsistenciesanddeeplearning”中将基于光源颜色不一致的光源图和ResNet-50相结合，生成了深度拼接特征(DeepSplicingFeatures)，使用SVM分类器进行分类，并利用梯度信息流和HSV颜色空间对篡改区域生成掩码。但该方法的掩码生成和SVM分类是独立计算的，并未实现端到端的网络，且只使用了光源信息，提取的篡改特征较为单一。针对上述方法的缺陷，现有技术的改进方法有：提取多种篡改特征共同检测图像的被拼接篡改之处，用端到端训练网络提高检测效率。文献“Imagesplicinglocalizationusingamulti-taskfullyconvolutionalnetwork(mfcn)”在全卷机神经网络模型的基础上，增加了一个分支用于学习拼接区域的边缘信息，而原来的分支用于学习图像表层信息，共同用来定位图像中的篡改区域。文献“Learningrichfeaturesforimagemanipulationdetection”使用SRM滤波器提取图像的噪声特征图，将噪声特征图当做双流FasterR-CNN中噪声流的输入，提高了分类的精度和定位的准确性，实现了端到端的检测。CN110349136A公开了一种基于深度学习的篡改图像检测方法，该方法通过对高频噪声残差图提取特征实现篡改区域的检测，但若图像经过后处理技术隐藏噪声，则会影响图像检测的准确性，而且图像的检测结果是边界框的形式，并不是像素级的定位。CN109754393A公开了一种基于深度学习的篡改图像鉴定方法及装置，将灰度图作为输入从而判断原图是否为篡改图像，但灰度图丢失了彩色图所包含的信息，神经网络提取到的灰度图特征不全面，影响了篡改图像分类的准确性。CN102609947A公开了一种针对拼接篡改的数码照片伪造检测方法，该方法将重采样和神经网络算法相结合进行循环迭代，从而得到未被篡改的像素点集合，但其存在随着循环迭代的次数增加计算复杂度也大幅增加的缺陷。CN106815836A公开了一种数字图像拼接篡改盲检测方法，该方法将图像划分为若干不重叠的子块，估计每一个子块的颜色偏量，如果图像分辨率较高，则方法的运行时间大大增加，而且只能判别图像是否伪造不能进行像素级定位。CN109903302A公开了一种用于拼接图像的篡改检测方法，该方法利用边缘检测Canny算子进行篡改定位检测，但Canny算子容易把噪点误判为边界，对于后处理过的篡改图像检测准确性较差。CN103914839B公开了一种基于隐写分析的图像拼接篡改检测方法及装置，该方法存在仅提取图像的统计特性，忽略了局部特征，无法对目标较小的篡改区域进行准确的检测的缺陷。CN109816676A公开了一种拼接图像篡改检测方法，该方法使用将待检测图像分成多个图像块的预处理，增加了检测的时间，图像块更加关注局部的篡改特征，而忽略了图像整体的特征。CN108122225A公开了一种基于自适应特征点的数字图像篡改检测方法，该方法在图像较为平滑时提取的图像特征点数量较少，对篡改区域的检测精度不高。CN105844643B公开了一种图像篡改检测方法，该方法存在所用分块处理方法对旋转、缩放等几何变换敏感，无法有效应对几何变换的缺陷。CN106097379B公开了一种使用自适应阈值的图像篡改检测与定位方法，该方法提取待测图像来源相机的参考模式噪声，其存在当拼接图像和宿主图像是由相同的数码相机拍摄时，篡改区域定位不准确和适用范围较窄的缺陷。总之，现有技术的被拼接篡改的图像的检测方法存在提取的图像篡改特征单一不全面，容易忽略区域较小的图像篡改目标，不能实现端到端的像素级定位的缺陷。
技术实现思路
本专利技术所要解决的技术问题是：提供一种被拼接篡改的图像的检测方法，是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法，利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征，结合多尺度信息，将两组多阶段特征进行融合和上采样，得到金字塔特征图，将金字塔特征图不同层分别经过区域生成网络，得到篡改候选区域,经过ROIAlign生成固定尺寸特征图，对固定尺寸特征图进行分类、边界框回归和掩码预测，最后得到篡改区域的边界框和像素级定位，完成对被拼接篡改的图像的检测，克服了现有技术提取的图像篡改特征单一不全面，容易忽略区域较小的篡改目标，不能实现端到端的像素级定位的缺陷。本专利技术解决该技术问题所采用的技术方案是：一种被拼接篡改的图像的检测方法，是基于光源图和金字塔特征图的图像拼接检测方法，具体步骤如下：第一步，将输入图像生成对应的光源图：首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，由此完成将输入图像生成对应的光源图；第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：特征提取网络由以下支路A和支路B两个支路组成，支路A，是在篡改图像上进行本文档来自技高网...

【技术保护点】
1.一种被拼接篡改的图像的检测方法，其特征在于：是基于光源图和金字塔特征图的图像拼接检测方法，具体步骤如下：/n第一步，将输入图像生成对应的光源图：/n首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，/n由此完成将输入图像生成对应的光源图；/n第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：/n特征提取网络由以下支路A和支路B两个支路组成，/n支路A，是在篡改图像上进行提取特征，提取篡改线索明显的特征，包括对比度差异和不自然的篡改边界，具体操作如下：/n将篡改图像调整到512×512像素大小，输入支路A的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的篡改图像特征图：C1、C2、C3、C4和C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图，不同分辨率的篡改图像特征图包含了不同尺度的信息，/n支路B，是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征，提取光源图中篡改区域的光源不一致特征，具体操作如下：/n将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小，输入该支路B.的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的光源特征图：IM_C1、IM_C2、IM_C3、IM_C4和IM_C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图，不同分辨率的光源特征图包含了不同尺度的信息，/n至此，完成使用特征提取网络对篡改图像和其对应的光源图的特征提取；/n第三步，生成金字塔特征图M：/n将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合，具体操作如下，/n将C5和IM_C5通过1×1×256的卷积层，其中，1×1是为了改变通道数，256是卷积核的数量，然后融合相加得到大小为16×16像素的特征图P5，将特征图P5进行步长为2的最大池化操作，生成大小为8×8像素的特征图P6，同时将特征图P5进行两倍上采样操作，与同样通过1×1×256卷积层的C4和IM_C4三者融合，生成大小为32×32像素的特征图P4；将特征图P4进行两倍上采样操作，与同样通过1×1×256卷积层的C3和IM_C3三者融合，生成大小为64×64像素的特征图P3；将特征图P3进行两倍上采样操作，与同样通过1×1×256卷积层的C2和IM_C2三者融合，生成大小为128×128像素的特征图P2，将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M，至此完成金字塔特征图M的生成；/n第四步，获得篡改候选区域N：/n将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络，提取出篡改候选区域N’，然后进行非极大值抑制操作，得到最终的篡改候选区域N，具体操作如下，/n所述区域生成网络是使用锚框来选择篡改候选区域N’，采用五种不同大小，分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比，分别是1∶1、1∶2、2∶1，共十五种类型的锚框对篡改候选区域N’进行预测，使用非极大值抑制筛选篡改候选区域N’，最后选取前200个候选区域框作为最终的篡改候选区域N，至此获得最终的篡改候选区域N；/n第五步，获得金字塔篡改候选区域n：/n将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上，其中，Pk∈{P2,P3,P4,P5}，k的计算如下公式(5)所示，/n...

【技术特征摘要】
1.一种被拼接篡改的图像的检测方法，其特征在于：是基于光源图和金字塔特征图的图像拼接检测方法，具体步骤如下：
第一步，将输入图像生成对应的光源图：
首先将输入图像分割成相似的区域，即超像素，然后在每个超像素上对光源颜色进行估计，用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图，或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图，
由此完成将输入图像生成对应的光源图；
第二步，使用特征提取网络对篡改图像和其对应的光源图进行特征提取：
特征提取网络由以下支路A和支路B两个支路组成，
支路A，是在篡改图像上进行提取特征，提取篡改线索明显的特征，包括对比度差异和不自然的篡改边界，具体操作如下：
将篡改图像调整到512×512像素大小，输入支路A的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的篡改图像特征图：C1、C2、C3、C4和C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图，不同分辨率的篡改图像特征图包含了不同尺度的信息，
支路B，是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征，提取光源图中篡改区域的光源不一致特征，具体操作如下：
将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小，输入该支路B.的ResNet-101网络，ResNet-101网络共有五个阶段，在每个阶段中，包含一组分辨率大小相同的特征图，每个阶段在经过池化层后得到下个阶段，大小变为原来的二分之一，分别取每个阶段的最后一个层的输出，获得不同分辨率的光源特征图：IM_C1、IM_C2、IM_C3、IM_C4和IM_C5，其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素，至此，光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图，不同分辨率的光源特征图包含了不同尺度的信息，
至此，完成使用特征提取网络对篡改图像和其对应的光源图的特征提取；
第三步，生成金字塔特征图M：
将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合，具体操作如下，
将C5和IM_C5通过1×1×256的卷积层，其中，1×1是为了改变通道数，256是卷积核的数量，然后融合相加得到大小为16×16像素的特征图P5，将特征图P5进行步长为2的最大池化操作，生成大小为8×8像素的特征图P6，同时将特征图P5进行两倍上采样操作，与同样通过1×1×256卷积层的C4和IM_C4三者融合，生成大小为32×32像素的特征...

【专利技术属性】
技术研发人员：于明，刘世坤，朱叶，刘依，郭迎春，郝小可，于洋，师硕，阎刚，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12