一种使用自适应阈值的图像篡改检测与定位方法技术

本发明专利技术公开了一种使用自适应阈值的图像篡改检测与定位方法，其基于模式噪声，并考虑了图像内容，其首先提取待测图像的噪声残差，并对待测图像、待测图像的噪声残差和待测图像来源相机的参考模式噪声进行不重叠分块，接着逐块计算待测图像的噪声残差和待测图像来源相机的参考模式噪声的相关性，然后根据对应的待测图像块的纹理复杂度选取阈值进行判决，从而能够消除纹理复杂度对检测结果的负面影响；其在采取不重叠分块确定大致篡改位置的基础上，采用快速的零均值归一化互相关算法进行相关性匹配，因此大大提高了本发明专利技术方法的篡改检测和定位效率，并且实现了对篡改精确定位的目的。

【技术实现步骤摘要】

本专利技术涉及一种图像取证技术，尤其是涉及一种使用自适应阈值的图像篡改检测与定位方法。
技术介绍
随着专业相机、消费相机和具有高清拍照功能的智能手机等图像获取设备的广泛普及，尤其是近些年智能手机的普及，全民已进入“读图时代”。为满足人们对图像编辑的要求，各种功能强大、操作简单的图像处理软件应运而生，但这也造成大量的篡改图像充斥网络、新闻等大众媒体，给社会带来了严重的信任危机。数字图像作为一种重要的信息载体，如何确保它在存储、传输和传播过程中的真实性，已成为数字图像取证领域的研究热点。所有的图像篡改方式中，同图复制-粘贴和异图拼接是最为常见的。如何有效地对这两类图像篡改进行取证，国内外相关机构展开了深入研究。近年来，利用相机传感器模式噪声的检测方法受到了研究者的广泛关注。这一类检测方法对同图复制-粘贴、异图拼接和模糊润饰等多种图像篡改操作都具有通用性，在司法取证、保险取证、新闻、摄影大赛等领域的图片真实性检测中具有较好的应用前景。相机传感器模式噪声，主要是由传感器的制作工艺不完美和材质不一致所导致。由于每部相机的模式噪声都具有唯一性，因此可看作相机指纹。利用相机传感器模式噪声的检测方法中的一种经典的基于模式噪声的篡改取证方法主要包括以下步骤：1)通过一部相机拍摄的多幅图像的噪声残差的平均获取相机的参考模式噪声R；2)获取待测图像的噪声残差W；3)采用滑窗方法，用事先设置的固定阈值对窗口内待测图像的噪声残差W与相机的参考模式噪声R的相关系数ρ(W,R)进行判决，实现篡改检测及定位。该篡改取证方法存在以下问题：1)在实际应用中，由于相机拍摄的图像的噪声残差和待测图像的噪声残差偏小，容易受到图像纹理等不利因素的影响，因此会造成篡改检测及定位效果不理想；2)采用的基于相关系数的固定阈值滑窗方法的效率极低，导致该篡改取证方法的效率也低下。为解决经典的基于模式噪声的篡改取证方法存在的篡改检测及定位效果不理想的问题，可以从两个方向出发，一个方向是如何提高相机的模式噪声的质量，另一个方向是如何通过使用更好的相关性度量方法来提高检测效果。如：Mo Chen、Jessica Fridrich、Miroslav Goljan.Determining Image Origin and Integrity Using Sensor Noise[J].IEEE Transactions on Information and Security,2008,3(1):74-90(陈莫、杰西卡·弗里德里希、米罗斯拉夫·格兰，基于传感器模式噪声的图像来源与完整性检测[J].IEEE信息与安全.2008，第3期(1):74-90)，其提出用多幅纹理简单(如蓝天)的图像的噪声残差经最大似然估计获取相机的模式噪声，消除纹理细节的影响，然后采用零均值化法(zero-mean，ZM)和维纳滤波(Wiener filter，WF)处理CFA插值噪声和JPEG压缩块效应等随机噪声的干扰，从而提高相机的模式噪声的质量。又如：Miroslav Goljan、Jessica Fridrich、Filler.Large scale test of sensor fingerprint camera identification[C]SPIE Proceedings,Media Forensics and Security,2009,7254:0I01-12(米罗斯拉夫2格兰、杰西卡·弗里德里希、托马斯2菲勒，基于传感器指纹识别的大规模测试[C]，SPIE会议录，多媒体取证与安全，2009，7254:0I01-12)，其提出SPCE(signed peak-to-correlation energy，有符号的峰值相关能量比值)方法，利用SPCE方法来提高检测效果。上述两种方法是目前基于模式噪声的图像篡改检测的基本方法。这些方法虽然可以通过改善相机的模式噪声的质量或者改进相关性匹配方法提高检测结果，但由于待测图像的噪声残差容易受图像内容的影响，因此会导致不同内容的待测图像的检测结果存在较大差异。如何减小待测图像内容对其噪声残差的影响，提高检测效果，研究者从不同角度进行了分析。Li C.-T.Source camera identification using enhanced sensor pattern noise[J].IEEE Transactions on Information Forensics and Security,2010,5(2):280-287.(李长纯，使用增强的传感器模式噪声识别源相机方法[J]，IEEE信息取证与安全，2010，第5期(2)：280-287)，其提出6个增强模型，降低纹理干扰，再使用零均值化法和维纳滤波处理。之后Li C.-T.and Li Yue.Color-decoupled photo response non-uniformity for digital image forensics[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(2):260–271(李长纯、李岳，基于颜色分离的光电响应不一致性的数字图像取证[J]，IEEE视频技术电路与系统，2012，第22期(2):260-271)，其建议从三个颜色通道分别提取噪声残差消除CFA插值的影响；Lin Xu、Li C.-T.Preprocessing Reference Sensor Pattern Noise via Spectrum Equalization[J].IEEE Transactions on Information Forensics and Security,2016,11(1):126-140(林旭、李长纯，基于频谱均衡方法处理参考相机传感器模式噪声[J]，IEEE信息取证与安全，2016，第11期(1):126-140)，其提出采用频谱均衡化的思想滤除残差中的纹理分量。Kang Xiangui、Li Yinxiang、Qu Zhenhua、Huang Jiwu.Enhancing source camera identification performance with a camera reference phase sensor pattern noise[J].IEEE Transactions on Information Forensics and Security,2012.7(2):393–402(康显桂、李寅祥、屈振华、黄继武，利用相机传感器模式噪声相位提高源相机识别率[J]，IEEE信息取证与安全，2012，第7期(2):393-402)，其借助噪声残差的相位剔除干扰噪声。Sara Parrilli、Giovanni Poggi、Carlo Sansone.on the influence of denoising in PRNU based forgery detection[C]ACM Workshop Multimedia Forensics,2010:117–122.(萨拉·帕雷尔、乔凡·尼波吉、本文档来自技高网...

【技术保护点】
一种使用自适应阈值的图像篡改检测与定位方法，其特征在于包括以下步骤：①选取一幅图像，将该图像作为待测图像，记为Itest；并获取N幅纹理简单的原始图像，将获取的第n幅纹理简单的原始图像记为Iorg,n；其中，拍摄每幅纹理简单的原始图像与拍摄Itest对应的原始图像所采用的相机为同一部相机，每幅纹理简单的原始图像与Itest的尺寸大小相同，宽度为col且高度为row，1≤n≤N，N≥2；②对Itest进行小波降噪处理，得到Itest的降噪图像，记为I'test；然后根据Itest及I'test，计算Itest的噪声残差，记为Wtest，Wtest＝Itest‑I'test；再采用零均值化法对Wtest进行处理，将得到的结果记为W'test；之后采用维纳滤波对W'test处理，将得到的结果作为Itest的最终噪声残差，记为同样，对每幅纹理简单的原始图像进行小波降噪处理，得到每幅纹理简单的原始图像的降噪图像，将Iorg,n的降噪图像记为I'org,n；然后根据每幅纹理简单的原始图像及其降噪图像，计算每幅纹理简单的原始图像的噪声残差，将Iorg,n的噪声残差记为Worg,n，Worg,n＝Iorg,n‑I'org,n；接着采用最大似然估计法，对所有纹理简单的原始图像的噪声残差进行处理，得到Itest所对应的相机的参考模式噪声，记为Rtest；再采用零均值化法对Rtest进行处理，将得到的结果记为R'test；之后采用维纳滤波对R'test处理，将得到的结果作为Itest所对应的相机的最终参考模式噪声，记为③判断col％128和row％128是否均等于0，如果col％128和row％128均等于0，则直接执行步骤④；如果col％128等于0而row％128不等于0，则对Itest、和各自扩展128‑row％128行，然后令row＝row+(128‑row％128)，再执行步骤④；如果row％128等于0而col％128不等于0，则对Itest、和各自扩展128‑col％128列，然后令col＝col+(128‑col％128)，再执行步骤④；如果col％128和row％128均不等于0，则对Itest、和各自扩展128‑row％128行，并扩展128‑col％128列，然后令row＝row+(128‑row％128)，令col＝col+(128‑col％128)，再执行步骤④；其中，符号“％”为求余运算符，row＝row+(128‑row％128)和col＝col+(128‑col％128)中的“＝”为赋值符号；④将Itest、和分别划分成个互不重叠的尺寸大小为128×128的图像块，将Itest中的第k个图像块记为将中的第k个图像块记为将中的第k个图像块记为然后计算Itest中的每个图像块的纹理复杂度，将的纹理复杂度记为接着采用SPCE方法，计算中的每个图像块与中对应位置的图像块的相关性，将与的相关性记为其中，⑤根据Itest中的每个图像块的纹理复杂度，获取Itest中的每个图像块相应的自适应阈值；然后根据中的每个图像块与中对应位置的图像块的相关性及Itest中对应位置的图像块相应的自适应阈值，对Itest中对应位置的图像块进行相关性匹配，检测出Itest中对应位置的图像块是否发生过篡改；再将Itest中包含检测出的所有发生过篡改的图像块的最小矩形区域确定为Itest中的大致篡改区域；⑥将中与Itest中的大致篡改区域相对应的矩形区域记为Atest，将中与Itest中的大致篡改区域相对应的矩形区域记为Btest；然后采用快速的零均值归一化互相关算法，计算Atest中的每个像素点与Btest中对应像素点的ZNCC系数，将Atest中坐标位置为t的像素点与Btest中坐标位置为t的像素点的ZNCC系数记为ZNCCt；然后由Atest中的所有像素点各自与Btest中对应像素点的ZNCC系数组成ZNCC关联图；其中，t∈Ωz，Ωz表示Atest或Btest中的所有像素点的坐标位置的集合，ZNCCt∈[0,1]；⑦通过比较ZNCC关联图中的每个像素点的像素值与固定阈值th的大小，对ZNCC关联图中的每个像素点的像素值进行重置，对于ZNCC关联图中坐标位置为t的像素点的像素值ZNCCt，如果ZNCCt大于或等于th，则将ZNCCt重置为1；如果ZNCCt小于th，则将ZNCCt重置为0；⑧先后利用腐蚀和膨胀技术对像素值重置后的ZNCC关联图中的每个像素点进行处理；然后根据膨胀处理后的ZNCC关联图中的每个像素点的像素值，确定Itest中的大致篡改区域中的每个像素点为篡改像素点还是为非篡改像素点，对于Itest中的大致篡改区域中坐标位置为t的像素点，若膨胀处理后的ZNCC关联图中坐标位置为t的像素点的像素值为0，则确定Itest中的大致篡改区域中坐...

【技术特征摘要】
1.一种使用自适应阈值的图像篡改检测与定位方法，其特征在于包括以下步骤：①选取一幅图像，将该图像作为待测图像，记为Itest；并获取N幅纹理简单的原始图像，将获取的第n幅纹理简单的原始图像记为Iorg,n；其中，拍摄每幅纹理简单的原始图像与拍摄Itest对应的原始图像所采用的相机为同一部相机，每幅纹理简单的原始图像与Itest的尺寸大小相同，宽度为col且高度为row，1≤n≤N，N≥2；②对Itest进行小波降噪处理，得到Itest的降噪图像，记为I'test；然后根据Itest及I'test，计算Itest的噪声残差，记为Wtest，Wtest＝Itest-I'test；再采用零均值化法对Wtest进行处理，将得到的结果记为W'test；之后采用维纳滤波对W'test处理，将得到的结果作为Itest的最终噪声残差，记为同样，对每幅纹理简单的原始图像进行小波降噪处理，得到每幅纹理简单的原始图像的降噪图像，将Iorg,n的降噪图像记为I'org,n；然后根据每幅纹理简单的原始图像及其降噪图像，计算每幅纹理简单的原始图像的噪声残差，将Iorg,n的噪声残差记为Worg,n，Worg,n＝Iorg,n-I'org,n；接着采用最大似然估计法，对所有纹理简单的原始图像的噪声残差进行处理，得到Itest所对应的相机的参考模式噪声，记为Rtest；再采用零均值化法对Rtest进行处理，将得到的结果记为R'test；之后采用维纳滤波对R'test处理，将得到的结果作为Itest所对应的相机的最终参考模式噪声，记为③判断col％128和row％128是否均等于0，如果col％128和row％128均等于0，则直接执行步骤④；如果col％128等于0而row％128不等于0，则对Itest、和各自扩展128-row％128行，然后令row＝row+(128-row％128)，再执行步骤④；如果row％128等于0而col％128不等于0，则对Itest、和各自扩展128-col％128列，然后令col＝col+(128-col％128)，再执行步骤④；如果col％128和row％128均不等于0，则对Itest、和各自扩展128-row％128行，并扩展128-col％128列，然后令row＝row+(128-row％128)，令col＝col+(128-col％128)，再执行步骤④；其中，符号“％”为求余运算符，row＝row+(128-row％128)和col＝col+(128-col％128)中的“＝”为赋值符号；④将Itest、和分别划分成个互不重叠的尺寸大小为128×128的图像块，将Itest中的第k个图像块记为将中的第k个图像块记为将中的第k个图像块记为然后计算Itest中的每个图像块的纹理复杂度，将的纹理复杂度记为接着采用SPCE方法，计算中的每个图像块与中对应位置的图像块的相关性，将与的相关性记为其中，⑤根据Itest中的每个图像块的纹理复杂度，获取Itest中的每个图像块相应的自适应阈值；然后根据中的每个图像块与中对应位置的图像块的相关性及Itest中对应位置的图像块相应的自适应阈值，对Itest中对应位置的图像块进行相关性匹配，检测出Itest中对应位置的图像块是否发生过篡改；再将Itest中包含检测出的所有发生过篡改的图像块的最小矩形区域确定为Itest中的大致篡改区域；⑥将中与Itest中的大致篡改区域相对应的矩形区域记为Atest，将中与Itest中的大致篡改区域相对应的矩形区域记为Btest；然后采用快速的零均值归一化互相关算法，计算Atest中的每个像素点与Btest中对应像素点的ZNCC系数，将Atest中坐标位置为t的像素点与Btest中坐标位置为t的像素点的ZNCC系数记为ZNCCt；然后由Atest中的所有像素点各自与Btest中对应像素点的ZNCC系数组成ZNCC关联图；其中，t∈Ωz，Ωz表示Atest或Btest中的所有像素点的坐标位置的集合，ZNCCt∈[0,1]；⑦通过比较ZNCC关联图中的每个像素点的像素值与固定阈值th的大小，对ZNCC关联图中的每个像素点的像素值进行重置，对于ZNCC关联图中坐标位置为t的像素点的像素值ZNCCt，如果ZNCCt大于或等于th，则将ZNCCt重置为1；如果ZNCCt小于th，则将ZNCCt重置为0；⑧先后利用腐蚀和膨胀技术对像素值重置后的ZNCC关联图中的每个像素点进行处理；然后根据膨胀处理后的ZNCC关联图中的每个像素点的像素值，确定Itest中的大致篡改区域中的每个像素点为篡改像素点还是为非篡改像素点，对于Itest中的大致篡改区域中坐标位置为t的像素点，若膨胀处理后的ZNCC关联图中坐标位置为t的像素点的像素值为0，则确定Itest中的大致篡改区域中坐标位置为t的像素点为篡改像素点；若膨胀处理后的ZNCC关联图中坐标位置为t的像素点的像素值为1，则确定Itest中的大致篡改区域中坐标位置为t的像素点为非篡改像素点。2.根据权利要求1所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤③中对Itest、和各自扩展128-row％128行为在Itest、和各自的第row行的下方扩展128-row％128行，并使扩展的每行中的每个像素点的像素值等于第row行中对应坐标位置的像素点的像素值；对Itest、和各自扩展128-col％128列为在Itest、和各自的第col列的右方扩展128-col％128列，并使扩展的每列中的每个像素点的像素值等于第col列中对应坐标位置的像素点的像素值。3.根据权利要求1所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤④中的的获取过程为：a1、令其中，和对应表示的信息熵、的边缘比率、的反差因子、的相关度和的能量；b1、对步骤a1得到的进行归一化处理，即令其中，Texturemin表示纹理复杂度中的最小值，Texturemax表示纹理复杂度中的最大值，中的符号“＝”为赋值符号。4.根据权利要求1所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤④中其中，sign()为求符号函数，max()为求最大值函数，表示中坐标位置为s的像素点与中坐标位置为s的像素点的相关值，Ωk表示或中的所有像素点的坐标位置的集合，Ne×Ne表示或中以对应的像素点为中心的窗口区域的尺寸大小，ΩNe×Ne表示或中以对应的像素点为中心的窗口区域中的所有像素点的坐标位置的集合。5.根据权利要求1至4中任一项所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤⑤中针对对进行相关性匹配，检测出是否发生过篡改的具体过程为：如果大于或等于相应的自适应阈值，则确定未发生过篡改；如果小于相应的自适应阈值，则确定发生过篡改。6.根据权利要求1所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤⑥中其中，Atest(t)表示Atest中坐标位置为t的像素点的像素值，Btest(t)表示Btest中坐标位置为t的像素点的像素值，cov(Atest(t),Btest(t))表示Atest中坐标位置为t的像素点与Btest中坐标位置为t的像素点的协方差，var(Atest(t))表示Atest中坐标位置为t的像素点的方差，var(Btest(t))表示Btest中坐标位置为t的像素点的方差。7.根据权利要求1所述的一种使用自适应阈值的图像篡改检测与定位方法，其特征在于所述的步骤⑤中的获取Itest中的每个图像块相应的自适应阈值的具体过程为：⑤_1、利用U部不同的相机各拍摄V幅场景不同的照片，共获得U×V幅照片，第u部相机拍摄的照片的宽度为colu且高度为rowu；然后从每部相机拍摄的所有照片中随机选取Z幅照片，并将随机选取的U×Z幅照片构成训练图像库，将训练图像库中的第i幅照片记为IX,i；接着对训练图像库中的每幅照片进行小波降噪处理，得到训练图像库中的每幅照片的降噪图像，将IX,i的降噪图像记为I'X，i；之后根据训练图像库中的每幅照片及其降噪图像，计算训练图像库中的每幅照片的噪声残差，将IX,i的噪声残差记为WX,i，WX,i＝IX,i-I'X，i；其中，U≥5，V≥400，1≤u≤U，200≤Z≤V，1≤i≤U×Z；利用上述的每部相机重复拍摄纹理简单的同一场景G次，共获得U×G幅纹理简单的照片，将第j幅纹理简单的照片记为Ij；对每幅纹理简单的照片进行小波降噪处理，得到每幅纹理简单的照片的降噪图像，将Ij的降噪图像，记为I'j；然后根据每幅纹理简单的照片及其降噪图像，计算每幅纹理简单的照片的噪声残差，将Ij的噪声残差记为Wj，Wj＝Ij-I'j；接着采用最大似然估计法，对每部相机拍摄的所有纹理简单的照片的噪声残差进行处理之后，再分别进行零均值化和维纳滤波处理，得到每部相机的参考模式噪声，将第u部相机的参考模式噪声记为Ru；其中，G≥50，1≤j≤U×G；⑤_2、通过判断每部相机拍摄的照片的尺寸大小能否被128×128整除，确定是否扩展该部相机的参考模式噪声和训练图像库中来自该部相机的每幅照片及其噪声残差，对于第u部相机拍摄的照片，判断colu％128和rowu％128是否均等于0，如果colu％128和rowu％128均等于0，则直接执行步骤⑤_3；如果colu％128等于0而rowu％128不等于0，则对Ru、训练图像库中来自第u部相机的每幅照片及其噪声残差各自扩展128-rowu％128行，然后令rowu＝rowu+(128-rowu％128)，再执行步骤⑤_3；如果rowu％128等于0而co...

【专利技术属性】
技术研发人员：郭浩龙，张荣，郭立君，王潇，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33