一种基于注意力CNN文档证件类图像篡改检测方法技术

本发明专利技术提供了一种基于注意力CNN文档证件类图像篡改检测方法，包括以下方法：在网络结构中将多语义注意力机制的卷积神经网络加入到模型的框架中，增加对篡改边缘的关注，用于生成注意图，同时利用最大熵马尔科夫模型对注意图中相邻区域之间的相关性进行建模；膨胀卷积可以捕获多尺度的上下文信息；引入注意力机制卷积神经网络的整体框架有两个分支，两个分支网络在整个卷积层和全连接层中具有相同的权值参数和结构，训练阶段，用多个损失函数的集合进行训练；得到的初步检测结果是一张二值图，对二值图进行腐蚀膨胀处理得到最终结果。本发明专利技术的优点在于：不仅可以应对各种篡改手段，而且检测方便且准确率高。而且检测方便且准确率高。而且检测方便且准确率高。

【技术实现步骤摘要】
一种基于注意力CNN文档证件类图像篡改检测方法


[0001]本专利技术涉及图像篡改检测领域，具体是指一种基于注意力卷积神经网络(CNN)的非自然图像的文档证件类图像的篡改检测。

技术介绍

[0002]检测篡改伪造图像的技术称之为图像取证，已经有十多年的发展与研究，也在某些领域得到了广泛运用并且颇有成效，如司法鉴定、新闻溯源、刑事案件侦破等，但是研究的重点都是自然图像的篡改检测，对于文档证件类的非自然图像的相关检测与研究还是非常有限。随着互联网的迅速发展，电子发票、证书类等非自然图像开始普遍应用，修图工具的出现与普及，如Adobe Photoshop，使对文档证件类的篡改如同自拍修图一样简单，由于此种PS技术的发展成熟，篡改过的文档证件很难用肉眼分辨出来，因此检测伪造文档证书类图像是非常困难的，比如当要求上传电子银行流水时，为了一些目的上传者可能会将流水进行篡改，或者上传证书文件时，将里面的核心部分进行篡改，如名字，时间等，由于强大的PS技术或者一些其他反取证技术的出现与应用，这些篡改很难被人眼识别检测出来，一些别有用心者可能会将这些篡改过的文档用于散播谣言、编造虚假新闻、谋取私利等，如果篡改后的文档证件或者证明被大量地用于正式的媒体、科学发现、以及法庭的证物等，将可能会对政治和社会稳定产生严重影响。
[0003]在现有的图像篡改检测方法中，大部分是对自然图像的篡改检测，双流FasterR
‑
CNN网络对图像进行端到端的训练，然后检测图像是否被篡改，双流中一个是RGB流，从RGB输入图像中提取特征，通过对比度差异、不自然边界等找出篡改的痕迹；另一个是噪声流，利用SRM(steganalysis rich model)模型的过滤层中提取噪声的特征，找出图像中真实区域和被篡改区域的噪声间的不一致，然后将从RGB流和噪声流中提取的特征用一个双线性池化层整合来进一步改进两种模式的空间共线性，该模型一方面是针对自然图像的篡改检测，另一方面，对copy
‑
move篡改检测效果较好，其他方式的篡改检测效果较差。现有提出的文档篡改检测中，有一种利用字符几何参数畸变或突变检测文件伪造的算法，该算法提出，在进行文档篡改时，篡改后的字符本身可能会发生倾斜，或者在水平与垂直位置上与其相邻字符的距离会发生变化，即位移变化，该方法首先利用光学字符识别(OCR)技术生成参考文档，并将其保存成与原始的扫描文档具有相同分辨率的图像格式，基于水平投影和垂直投影对参考文档和扫描文档图像中的字符进行分割，应用基准字符对文档图像进行对齐，并将扫描的文档图像的大小调整为与参考文档图像相同，应用傅里叶
‑
梅林变换计算每个字符的失真参数(包括旋转，水平位移，垂直位移)，然后计算失真概率，通过失真概率确定文档是否被篡改。该方法必须确保OCR识别准确并且基准字符的对齐必须精确，否则将会出现很大误差，当字符与基线的距离较大时，识别误差也会较大，所以此方法局限性较大。

技术实现思路

[0004]以解决上述
技术介绍
中提出的问题，本专利技术的目的在于提供一种基于注意力CNN
文档证件类图像篡改检测方法，其不仅可以检测文档是否被篡改，而且能够定位出篡改位置，可以针对多种篡改方式进行检测。
[0005]为解决上述技术问题，本专利技术提供的技术方案为：
[0006]一种基于注意力CNN文档证件类图像篡改检测方法，其具体方法为：设计了一种含注意力机制的深度卷积神经网络网络(CNN)结构，在网络结构中将多语义注意力机制的卷积神经网络加入到模型的框架中，增加对篡改边缘的关注，从而生成注意图，同时利用最大熵马尔科夫模型(MEMM)对注意图中相邻区域之间的相关性进行建模；在网络结构中，加入膨胀卷积(Dilated Convolution)，在不做pooling损失信息和相同的计算条件下，加大了感受野，让每个卷积输出都包含较大范围的信息，同时膨胀卷积还可以捕获多尺度的上下文信息；引入注意力机制卷积神经网络的整体框架有两个分支，两个分支网络在整个卷积层和全连接层中具有相同的权值参数和结构，训练阶段，用多个损失函数的集合进行训练；得到的初步检测结果是一张二值图，对二值图进行腐蚀膨胀处理得到最终结果。
[0007]作为改进，所述文档证件类图像篡改检测方法的具体步骤如下：
[0008]1)获得待检测的文档证件类图像；
[0009]2)将待检测文档证件类图像输入到预训练的引入注意力卷积神经网络(CNN)的模型中，待检测图像将会被分为独立的两部分被送入到网络中提取不同特征；
[0010]3)应用滑动窗口遍历整幅图像，对输入的待检测图像进行块分割，得到多个密集图像块，即子图像，分割的子图像输入到注意力网络1中；
[0011]4)将待检测图像(未进行分割的整幅图像)同时输入到注意力网络2中，在整个检测过程中，两个分支网络的结构和参数完全相同；
[0012]5)对输入到注意力网络1中的子图像进行局部提取特征，由于引入了注意力卷积神经网络，可以获得待检测图像的局部描述符还可以获得篡改处的边缘信息，即注意图，利用最大熵马尔科夫模型(MEMM)对注意图中相邻区域之间的相关性进行建模，在提取的所有层的特征中，选择每个子图像的最后一个卷积层的特征作为子图像的表达特征；在注意力网络2中对输入图像同样进行特征提取，获得整幅图像的全局特征；在模型中加入了膨胀卷积(Dilated Convolution)，在不降低空间分辨率的情况下增加感受野；
[0013]6)将注意力网络1提取的每个子图像的局部特征应用特征融合策略进行特征融合，获得全局特征来表示待测图像，得到可以用来做判别的图像特征；
[0014]7)将得到的最终表示待检测图像的特征通过Softmax分类器对像素进行判断是否被篡改，得到初始的判定，并进行标记，未被篡改标记为0，被篡改标记为1，生成一张二值图，如果得到的结果为所有像素点都未被篡改，即检测的图像是真实的，则输出一张全黑图像，即每个像素点都为0；
[0015]8)如果初始判定结果为文档被篡改，将得到的结果二值图进行先腐蚀后膨胀处理操作，去除噪声点和微小的孤立点区域结果的影响，得到最终检测结果，检测结果中，被篡改区域像素值为1，未被篡改区域像素为0，即白色为篡改区域，黑色为未被篡改区域。
[0016]作为改进，在文档证件类图像篡改检测的模型结构中，卷积神经网络(CNN)结构中没有池化(pooling)层，而是加入了空洞卷积(Atrous Convolution)，也被称为膨胀卷积(Dilated Convolution)，使用膨胀卷积在不做pooling损失信息和相同的计算条件下，加大了感受野，让每个卷积输出都包含较大范围的信息，同时膨胀卷积还可以捕获多尺度的
上下文信息，通过设置膨胀率参数，膨胀率不同，得到的感受野就不一样，也即获取了多尺度信息。
[0017]在进行模型的训练时，所有的训练数据均为文档证件类图像，并且是在数字经济领域频繁使用的，且具有多种篡改形式，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力CNN文档证件类图像篡改检测方法，其特征在于，包括以下方法：在网络结构中将多语义注意力机制的卷积神经网络加入到模型的框架中，增加对篡改边缘的关注，用于生成注意图，同时利用最大熵马尔科夫模型对注意图中相邻区域之间的相关性进行建模；在网络结构中，加入膨胀卷积，让每个卷积输出都包含较大范围的信息，同时膨胀卷积还可以捕获多尺度的上下文信息；引入注意力机制卷积神经网络的整体框架有两个分支，两个分支网络在整个卷积层和全连接层中具有相同的权值参数和结构，训练阶段，用多个损失函数的集合进行训练；得到的初步检测结果是一张二值图，对二值图进行腐蚀膨胀处理得到最终结果。2.根据权利要求1所述的一种基于注意力CNN文档证件类图像篡改检测方法，其特征在于，包括以下具体步骤：1)获得待检测的文档证件类图像；2)将待检测文档证件类图像输入到预训练的引入注意力卷积神经网络的模型中，待检测图像将会被分为独立的两部分被送入到网络中提取不同特征；3)应用滑动窗口遍历整幅图像，对输入的待检测图像进行块分割，得到多个密集图像块，即子图像，分割的子图像输入到注意力网络1中；4)将待检测图像同时输入到注意力网络2中，在整个检测过程中；5)对输入到注意力网络1中的子图像进行局部提取特征，获得待检测图像的局部描述符，还可以获得篡改处的边缘信息，...

【专利技术属性】
技术研发人员：王昌蒙，廖鑫，倪江群，孙宇豪，刘剑峰，
申请(专利权)人：东南数字经济发展研究院，
类型：发明
国别省市：