基于类特征修复融合的图像取证对抗性攻击防御方法技术

本发明专利技术公开了一种基于类特征修复融合的图像取证对抗性攻击防御方法，包括：将含有对抗扰动的原始图像输入至基于卷积神经网络构建的分类模型中，并对提取特征图进行类特征可视化，基于可视化结果获取重构区域后，对重构区域进行特征修复，获得修复图像；原始图像去噪处理后得到去噪图像，融合修复图像和去噪图像，得到融合图像，依据融合图像的像素分布特征，选择图像质量高的若干个分类区域输入至分类模型中，将分类模型输出的最高分类概率作为防御后的类标。该方法能够提高深度学习模型鲁棒性并准确还原取证信息。

【技术实现步骤摘要】
基于类特征修复融合的图像取证对抗性攻击防御方法
本专利技术涉及数据安全领域，具体涉及一种基于类特征修复融合的图像取证对抗性攻击防御方法。
技术介绍
随着电子技术的飞速发展，数码相机及图像扫描设备迅速的普及，数字图像已广泛应用于人们的日常办公、学习及生活当中，在媒体宣传、军事情报、司法鉴定、科学发现等关键领域广泛应用。近年来由于深度学习模型的优越性能和稳定表现，它被应用于图像识别领域，在图像取证方面起到了重要作用。但深度学习模型易受到对抗性扰动而出现误判断。在计算机视觉领域的对抗性攻击算法如FGSM，DeepFool，BIM，JSMA等都能使深度学习模型分类错误。同时，通过特定技术伪造图像的源相机指纹，也能欺骗取证算法，如对抗性生成网络GAN和WGAN。随着数字图像篡改和伪造技术的泛滥和简易化，反取证技术使图像真实性和权威性面临着巨大的挑战，会给国家、军事和社会安全造成意想不到的危害。因此，图像取证领域的安全性，特别是基于深度学习的图像取证技术的安全性，引起了人们的重视，对图像取证中对抗攻击的防御措施也显得尤为重要。Chen等人使用简单的深度学习模型对输入图像进行中值滤波的预处理，去除图像内容对检测性能的影响，放大图像噪声信号来检测图像是否经过了中值滤波的篡改，详见文献JianshengChen,Medianfilteringforensicsbasedonconvolutionalneuralnetworks.2015。Bayer等人开发了约束卷积层，它能够联合抑制图像的内容并自适应地学习操作检测特征，对各种图像的篡改操作都有很好的检测效果，详见文献BelhassenBayar,ADeepLearningApproachToUniversalImageManipulationDetectionUsingANewConvolutionalLayer2016。Marra等人探索了一种基于光响应非唯一性的GAN生成图像检测方案来判断输入图像是否为GAN生成的，详见文献Marra,F.；Gragnaniello,D.；Verdoliva,L.；Poggi,G.DoGANsleaveartificialfingerprintsarXiv2018。但是，现有技术中至少存在以下缺点和不足：(1)这些防御方法只能检测图像是否被篡改或为伪造，而不能还原原始图像设备的指纹信息和类标。(2)这些防御方法难以区分对抗性扰动和图像设备指纹信息，在面对对抗性攻击时，经常不能取得较好的取证效果。(3)深度学习模型对于对抗性攻击的鲁棒性并没有得到提高。
技术实现思路
为了克服已有图像取证方法不能还原原始图像设备指纹信息、难以防御对抗性攻击的不足，本专利技术提供了一种基于类特征修复融合的图像取证对抗性攻击防御方法，该方法能够提高深度学习模型鲁棒性并准确还原取证信息。本专利技术解决其技术问题所采用的技术方案是：一种基于类特征修复融合的图像取证对抗性攻击防御方法，包括以下步骤：将原始图像输入至分类模型中，并对提取特征图进行类特征可视化，基于可视化结果获取重构区域后，对重构区域进行特征修复，获得修复图像；原始图像去噪处理后得到去噪图像，融合修复图像和去噪图像，得到融合图像，依据融合图像的像素分布特征，选择图像质量高的若干个分类区域输入至分类模型中，将分类模型输出的最高分类概率作为防御后的类标。与现有技术相比，本专利技术提供的有益效果至少包括：本专利技术提供的基于类特征修复融合的图像取证对抗性攻击防御方法，通过进行类特征可视化和获取重构区域能够在不破坏溯源指纹的情况下将对抗性扰动和图像的设备指纹成功分离，实现了扰动的滤除。对类特征进行修复和融合，在保留了大部分设备指纹的同时使对抗样本的类标正确还原。在识别时还应用了区域选择和分类投票的方式，进一步保证了防御后类标的准确性。在真实图像数据集上的实验结果表明，该算法具有良好的适用性和准确率，能够有效还原设备信息，输出对应原始类标，对对抗攻击有良好的防御效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是实施例提供的基于类特征修复融合的图像取证对抗性攻击防御方法的流程图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1是实施例提供的基于类特征修复融合的图像取证对抗性攻击防御方法的流程图。参见图1，实施例提供的基于类特征修复融合的图像取证对抗性攻击防御方法包括以下步骤：步骤1，初始化，将含有对抗扰动的原始图像作为对抗样本，并将对抗样本统一为同样尺寸，输入到基于卷积神经网络构建的分类模型中。步骤2，对特征图进行类特征可视化并找到重构区域。针对原始图像，首先计算出该输入原始图像的分类概率最大的前n类。在本实验中，n取6。实施例中，采用Grad-CAM来对特征进行可视化。Grad-CAM的工作流程如下：给定一张对抗样本和一个感兴趣类标作为输入，通过神经网络的前向传播机制，经过模型的CNN层，然后通过计算得到置信度分数和类别。除了期望的类别设置为1，其他所有的类均设置为0。定义Grad-CAM中第m个特征图对应第c个类别的权重为通过以下公式计算得到：其中，Z表示第m个特征图的像素总个数，yc表示第个c类别的得分梯度，表示第m个特征图中位置(i,j)处的像素值；将前n个类中的每一类别作为目标类按照公式(1)来计算特征类标的权重。对所有特征图对应的第c个类别的权重与像素值加权求和，得到位置(i,j)处针对第c个类别的热力图热力图作为可视化结果，热力区域代表了分类模型对输入图像针对第c个类别的感兴趣的区域，颜色从绿到红，特征的重要性依次递增。至此，能找到影响当前图像分类结果最大的区域，也是需要重构的区域。在选择重构区域时，从热力图中检测最高得分局部极大值p，使用局部极大值搜索算法来避免重叠检测，设定局部极大值p的邻域为w，将(2w+1)×(2w+1)区域内所有以所选局部极大值p为中心的图像像素值置0，其余像素点不做改动，具体公式如下：其中，表示热力图中位置(i,j)的像素值，位置(im,jm)表示所选局部极大值p的位置，(i,j)表示任意像素位置，|·|表示取绝对值；对n个类别对应的热力图均做步骤(3)处理，被置0的像素点集合作为重构区域，并令热力图中被置0的重构区域对应的M＝1，其他像素区域对应的M＝0。步骤3，修复重构区域。本实施例中，采用原始图像对像素值为0的重构区域进行特征修复，具体过程为：设定两个像素阈值γ1和γ2，其中本文档来自技高网...

【技术保护点】
1.一种基于类特征修复融合的图像取证对抗性攻击防御方法，其特征在于，包括以下步骤：/n将含有对抗扰动的原始图像输入至基于卷积神经网络构建的分类模型中，并对提取特征图进行类特征可视化，基于可视化结果获取重构区域后，对重构区域进行特征修复，获得修复图像；/n原始图像去噪处理后得到去噪图像，融合修复图像和去噪图像，得到融合图像，依据融合图像的像素分布特征，选择图像质量高的若干个分类区域输入至分类模型中，将分类模型输出的最高分类概率作为防御后的类标。/n

【技术特征摘要】
1.一种基于类特征修复融合的图像取证对抗性攻击防御方法，其特征在于，包括以下步骤：
将含有对抗扰动的原始图像输入至基于卷积神经网络构建的分类模型中，并对提取特征图进行类特征可视化，基于可视化结果获取重构区域后，对重构区域进行特征修复，获得修复图像；
原始图像去噪处理后得到去噪图像，融合修复图像和去噪图像，得到融合图像，依据融合图像的像素分布特征，选择图像质量高的若干个分类区域输入至分类模型中，将分类模型输出的最高分类概率作为防御后的类标。


2.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法，其特征在于，对提取特征图进行类特征可视化此过程为：
定义第m个特征图对应第c个类别的权重为通过以下公式计算得到：



其中，Z表示第m个特征图的像素总个数，yc表示第个c类别的得分梯度，表示第m个特征图中位置(i,j)处的像素值；
对所有特征图对应的第c个类别的权重与像素值加权求和，得到位置(i,j)处针对第c个类别的热力图



热力图作为可视化结果，热力区域代表了分类模型对输入图像针对第c个类别的感兴趣的区域，颜色从绿到红，特征的重要性依次递增。


3.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法，其特征在于，基于可视化结果获取重构区域的过程为：
从热力图中检测最高得分局部极大值p，使用局部极大值搜索算法来避免重叠检测，设定局部极大值p的邻域为w，将(2w+1)×(2w+1)区域内所有以所选局部极大值p为中心的图像像素值置0，其余像素点不做改动，具体公式如下：



其中，表示热力图中位置(i,j)的像素值，位置(im,jm)表示所选局部极大值p的位置，(i,j)表示任意像素位置，|·|表示取绝对值；
被置0的像素点集合作为重构区域，并令热力图中被置0的重构区域对应的M＝1，其他像素区域对应的M＝0。


4.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法，其特征在于，采用原始图像对像素值为0的重构区域进行特征修复，具体过程为：
设定两个像素阈值γ1和γ2，其中γ1＜γ2，遍历原始图像中的像素点，对像素值在[γ1,γ2]之外的像素点做变分处理，令需做变分处理的像素点xo及其周围邻域像素点矩阵为：



则像素点xo的变分如下：












其中，we,wn,ww,ws分别表示像素点xe,xn,xw,xs的变分系数，对像素点x...

【专利技术属性】
技术研发人员：陈晋音，陈若曦，蒋焘，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33