基于类激活热力图的图像篡改检测与定位的方法及系统技术方案

本发明专利技术公开了一种基于类激活热力图的图像篡改检测与定位的方法及系统，方法包括：基于COCO数据集，使用图像修复的算法构造物体消去，拼接以及复制

【技术实现步骤摘要】
基于类激活热力图的图像篡改检测与定位的方法及系统


[0001]本专利技术涉及多媒体信息安全
，尤其涉及一种基于类激活热力图的图像篡改检测与定位的方法及系统。

技术介绍

[0002]随着多媒体采集设备的快速发展和使用，人们迎来了多媒体信息爆炸的时代，几乎人人都有能力制作、传递大量的数字图像。与此同时，Photoshop、美图秀秀、美颜相机等图像编辑软件操作简单，导致了图像修改变得越来越容易，普通人也能很轻易地对图像进行加工和修改，并且随着技术的发展，伪造图像也变得越来越不易察觉，甚至能够以假乱真。在当今社会，所谓的“眼见为实”已经变得越来越不可信，当人们面对一张图像的时候，往往首先对图像的真实性存在怀疑。日常生活中人们对图像进行修改，往往是出于美化、娱乐的目的，这并不会带来不良影响，但是在有些情况下，被恶意篡改的图像经过传播，就会影响人们对客观事物的判断，有时甚至会对社会和国家造成不良的影响，因此，如何既准确又高效的检测数字图像是否被篡改并检测出篡改区域，对图像取证任务具有重要意义。
[0003]目前图像内容的篡改方式主要分为拼接，复制
‑
粘贴和基于图像修复的物体消去，这些操作会破坏原始图像的纹理和模式噪声，留下篡改痕迹，故可通过比较图像中特定指纹信息的不一致性或分析该图像中的某种统计特征是否被破坏来判断图像是否经过篡改并检测出篡改区域。目前图像篡改检测算法大致可以分为传统算法和深度学习算法，传统算法的特点是手工提取特征、建立模型、分析特征并分类，但传统方法通常都是采用手工设计的方式提取特征，这种基于手工设计的特征大多存在局限性，缺乏代表性，无法根据这些特征同时对多种篡改方式进行判定；深度学习的算法主要通过使用卷积神经网络模型，提取特征再分类，实现端到端自适应学习模式。但是目前的图像篡改检测算法大多只能针对一种或几种修改方式，特别是随着深度学习在图像修复领域的应用，基于图像修复的物体消除方式的修改方式检测起来更加困难。
[0004]因此，如何更加有效的对不同篡改方式实现篡改检测与定位，特别是基于各种图像修复算法的物体消除篡改方式的检测，以使篡改检测与定位具有更好的泛化能力，是一项亟待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于类激活热力图的图像篡改检测与定位的方法，能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种图像修复算法的物体消除篡改方式的检测，使得篡改检测与定位具有更好的泛化能力。
[0006]本专利技术提供了一种基于类激活热力图的图像篡改检测与定位的方法，包括：
[0007]基于COCO数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
[0008]基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图
像篡改数据集的图像篡改分类结果；
[0009]针对所述图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用ResNet50网络生成最终的篡改定位区域。
[0010]优选地，所述基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果，包括：
[0011]使用所述卷积神经网络对所述图像篡改数据集进行增强处理；
[0012]对增强处理后的图像篡改数据集进行特征提取；
[0013]基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0014]优选地，所述使用所述卷积神经网络对所述图像篡改数据集进行增强处理，包括：
[0015]使用所述卷积神经网络的卷积层提取纹理特征和边特征；
[0016]使用所述卷积神经网络的约束卷积层和SRM滤波器提取噪声域特征；
[0017]融合所述纹理特征、边特征和噪声域特征，得到融合特征。
[0018]优选地，所述对增强处理后的图像篡改数据集进行特征提取，包括：
[0019]使用所述卷积神经网络的5个卷积层和批标准化对所述融合特征进行特征提取，得到特征提取结果。
[0020]优选地，基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果，包括：
[0021]基于所述特征提取结果，使用所述卷积神经网络的平均池化层和全连接层，最后经过Softmax激活函数决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0022]一种基于类激活热力图的图像篡改检测与定位的系统，包括：
[0023]构造模块，用于基于COCO数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；
[0024]检测模块，用于基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果；
[0025]定位模块，用于针对所述图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用ResNet50网络生成最终的篡改定位区域。
[0026]优选地，所述检测模块包括：
[0027]增强单元，用于使用所述卷积神经网络对所述图像篡改数据集进行增强处理；
[0028]特征提取单元，用于对增强处理后的图像篡改数据集进行特征提取；
[0029]决策单元，用于基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0030]优选地，所述增强单元具体用于：
[0031]使用所述卷积神经网络的卷积层提取纹理特征和边特征；
[0032]使用所述卷积神经网络的约束卷积层和SRM滤波器提取噪声域特征；
[0033]融合所述纹理特征、边特征和噪声域特征，得到融合特征。
[0034]优选地，所述特征提取单元具体用于：
[0035]使用所述卷积神经网络的5个卷积层和批标准化对所述融合特征进行特征提取，得到特征提取结果。
[0036]优选地，所述决策单元具体用于：
[0037]基于所述特征提取结果，使用所述卷积神经网络的平均池化层和全连接层，最后经过Softmax激活函数决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。
[0038]综上所述，本专利技术公开了一种基于类激活热力图的图像篡改检测与定位的方法，当需要对图像进行篡改检测以及篡改位置定位时，基于COCO数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集，然后基于构造的卷积神经网络对图像篡改数据集进行图像篡改检测，得到图像篡改数据集的图像篡改分类结果；针对图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用ResNet50网络生成最终的篡改定位区域。本专利技术能够更加有效的实现对不同的篡改方式实现篡改检测与定位，特别是对基于各种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类激活热力图的图像篡改检测与定位的方法，其特征在于，包括：基于COCO数据集，使用图像修复的算法构造物体消去，拼接以及复制
‑
粘贴的图像篡改数据集；基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果；针对所述图像篡改分类结果，基于模型可解释性的方法找出图像中影响分类结果的像素并生成类激活热力图，使用ResNet50网络生成最终的篡改定位区域。2.根据权利要求1所述的方法，其特征在于，所述基于构造的卷积神经网络对所述图像篡改数据集进行图像篡改检测，得到所述图像篡改数据集的图像篡改分类结果，包括：使用所述卷积神经网络对所述图像篡改数据集进行增强处理；对增强处理后的图像篡改数据集进行特征提取；基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果。3.根据权利要求2所述的方法，其特征在于，所述使用所述卷积神经网络对所述图像篡改数据集进行增强处理，包括：使用所述卷积神经网络的卷积层提取纹理特征和边特征；使用所述卷积神经网络的约束卷积层和SRM滤波器提取噪声域特征；融合所述纹理特征、边特征和噪声域特征，得到融合特征。4.根据权利要求3所述的方法，其特征在于，所述对增强处理后的图像篡改数据集进行特征提取，包括：使用所述卷积神经网络的5个卷积层和批标准化对所述融合特征进行特征提取，得到特征提取结果。5.根据权利要求4所述的方法，其特征在于，基于提取到的特征决策出所述图像篡改数据集中被篡改的图像，以及被篡改图像的分类结果，包括：基于所述特征提取结果，使用所述卷积神经网络的平均池化层和全连接层，最后经过Softmax激活函数决策出所述...

【专利技术属性】
技术研发人员：李向阳，汪俊军，张兰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：