基于多尺度交互和跨特征对比学习的图像篡改检测方法技术

本发明专利技术属于图像检测技术领域，提供了一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，能够在图像伪造数据集以及不和谐化数据集进行定位。包括以下步骤：构建输入图像，将待定位图像输入到骨干网络中提取特征；多尺度特征交互得到多阶段特征；不和谐区域的像素设为正例，将背景像素设为负例，同时将采样到每个特征大小进行正负的特征向量的选择，根据正样本的数量对负样本进行随机采样，将采样得到的特征向量进行对比学习损失约束，同时将多阶段的特征进行正负样本的混合进行对比学习损失约束；将相邻特征两两融合，通过特征的收缩注意来完成特征的融合；多损失函数联合训练。练。练。

【技术实现步骤摘要】
基于多尺度交互和跨特征对比学习的图像篡改检测方法


[0001]本专利技术涉及一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，属于图像检测


技术介绍

[0002]随着人们生活水平的提高，多媒体已经渗透到各个领域，数字图像已经成为媒体传播的重要载体。然而，随着越来越多的图像编辑工具的出现，操纵图像也变得越来越容易。图像编辑会导致原始信息被曲解，容易造成恐慌、干扰等问题，相对于复杂的篡改方法，简单的伪造技术如图像拼接等方法数量巨大，应用最为广泛，而这种简单的拼接技术往往会由于相机导致图像伪造的区域与整体区域产生光照统计上的不一致，我们将它们称为不和谐区域，而随着互联网的发展，这种不和谐图像的产生日益增多，传播迅速，占有主体地位，而目前对于图像伪造领域检测方法中，由于篡改类型种类繁多，篡改方式不停的迭代，关于通用篡改中伪造先验的共性信息很难得到有效的定义，我们希望化繁为简，仅针对这种存在颜色差异明显线索的不和谐图像进行定位，即通过目前最广泛也是最容易产生的颜色伪造的差异信息来寻找伪造区域的共性信息进行不和谐伪造区域的定位。同时也进一步帮助图像篡改定位实现优越的性能，图像不和谐定位可以说是图像篡改定位的子任务之一。目前有的方法使用多尺度信息来挖掘不和谐区域，但是这种方法仅仅是对于语义分割的延伸，并没有针对不和谐定位任务设计，也存在方法根据光照不一致来增大图像前景与背景的差异，但是在特征提取定位网络却没有任何改善，我们认为不和谐区域还是经过预操作产生的，本质上还是伪造的区域，这些区域之间还是会存在某种共性信息，我们希望探索这种信息来进行定位。

技术实现思路

[0003]本专利技术目的是提供了一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，能够有效地在图像伪造数据集以及不和谐化数据集进行定位。
[0004]本专利技术为实现上述目的，通过以下技术方案实现：一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，包括以下步骤：S1.构建输入图像，将待定位图像输入到骨干网络中提取特征：原始图像同时随机添加图像抖动，作为主干网络的输入，将不同尺度大小的图像与特征提取的网络权重共享，放入骨干网络，在四个阶段分别提取图像特征，其中每个阶段在三个输入的情况下产生三个大中小的特征；S2.多尺度特征交互得到多阶段特征：将每个阶段的三个特征进行多尺度特征交互，大特征进行下采样，小特征进行上采样得到同样的大小，通过多尺度权重约束相加得到最终的特征；S3.跨特征对比学习：将GroundTruth中不和谐区域的像素设为正例，将背景像素设为负例，同时将
GroundTruth下采样到每个特征大小进行正负的特征向量的选择，根据正样本的数量对负样本进行随机采样，将采样得到的特征向量进行对比学习损失约束，同时将多阶段的特征进行正负样本的混合进行对比学习损失约束；4）特征收缩融合解码：将相邻特征两两融合，通过特征的收缩注意来完成特征的融合；5）多损失函数联合训练：最后解码得到最终的预测图像与GroundTruth做像素级的损失监督，与对比学习联合训练优化网络。
[0005]上述的基于多尺度交互和跨特征对比学习的图像篡改检测方法基础上，图像提取特征构建具体如下：将图像通过尺寸调整，随机翻转，随机旋转，对比度调整后，作为网络的输入，输入尺寸分别为H
×
W，W为图片宽度，H为图片高度，单位是像素，在输入过程中，为了寻找尺度间的差异，将输入图像除以0.5得到低分辨率图像，同时将输入图像乘以1.5得到高分辨率图像，这三种不同分辨率、不同尺度的图像共同输入到骨干网络中来提取不同阶段的特征，同时共享参数，最后在四个提取阶段都会产生三个尺度不一的特征。
[0006]上述的基于多尺度交互和跨特征对比学习的图像篡改检测方法基础上，所述多尺度特征交互具体步骤如下：将每一阶段的三个特征做同样的操作，其中将1.5x图像的特征分别通过平均池化以及最大池化相加的方式进行下采样到输入图像特征的大小，同时将0.5x图像的特征通过双线性插值的方式进行上采样到输入图像特征的大小，接下来将特征进行拼接以及两层卷积块并进行softmax函数来自动学习获得每个尺度特征的权重，加权求和得到三个尺度融合后的特征。
[0007]上述的基于多尺度交互和跨特征对比学习的图像篡改检测方法基础上，所述跨特征对比学习具体如下：将GroundTruth通过最近邻方法下采样到每个特征相同的大小；通过映射的方式使用GroundTruth找到特征图上不和谐伪造像素和背景像素的特征向量，接下来对每个批次中每个图像中两个类别进行随机采样；设5为阈值，当特征向量的个数小于5的时候，此图像的类别进行舍弃，大于5的时候，随机采样，选取5个相关特征向量，将这个batch里所有的和谐像素特征向量和背景像素特征向量进行同类别的组合，最终根据4个特征得到四个特征集，在每个特征集中实现跨图像的对比学习，对比损失如下：其中接下来将A1和A4以及A1和A3分别进行跨尺度对比学习。
[0008]上述的基于多尺度交互和跨特征对比学习的图像篡改检测方法基础上，特征收缩融合解码器具体如下：四个特征F1,F2,F3,F4中，我们通过F1与F2，F2与F3，F3与F4两两收缩
融合，一直持续融合到为一个特征最后通过卷积上采样输出最终结果。
[0009]上述的基于多尺度交互和跨特征对比学习的图像篡改检测方法基础上，基于多尺度交互和跨特征对比学习网络的目标函数构建具体如下：由于在不和谐化定位中，样本不平衡，和谐区域小于非和谐区域，由此像素监督损失由dice以及focal组成，将像素分割损失以及对比损失进行组合，由此总损失函数定位如下：其中G表示GroundTruth，表示每一阶段的预测图像，表示像素预测的概率值，表示自定义参数，设为1，设为0.3，表示并集，表示并集，为对比损失。
[0010]本专利技术的优点在于：多尺度信息联合在一起通过对比学习探索光照伪造的共性特征，解码通过层层的放缩对特征进行有效的融合，充分挖掘不和谐与和谐区域之间的潜在关系。
附图说明
[0011]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0012]图1为本专利技术的结构图；图2为本专利技术模型性能展示。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]如图1所示，为本专利技术的基于多尺度交互和跨特征对比学习的图像篡改检测方法的操作流程图，该方法的实现步骤细节如下：步骤一、构建输入图像，将待定位图像输入到骨干网络中提取特征所述构建多尺度具体操作如下，我们将输入图像通过尺寸调整，随机翻转，随机旋转，对比度调整后，作为网络的输入，输入尺寸分别为H
×
...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度交互和跨特征对比学习的图像篡改检测方法，其特征在于，包括以下步骤：S1.构建输入图像，将待定位图像输入到骨干网络中提取特征：原始图像同时随机添加图像抖动，作为主干网络的输入，将不同尺度大小的图像与特征提取的网络权重共享，放入骨干网络，在四个阶段分别提取图像特征，其中每个阶段在三个输入的情况下产生三个大中小的特征；S2.多尺度特征交互得到多阶段特征：将每个阶段的三个特征进行多尺度特征交互，大特征进行下采样，小特征进行上采样得到同样的大小，通过多尺度权重约束相加得到最终的特征；S3.跨特征对比学习：将GroundTruth中不和谐区域的像素设为正例，将背景像素设为负例，同时将GroundTruth下采样到每个特征大小进行正负的特征向量的选择，根据正样本的数量对负样本进行随机采样，将采样得到的特征向量进行对比学习损失约束，同时将多阶段的特征进行正负样本的混合进行对比学习损失约束；4）特征收缩融合解码：将相邻特征两两融合，通过特征的收缩注意来完成特征的融合；5）多损失函数联合训练：最后解码得到最终的预测图像与GroundTruth做像素级的损失监督，与对比学习联合训练优化网络。2.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法，其特征在于：图像提取特征构建具体如下：将图像通过尺寸调整，随机翻转，随机旋转，对比度调整后，作为网络的输入，输入尺寸分别为H
×
W，W为图片宽度，H为图片高度，单位是像素，在输入过程中，为了寻找尺度间的差异，将输入图像除以0.5得到低分辨率图像，同时将输入图像乘以1.5得到高分辨率图像，这三种不同分辨率、不同尺度的图像共同输入到骨干网络中来提取不同阶段的特征，同时共享参数，最后在四个提取阶段都会产生三个尺度不一的特征。3.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法，其特征在于，所述多尺度特征交互具体步骤如下：将每一阶段的三个特征做同样的操作，其中将1.5x图像的特征分别通过平均池化以...

【专利技术属性】
技术研发人员：高赞，陈圣灏，李传森，张蕊，李华刚，郝敬全，
申请(专利权)人：山东中联视听信息科技股份有限公司青岛海尔智能技术研发有限公司泰华智慧产业集团股份有限公司，
类型：发明
国别省市：