多视角多尺度图像篡改检测方法技术

本发明专利技术涉及一种多视角多尺度图像篡改检测方法以解决现有图像篡改检测算法图片级误报多、泛化性差的问题。本发明专利技术所采用的技术方案是：获取待检测的RGB图像；将RGB图像输入经训练的多视角多尺度监督篡改图像检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；所述多视角多尺度监督篡改图像检测模型，包括：边缘约束模块、噪声感应模块、深度注意力模块和双注意力模块。本发明专利技术适用于计算机视觉中的图像篡改检测领域。计算机视觉中的图像篡改检测领域。计算机视觉中的图像篡改检测领域。

【技术实现步骤摘要】
多视角多尺度图像篡改检测方法


[0001]本专利技术涉及一种多视角多尺度图像篡改检测方法。适用于计算机视觉中的图像篡改检测领域。

技术介绍

[0002]目前，图像篡改检测的顶级算法往往因语义特征的干扰而导致泛化性差，并且对真实图片有很严重的误报，缺乏在真实图像篡改检测场景下的实用性。
[0003]图像篡改检测主要依靠识别篡改区域与非篡改区域间的非语义差异，如噪声差异、分辨率差异等。然而自然图像中的前景与背景之间也常存在类似明显的差异边界，如清晰的聚焦点与模糊的非聚焦点之间存在明显的景深差异。实验观察表明，现有的图片篡改检测模型在常在景深差异显著的图像中产生大量误报漏报。
[0004]图像篡改检测任务可分为图像级篡改检测和像素级篡改检测两个子任务。其中，图像级篡改检测任务以得到待检测图片是否经过篡改的二元预测为目标，属于图像级的分类任务；像素级篡改检测以被篡改图像的篡改区域定位为目标，常被归为图像分割任务。目前顶级的深度学习图像篡改检测方法多着眼于像素级图像篡改检测。在一般的图像分割模型基础上，现有方法主要引入了边缘监督信息]和噪声流特征以提取有利于本任务的语义无关特征。
[0005]在边缘监督信息的应用中，Salloum等人将浅层特征叠加在深层特征上进而生成篡改边缘预测图，从而利用了浅层特征具有的局部细节信息。Zhou等人同样采用边缘监督来提升模型的特征提取能力，他们将浅层特征与深层特征沿通道维连接来完成多级特征的结合。
[0006]在噪声流特征的应用中，Zhou等人通过SRM核提取图片的噪声信息，在Faster R
‑
CNN的基础上引入了噪声流作为RGB流的补充，并通过双线性池化完成双流的后融合。Wu等人分别通过Bayar卷积核和SRM核提取噪声信息，并将其与RGB流特征沿通道维连接后输入后续特征提取器中。Li&Huang通过高通滤波器组提取图片噪声作为特征提取器输入，并提出了专门针对生成类篡改的篡改检测算法。

技术实现思路

[0007]本专利技术要解决的技术问题是：针对上述存在的问题，提供一种多视角多尺度图像篡改检测方法，以解决现有图像篡改检测算法图片级误报多、泛化性差的问题。
[0008]本专利技术所采用的技术方案是：一种多视角多尺度图像篡改检测方法，其特征在于：
[0009]获取待检测的RGB图像；
[0010]将RGB图像输入经训练的多视角多尺度监督篡改图像检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
[0011]所述多视角多尺度监督篡改图像检测模型，包括：
[0012]边缘约束模块，用于根据RGB图像生成边缘预测图，及从RGB图像提取RGB流特征；
[0013]噪声感应模块，用于从RGB图像提取噪声特征并输出与RGB流特征同维度的噪声流特征；
[0014]深度注意力模块，用于从预先估计的深度图中提取不连续区域特征，使用sigmoid函数约束到0
‑
1并作为权重作用到边缘约束模块中的RGB流特征图上；
[0015]双注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与噪声流特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像。
[0016]所述边缘约束模块以RGB图像作为输入，经过四个ResNet50特征提取模块进行RGB特征提取，提取出RGB流特征；
[0017]每级ResNet50特征提取模块提取出的RGB特征输入Sobel层和边缘残差模块提取边缘特征，浅层的边缘特征叠加到下一层的边缘特征并经由另一个边缘残差模块后逐级向下叠加，生成边缘预测图。
[0018]所述噪声感应模块以RGB图为输入，经由Bayar卷积核提取噪声图后经过四个ResNet50特征提取模块进行噪声特征提取并输出与RGB流特征同维度的噪声流特征。
[0019]所述深度注意力模块以预先估计的深度图为输入，经过注意力层提取深度图中不连续区域特征，使用sigmoid函数约束到0
‑
1并作为权重作用到所述边缘约束模块中第二个ResNet50特征提取模块提取的RGB流特征图上；
[0020]边缘约束模块中经过深度注意力模块作用的RGB流特征与原始RGB流特征叠加后输入后续特征提取模块。
[0021]关注篡改区域边界的RGB流特征与噪声流特征沿通道维进行拼接后经过由通道注意力模块和空间注意力模块构成的双注意力模块进行特征选择和融合并生成像素级篡改区域预测图像，像素级篡改区域预测图经过全局平均池化后得到图像级预测分数。
[0022]一种多视角多尺度图像篡改检测装置，其特征在于，包括：
[0023]图像获取模块，用于获取待检测的RGB图像；
[0024]模型检测模块，用于将RGB图像输入经训练的多视角多尺度监督篡改图像检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；
[0025]所述多视角多尺度监督篡改图像检测模型，包括：
[0026]边缘约束模块，用于根据RGB图像生成边缘预测图，及从RGB图像提取RGB流特征；
[0027]噪声感应模块，用于从RGB图像提取噪声特征并输出与RGB流特征同维度的噪声流特征；
[0028]深度注意力模块，用于从预先估计的深度图中提取不连续区域特征，使用sigmoid函数约束到0
‑
1并作为权重作用到边缘约束模块中的RGB流特征图上；
[0029]双注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与噪声流特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像。
[0030]一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述的多视角多尺度图像篡改检测方法的步骤。
[0031]一种多视角多尺度图像篡改检测设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述的多视角多尺度图像篡改检测方法的步骤。
[0032]本专利技术的有益效果是：现有图像篡改检测算法采用的边缘约束具有不能有效指导
深层特征的学习的风险，本专利技术应用新的边缘约束模块，使得模型通过对篡改区域边缘的有效关注进一步提升篡改区域的定位能力。现有算法采用的多视角特征融合技术忽视了不同视角特征可能具有的特异性模态，或忽视了特征融合过程的灵活性，因此限制了多视角特征融合的潜力，本专利技术采用双注意力模块解决这一问题。现有深度学习算法多关注篡改图像上的分割问题而忽视现实场景下的真图误报问题，本专利技术提出了多尺度监督算法，克服了分割损失在真图场景难以应用的问题。现有算法未考虑景深信息对于图像篡改检测的作用，本专利技术利用景深信息进一步提高算法性能。
[0033]本专利技术通过由浅到深的特征逐层结合，在结合深层特征和包含细节局部特征的浅层信息的同时，保证边缘监督对于深层特征学习的有效指导；本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角多尺度图像篡改检测方法，其特征在于：获取待检测的RGB图像；将RGB图像输入经训练的多视角多尺度监督篡改图像检测模型，模型给出篡改/真实的二分类预测结果和篡改区域的分割预测图；所述多视角多尺度监督篡改图像检测模型，包括：边缘约束模块，用于根据RGB图像生成边缘预测图，及从RGB图像提取RGB流特征；噪声感应模块，用于从RGB图像提取噪声特征并输出与RGB流特征同维度的噪声流特征；深度注意力模块，用于从预先估计的深度图中提取不连续区域特征，使用sigmoid函数约束到0
‑
1并作为权重作用到边缘约束模块中的RGB流特征图上；双注意力模块，由通道注意力模块和空间注意力模块构成，用于在RGB流特征与噪声流特征沿通道维进行拼接后对特征选择和融合并生成像素级篡改区域预测图像。2.根据权利要求1所述的多视角多尺度图像篡改检测方法，其特征在于：所述边缘约束模块以RGB图像作为输入，经过四个ResNet50特征提取模块进行RGB特征提取，提取出RGB流特征；每级ResNet50特征提取模块提取出的RGB特征输入Sobel层和边缘残差模块提取边缘特征，浅层的边缘特征叠加到下一层的边缘特征并经由另一个边缘残差模块后逐级向下叠加，生成边缘预测图。3.根据权利要求1所述的多视角多尺度图像篡改检测方法，其特征在于：所述噪声感应模块以RGB图为输入，经由Bayar卷积核提取噪声图后经过四个ResNet50特征提取模块进行噪声特征提取并输出与RGB流特征同维度的噪声流特征。4.根据权利要求3所述的多视角多尺度图像篡改检测方法，其特征在于：所述深度注意力模块以预先估计的深度图为输入，经过注意力层提取深度图中不连续区域特征，使用sigmoid函数约束到0
‑
1并作为权重作用到所述边缘约束模块中第二个ResNe...

【专利技术属性】
技术研发人员：曹娟，李锡荣，董程博，陈欣茹，谢添，
申请(专利权)人：杭州中科睿鉴科技有限公司，
类型：发明
国别省市：