基于多元特征融合分割的图片伪造检测方法及系统技术方案

本发明专利技术提出一种基于多元特征融合分割的图片伪造检测方法和系统，通过提取图像中伪造区域的光照梯度、噪声分布、压缩一致性特征后，对其进行加权融合成一个新的综合特征，送入到专用的分割神经网络判断图像是否是伪造的，并标记出伪造区域，同时将多元融合特征与网络分割结果结合，给出伪造检测的解释性展示，在提高传统方法的准确率和普适性的同时，弥补了深度学习方法可解释性较低的不足。度学习方法可解释性较低的不足。度学习方法可解释性较低的不足。

【技术实现步骤摘要】
基于多元特征融合分割的图片伪造检测方法及系统


[0001]本专利技术涉及伪造检测
以及图像检测
，并特别涉及一种基于多元特征融合分割的图片伪造检测方法及系统。

技术介绍

[0002]随着手机、摄像机等数码设备的普及和多媒体技术的高速发展，数字图像的获取和生成变得越来越简单；同时由于网络信息全球化的发展，数字图像等多媒体信息已经遍布互联网的各个角落。相比于文字作为信息的载体，图像传递的信息更为直观且具有较高的可信度。但是这种可信度也在随着图像伪造技术的飞速发展而不断下降，伪造图像变得越来越难以用肉眼察觉，甚至已经能够达到以假乱真的程度。伪造图像对个人或社会都会造成巨大的影响，伪造图像可以战略性的用来影响公众舆论，激起观众强烈的情感反应，复制或强化意识形态。因此，如何检测伪造图像成为了近年来的研究热点。
[0003]国内外现有的伪造图像检测的研究方法，主要有传统方法和深度学习方法两种。
[0004]传统方法主要以成像原理等手工设计特征为依据进行鉴伪，如光照梯度、噪声分布、压缩一致性(error level analysis，ELA)、克隆检测、JEPG压缩检测等。基于传统的伪造图像检测方法大多是在图像块级别上进行伪造检测，通过比较不同块区域上的特征相似度判定图像的真实性，具有比较强的可解释性，但目前没有一种传统方法能够应对所有的图像伪造技术，通常只能针对某种特定的伪造方法进行检测，适用条件比较有限。
[0005]深度学习方式主要通过学习伪造图像和真实图像在像素级别的分布特征，图像局部和整体关系等维度上的区别来进行鉴伪。与传统方法不同，深度学习方法能够自动提取图片伪造特征，对于多尺度伪造区域检测具有较好的鲁棒性。由于深度学习模型训练过程中避免了人工调整参数，提取的特征相比于图像成像特征更为抽象，导致深度学习方法可解释性比较差，但是适用范围较广。

技术实现思路

[0006]本专利技术的目的是解决目前伪造检测技术中的不足，提出了一种基于多元特征融合分割的伪造检测方法，改进了传统检测方法中只能针对某种特定特征的问题，相比现有的伪造检测技术而言具有较高的准确率、普适性和可解释性，提升了伪造图像检测技术的性能。
[0007]针对现有技术的不足，本专利技术提出一种基于多元特征融合分割的图片伪造检测方法，其中包括：
[0008]步骤1、获取已标有伪造区域标签的训练图像，作为当前图像；
[0009]步骤2、根据该当前图像中各区域的压缩水平，提取压缩误差特征；提取该当前图像的噪声分布，得到噪声特征；根据该当前图像中光源光路，提取光照梯度特征；对该压缩误差特征、该噪声特征和该光照梯度特征，进行空间维度和通道维度的加权融合，得到多元融合特征；
[0010]步骤3、将该多元融合特征输入分割模型，得到分割结果特征图，并基于该分割结果特征图和该伪造区域标签构建损失函数，训练该分割模型，得到图片伪造检测模型；
[0011]步骤4、将待伪造检测图片作为当前图片，执行该步骤2，得到该待伪造检测图片的多元融合特征，输入该图片伪造检测模型，得到该待伪造检测图片的分割结果特征图，以判定该待伪造检测图片是否属于伪造图片。
[0012]所述的基于多元特征融合分割的图片伪造检测方法，其中还包括步骤4，将该待伪造检测图片的该多元融合特征和该分割结果特征图进行加权融合，以进行解释性结果展示。
[0013]所述的基于多元特征融合分割的图片伪造检测方法，其中该步骤2包括：
[0014]压缩误差特征提取步骤，根据预设压缩率，将该当前图像进行压缩得到低质量图像；根据该当前图像与该低质量图像各个通道上每个像素点的绝对值差，得到ELA特征图，并获得三个通道上绝对值差的最大值maxdiff；计算调节ELA图像亮度的scale值，scale＝255.0/max_diif；将ELA特征图F
ELA
归一化处理得到压缩误差特征F
ELA
，F
ELA
＝f_normal(F
ELA
+scale)，其中f_normal为归一化函数；
[0015]噪声特征提取步骤，将该当前图片输入SRM滤波器，基于多个滤波核对该当前图像进行滤波，得到该噪声特征F
SRM
：F
SRM
＝f_normal(filter(I
src
，k3，k2，k1))，其中filter为滤波操作，I
src
为该当前图像，k3，k2，k1均为滤波核；
[0016]光照梯度特征提取步骤，使用sobel核提取图像梯度，sobel核：
[0017][0018]利用sobel核分别对该当前图片进行滤波，得到x，y方向的梯度d
x
，d
y
：
[0019]d
x
＝filter(G
x
，I
src
)
[0020]d
y
＝filter(G
y
，I
src
)
[0021]分别对每个通道进行操作再合并，得到光照梯度特征F
GRAD
：
[0022]F
GRAD
＝concat(F
blue
，F
green
，F
red
)
[0023]其中，concat为通道堆叠，F
blue
，F
green
，F
red
分别为：
[0024]F
blue
＝f_normal(abs(d
x
+d
y
))
[0025][0026][0027]其中abs为求绝对值，max为取最大值。
[0028]所述的基于多元特征融合分割的图片伪造检测方法，其中该步骤2包括：
[0029]空间维度融合步骤，分别对该压缩误差特征、该噪声特征和该光照梯度特征求取空间权重F
S
：
[0030]F
S
＝σ(conv7×7(AVGPool(F)))
[0031]其中，AVGPool为平均池化操作，conv7×7为7x7卷积，σ为sigmoid函数，F为输入特
征，F
S
为空间注意力特征图；
[0032]将该压缩误差特征、该噪声特征和该光照梯度特征分别与对应空间权重相乘，再将对应通道相加得到空间融合注意力特征图F
SM
＝F
GRAD
F
SGRAD
+F
ELA
*F
S_ELA
+F
SRM
*F
S_SRM
；
[0033]通道维度融合步骤，对空间融合注意力特征图F
SM
求取通道权重F
CA
：
[0034]F
CA...

【技术保护点】

【技术特征摘要】
1.一种基于多元特征融合分割的图片伪造检测方法，其特征在于，包括：步骤1、获取已标有伪造区域标签的训练图像，作为当前图像；步骤2、根据该当前图像中各区域的压缩水平，提取压缩误差特征；提取该当前图像的噪声分布，得到噪声特征；根据该当前图像中光源光路，提取光照梯度特征；对该压缩误差特征、该噪声特征和该光照梯度特征，进行空间维度和通道维度的加权融合，得到多元融合特征；步骤3、将该多元融合特征输入分割模型，得到分割结果特征图，并基于该分割结果特征图和该伪造区域标签构建损失函数，训练该分割模型，得到图片伪造检测模型；步骤4、将待伪造检测图片作为当前图片，执行该步骤2，得到该待伪造检测图片的多元融合特征，输入该图片伪造检测模型，得到该待伪造检测图片的分割结果特征图，以判定该待伪造检测图片是否属于伪造图片。2.如权利要求1所述的基于多元特征融合分割的图片伪造检测方法，其特征在于，还包括步骤4，将该待伪造检测图片的该多元融合特征和该分割结果特征图进行加权融合，以进行解释性结果展示。3.如权利要求1所述的基于多元特征融合分割的图片伪造检测方法，其特征在于，该步骤2包括：压缩误差特征提取步骤，根据预设压缩率，将该当前图像进行压缩得到低质量图像；根据该当前图像与该低质量图像各个通道上每个像素点的绝对值差，得到ELA特征图，并获得三个通道上绝对值差的最大值max_diff；计算调节ELA图像亮度的scale值，scale＝255.0/max_diff；将ELA特征图F
ELA
归一化处理得到压缩误差特征F
ELA
，F
ELA
＝f_normal(F
ELA
+scale)，其中f_normal为归一化函数；噪声特征提取步骤，将该当前图片输入SRM滤波器，基于多个滤波核对该当前图像进行滤波，得到该噪声特征F
SRM
：F
SRM
＝f_normal(filter(I
src
，k3，k2，k1))，其中filter为滤波操作，I
src
为该当前图像，k3，k2，k1均为滤波核；光照梯度特征提取步骤，使用sobel核提取图像梯度，sobel核：利用sobel核分别对该当前图片进行滤波，得到x，y方向的梯度d
x
，d
y
：d
x
＝filter(G
x
，I
src
)d
y
＝filter(G
y
，I
src
)分别对每个通道进行操作再合并，得到光照梯度特征F
GRAD
：F
GRAD
＝concat(F
blue
，F
green
，F
red
)其中，concat为通道堆叠，F
blue
，F
green
，F
red
分别为：F
blue
＝f_normal(abs(d
x
+d
y
))
其中abs为求绝对值，max为取最大值。4.如权利要求1所述的基于多元特征融合分割的图片伪造检测方法，其特征在于，该步骤2包括：空间维度融合步骤，分别对该压缩误差特征、该噪声特征和该光照梯度特征求取空间权重F
S
：F
S
＝σ(conv7×7(AVGPool(F)))其中，AVGPool为平均池化操作，conv7×7为7x7卷积，σ为sigmoid函数，F为输入特征，F
S
为空间注意力特征图；将该压缩误差特征、该噪声特征和该光照梯度特征分别与对应空间权重相乘，再将对应通道相加得到空间融合注意力特征图F
SM
＝F
GRAD
F
S_GRAD
+F
ELA
*F
S_ELA
+F
SRM
*F
S_SRM
；通道维度融合步骤，对空间融合注意力特征图F
SM
求取通道权重F
CA
：F
CA
＝conv(σ(AVGPool(conv(F
SM
))))得到该多元融合特征F
SCM
＝F
CA
*F
SM
。5.一种基于多元特征融合分割的图片伪造检测系统，其特征在于，包括：初始模块，用于获取已标有伪造区域标签的训练图像，作为当前...

【专利技术属性】
技术研发人员：陈志鹏，曹娟，张旭，张传新，李锦涛，谢添，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：