本发明专利技术公开了一种基于梯度信息的图像去雾模型攻击与防御方法。该方法首先对基于深度学习的去雾模型进行训练，然后通过反向传播算法计算扰动信息；将扰动信息添加到有雾图像上用于获得对抗样本，使得去雾模型输出的图像质量降低；设计了三种去雾模型的攻击算法，分别是基于原始去雾图像的攻击、基于掩码的攻击以及基于真实清晰图像的攻击；针对攻击算法设计了相应的防御算法，采用对抗性训练对去雾模型进行防御训练，增加去雾模型的安全性；防御训练过程中动态地生成对抗样本，通过最小化扰动去雾输出与清晰无雾图像之间的距离，提升去雾模型的鲁棒性。本发明专利技术可用于公共安全、信息安全、图像处理以及智能机器人任务。图像处理以及智能机器人任务。图像处理以及智能机器人任务。
【技术实现步骤摘要】
基于梯度信息的图像去雾模型攻击与防御方法
[0001]本专利技术涉及一种基于梯度信息的图像去雾模型的攻击与防御技术,属于计算机视觉与图像处理
技术介绍
[0002]图像数据是现代社会的重要信息载体，高质量的图像数据对信息的分享与使用具有重要的价值。雾天会对人类的生活与生产带来了诸多不利因素。雾天拍摄的图像存在一定的质量降低问题，对摄影、自动驾驶、道路监控等任务具有负面影响。图像去雾技术是计算机视觉与图像处理技术的重点研究方向。基于神经网络的图像去雾模型近年来已经得到充分的研究与关注，研究人员设计了多种有效的去雾算法用于去除雾天拍摄的图像中含有的雾气。
[0003]采用神经网络设计的去雾模型一般采用反向传播算法进行梯度计算，从而更新去雾模型的参数。然而，相关领域的研究表明基于神经网络的模型会受到攻击算法的影响，从而降低模型的性能。基于卷积神经网络的去雾模型的安全问题是亟待研究的。去雾模型的安全性研究主要分为攻击过程和防御过程。攻击过程中通过攻击算法降低去雾模型的表现，防御过程中去雾模型采用防御策略降低攻击算法带来的负面影响。Yu等人针对图像去雨任务进行了安全性的研究[Yu Yi,et al.Towards Robust Rain Removal Against Adversarial Attacks:A Comprehensive Benchmark Analysis and Beyond[C].Conference on Computer Vision and Pattern Recognition.2022:6013
‑
6022.]，但是该研究没有提供图像去雾模型的攻击与防御方法。
[0004]随着科学技术的不断发展，给图像去雾模型的安全性带来了更加深入的挑战。一方面，当前研究缺乏对图像去雾模型的在受到攻击时去雾表现如何变化的研究，无法对去雾模型的安全性进行量化分析。此外，当去雾模型受到攻击时，在保持模型的网络结构、推理速度与推理方式不变的情况下，如何进行有效地防御也是重要的研究挑战。因此，需要专利技术出针对去雾模型的攻击与防御方法，保证去雾模型的安全性。
技术实现思路
[0005]为解决上述问题，本专利技术公开了基于梯度信息的图像去雾模型的攻击与防御方法，针对基于卷积神经网络的去雾模型设计攻击与防御算法，从而提升去雾模型的安全性与鲁棒性。所设计的攻击算法可以动态地生成扰动信息，通过将扰动信息添加到有雾图像，可以降低去雾模型的输出图像的峰值信噪比与结构相似性；攻击算法的攻击幅度是可控的，不同的参数配置下可以获得不同的攻击效果。所设计的防御算法能够降低攻击算法对去雾模型带来的负面影响，提升去雾模型的鲁棒性；去雾模型的防御仅在训练过程中进行，不会增加去雾模型的参数数量，也不会增加去雾模型部署后的实际推理过程所需要的计算资源与计算时间。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]第一方面，训练去雾网络并进行攻击与防御的方案如下：
[0008]步骤S1：训练基于卷积神经网络的去雾模型F
θ
，其中θ代表去雾模型的参数；将有雾图像I作为去雾模型F
θ
的输入，获取原始的去雾图像J
p
＝F
θ
(I)。
[0009]步骤S2：攻击过程的目标是降低去雾图像的质量，攻击过程中首先将扰动信息δ添加到有雾图像I中得到对抗样本I
δ
＝I+δ，然后将对抗样本作为去雾模型的输入，所获得的扰动去雾输出为
[0010]步骤S3：防御过程的目标是在不改变模型结构的情况下，通过对抗性训练对去雾网络的参数进行微调，获得安全性与鲁棒性更高的去雾模型，从而提升扰动去雾输出的质量。
[0011]第二方面，攻击过程采用梯度优化算法实现，实现方案如下：
[0012]步骤S4：攻击目标函数L
att
的计算方式如下：
[0013][0014]上式中X代表攻击者所使用的参考图像；R代表质量度量方式，用于衡量与X之间的距离。根据攻击目标函数L
att
，可以设计三种攻击方式。第一种方式是将去雾网络获得的原始去雾图像J
p
作为参考图像X，第二种方式是使用原始去雾图像J
p
作为参考图像X并采用掩码进行部分遮挡的攻击，第三种方式是将真实的无雾图像J作为参考图像X。
[0015]第三方面，攻击过程中，通过迭代的方式对扰动信息δ进行动态更新与约束，方案如下：
[0016]步骤S5：用于攻击去雾模型的扰动信息δ通过均匀分布进行初始化，为了保证扰动信息添加到有雾图像后不易被发现，初始化的数值范围是[
‑
∈,∈]，扰动信息δ需要满足‖δ‖
∞
<ε，其中∈代表数值边界。扰动信息δ的更新过程需要计算反向传播过程的梯度信息，并对扰动信息δ进行如下更新：
[0017][0018]上式中t代表更新过程的迭代次数，α为更新过程的步长，sgn为符号函数，代表梯度计算过程。此外，为了进一步地约束δ，需要保证扰动信息δ和有雾图像I的求和结果约束在八位图像的最大数值范围内，即区间[0,255]以内。
[0019]第四方面，可以设计三种不同的攻击目标函数，步骤如下：
[0020]步骤S6：采用模型原始的去雾图像J
p
作为参考图像X时，攻击者的目标是增大扰动去雾输出F
θ
(I
δ
)与原始去雾图像J
p
的距离，攻击目标函数为：
[0021]L
P
＝R(F
θ
(I
δ
),J
p
)
[0022]步骤S7：攻击者可以针对图像的部分区域进行攻击，此时可以采用攻击掩码(mask)控制扰动信息δ的作用区域，从图像中选择部分像素进行攻击。针对含有三个颜色通道的尺寸为H
×
W
×
C图像数据，其中H、W与C分别代表图像的长度、宽度与通道数量，首先通过原始有雾图像I与原始去雾图像J
p
计算均值u如下：
[0023][0024]然后，对于原始有雾图像I中的每个像素位置(m,n)，如果该像素位置存在任意通道k上的像素值满足I(m,n,k)
‑
J
p
(m,n,k)>u，则mask在该位置的取值为1，否则mask在该位置的取值为0。扰动计算过程中采用逐元素乘法运算“*”,可获得基于掩码的攻击目标函数为：
[0025]L
M
＝R(F
θ
(I+δ*mask),J
p
)
[0026]步骤S8：将真实无雾图像J作为参考图像X时，攻击的目标是增加扰动去雾输出F
θ
(I
δ
)与真实无雾图像J之间的距离，攻击目标函数为：
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于梯度信息的图像去雾模型攻击与防御方法，其特征在于，包括以下步骤：步骤1：训练基于卷积神经网络的去雾模型F
θ
，其中θ代表去雾模型的参数；将有雾图像I作为去雾模型F
θ
的输入，获取原始的去雾图像J
p
＝F
θ
(I)；步骤2：攻击过程的目标是降低去雾图像的质量，攻击过程中首先将扰动信息δ添加到有雾图像I中得到对抗样本I
δ
＝I+δ，然后将对抗样本作为去雾模型的输入，所获得的扰动去雾输出为步骤3：防御过程的目标是在不改变模型结构的情况下，通过对抗性训练对去雾网络的参数进行微调，获得安全性与鲁棒性更高的去雾模型，从而提升扰动去雾输出的质量。2.根据权利要求1所述的一种基于梯度信息的图像去雾模型攻击与防御方法，其特征在于，所述步骤2中：攻击过程采用梯度优化算法实现，攻击目标函数L
att
的计算方式如下：上式中X代表攻击者所使用的参考图像；R代表质量度量方式，用于衡量与X之间的距离。根据攻击目标函数L
att
，可以设计三种攻击方式。第一种方式是将去雾网络获得的原始去雾图像J
p
作为参考图像X，第二种方式是使用原始去雾图像J
p
作为参考图像X并采用掩码进行部分遮挡的攻击，第三种方式是将真实的无雾图像J作为参考图像X。3.根据权利要求1所述的一种基于梯度信息的图像去雾模型攻击与防御方法，其特征在于，所述步骤2中：攻击过程中，通过迭代的方式对扰动信息δ进行动态更新与约束。用于攻击去雾模型的扰动信息δ通过均匀分布进行初始化，为了保证扰动信息添加到有雾图像后不易被发现，初始化的数值范围是[
‑
∈,∈]，扰动信息δ需要满足‖δ‖
∞
<ε，其中∈代表数值边界；扰动信息δ的更新过程需要计算反向传播过程的梯度信息，并对扰动信息δ进行如下更新：上式中t代表更新过程的迭代次数，α为更新过程的步长，sgn为符号函数，代表梯度计算过程。此外，为了进一步地约束δ，需要保证扰动信息δ和有雾图像I的求和结果约束在八位图像的最大数值范围内，即区间[0,255]以内。4.根据权利要求1所述的一种基于梯度信息的图像去雾模型攻击与防御方法，其特征在于：设计三种不同的攻击目标函数；第一，采用模型原始的去雾图像J
p
作为参考图像X时，攻击者的目标是增大扰动去雾输出F
θ
(I
δ
)与原始去雾图像J
p
的距离，攻击目标函数为：L
P
＝R(F
θ
(I
δ
),J
p
)第二，攻击者可以针对图像的部分区域进行攻击，此时可以采用攻击掩码(mask)控...
【专利技术属性】
技术研发人员：桂杰，丛晓峰，
申请(专利权)人：东南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。