一种面向多模态遥感图像分类网络的对抗攻击方法技术

本发明专利技术公开了一种面向多模态遥感图像分类网络的对抗攻击方法，对具有三个波段的光学遥感图像TOP和一个波段的数字高程模型图像DSM这两个遥感图像数据源，提出一种面向多模态遥感图像分类网络的对抗攻击技术，攻击效果更显著，攻击时间效率更高，以用于评估和提高多模态遥感图像分类网络的鲁棒性。多模态遥感图像分类网络的鲁棒性。多模态遥感图像分类网络的鲁棒性。

【技术实现步骤摘要】
一种面向多模态遥感图像分类网络的对抗攻击方法


[0001]本专利技术属于图像处理
，具体涉及一种面向多模态遥感图像分类网络的对抗攻击方法。

技术介绍

[0002]遥感图像分类仍然是遥感领域一项具有挑战的任务。近年来，随着航空航天技术的飞速发展，产生了大量的不同传感器的遥感图像，结合多个传感器图像对地物进行有效分类成为研究的热点。多模态遥感图像对地物覆盖有不同的观测结果，例如正射摄(TOP)图像表达了遥感场景的高空间分辨率信息，数字地表模型(DSM)图像提供了地物的高度信息。基于多模态遥感数据的优点提出的多模态遥感图像分类方法可以有效的减少分类任务中的不确定性。近年来，深度神经网络被广泛引入多模态遥感图像分类任务中。与单模态遥感图像分类方法相比，多模态遥感图像分类方法能够有效利用两种模态之间的相关性，实现更高的分类精度。
[0003]近年来深度神经网络的脆弱性也引起了学者的广泛关注。给原始的干净样本添加微小的、人眼无法辨别的扰动，就能使深度神经网络以较高的置信度产生错误的预测，这种被添加扰动的样本称为对抗样本，生成对抗样本的过程被称为对抗攻击。因此，需要使网络更加鲁棒，就需要预先了解网络所面临的所有风险，寻找到更具有攻击性能的对抗样本。目前已经提出了各种攻击方法来生成对抗样本，如快速梯度符号法(Fast Gradient Sign Method，FGSM)，迭代快速梯度符号法(Itersative FGSM，I
‑
FGSM)，基于优化目标函数的C&W算法、DeepFool算法等，但是现有对抗攻击技术只考虑单一模态下的攻击效果，缺乏对多模态分类网络的攻击实现。在对多模态遥感图像分类网络进行攻击时，不仅需要考虑攻击的成功率、扰动的隐蔽性、以及攻击的时效性，同时也需要考虑不同模态之间的协同攻击能力。因此，针对多模态遥感图像分类网络，需要生成高质量的多模态对抗样本，进一步评估和提高多模态遥感图像分类网络的鲁棒性。

技术实现思路

[0004]本专利技术的目的是提供一种面向多模态遥感图像分类网络的对抗攻击方法，攻击效果更显著，攻击时间效率更高。
[0005]本专利技术采用以下技术方案：一种面向多模态遥感图像分类网络的对抗攻击方法，包括以下步骤：
[0006]步骤一、构造多模态训练样本集T和测试样本集S；
[0007]步骤二、将步骤一中的练样本集T和测试样本集S输入待攻击的目标模型f；
[0008]步骤三、根据步骤二中的待攻击的目标模型f构建目标攻击类t；
[0009]步骤四、搭建多模态对抗攻击网络；多模态对抗攻击网络由各模态的扰动生成网络和鉴别器网络组成；
[0010]步骤五、多模态对抗样本生成；
[0011]步骤六、将步骤五中的多模态对抗样本分别输入到其对应的扰动生成网络、鉴别器网络和目标模型f中，构造多模态生成损失函数和多模态鉴别损失函数；
[0012]步骤七、分别对步骤六中的多模态生成损失函数和多模态鉴别损失函数交替训练，更新各扰动生成网络和鉴别网络，完成多模态对抗攻击网络的训练；
[0013]步骤八、将测试样本输入到步骤七中的多模态对抗攻击网络中，生成对应的测试对抗样本。
[0014]进一步地，在步骤八后，还包括步骤九，如下：将训练样本输入到多模态对抗攻击网络中，得到训练样本的对抗样本，并将训练样本的对抗样本加入到训练样本集中，对步骤二中目标模型f重新进行训练；重复步骤三～步骤八。
[0015]进一步地，该多模态为光学遥感图像和数字高程模型图像。
[0016]进一步地，构造多模态生成损失函数和多模态鉴别损失函数的具体过程如下：
[0017]步骤6.1、构造多模态生成损失函数，如式(C)所示：
[0018][0019]其中：分别为多模态为光学遥感图像对抗损失和数字高程模型图像对抗损失；
[0020]超参数α，β，γ是感知损失、欺骗损失和协同攻击损失的权重系数；
[0021]L
f
为欺骗损失，；被错误分为第t类，欺骗损失L
f
定义如式(H)所示；
[0022]L
c
为协同损失，其定义如式(I)所示；
[0023]定义如式(D)和(E)所示：
[0024][0025][0026]其中：D
T
(x
′
T
)表示将生成的光学遥感图像对抗样本x
′
T
输入到光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
′
D
)表示将生成的数字高程模型图像对抗样本x
′
D
输入到数字高程模型图像鉴别器网络D
D
得到的输出概率；分别为光学遥感图像感知损失和数字高程模型图像感知损失，定义如式(F)和(G)所示：
[0027][0028][0029]其中：ε是控制最小允许扰动强度的超参数，||||
P
表示扰动的l
P
范数；
[0030]式(H)为：
[0031]f＝l
f
(f(x
′
T
，x
′
D
)，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(H)；
[0032]其中：f为待攻击的目标模型，l
f
为交叉熵损失，目标攻击的目标标签t由步骤三得到；
[0033]式(I)为：
[0034]L
C
＝l
C
(T(G
T
(x
T
))，G
D
(x
D
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(I)；
[0035]其中：T是频带变化函数；l
C
是余弦相似性度量函数；
[0036]步骤6.2、构造多模态鉴别损失函数，如式(J)所示：
[0037][0038]其中：分别是多模态为光学遥感图像和数字高程模型图像的鉴别器损失函数，定义分别如式(K)和式(L)所示：
[0039][0040][0041]其中：D
T
(x
T
)表示将原始多模态为光学遥感图像训练样本x
T
输入到多模态为光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
D
)表示将原始数字高程模型图像训练样本x
D
输入到数字高程模型图像鉴别网络D
D
得到的输出概率；D
T
(x
′
T
)表示将生成的光学遥感图像对抗样本x
′
T
输入到光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
′
D
)表示将生成的数字高程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，包括以下步骤：步骤一、构造多模态训练样本集T和测试样本集S；步骤二、将所述步骤一中的练样本集T和测试样本集S输入待攻击的目标模型f；步骤三、根据所述步骤二中的待攻击的目标模型f构建目标攻击类t；步骤四、搭建多模态对抗攻击网络；所述多模态对抗攻击网络由各模态的扰动生成网络和鉴别器网络组成；步骤五、多模态对抗样本生成；步骤六、将所述步骤五中的多模态对抗样本分别输入到其对应的扰动生成网络、鉴别器网络和目标模型f中，构造多模态生成损失函数和多模态鉴别损失函数；步骤七、分别对所述步骤六中的多模态生成损失函数和多模态鉴别损失函数交替训练，更新各扰动生成网络和鉴别网络，完成多模态对抗攻击网络的训练；步骤八、将测试样本输入到所述步骤七中的多模态对抗攻击网络中，生成对应的测试对抗样本。2.如权利要求1所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，在所述步骤八后，还包括步骤九，如下：将训练样本输入到多模态对抗攻击网络中，得到训练样本的对抗样本，并将所述训练样本的对抗样本加入到训练样本集中，对所述步骤二中目标模型f重新进行训练；重复步骤三～步骤八。3.如权利要求1或2所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，所述多模态为光学遥感图像和数字高程模型图像。4.如权利要求3所述的一种面向多模态遥感图像分类网络的对抗攻击方法，其特征在于，构造多模态生成损失函数和多模态鉴别损失函数的具体过程如下：步骤6.1、构造多模态生成损失函数，如式(C)所示：其中：分别为多模态为光学遥感图像对抗损失和数字高程模型图像对抗损失；超参数α，β，γ是感知损失、欺骗损失和协同攻击损失的权重系数；L
f
为欺骗损失，；被错误分为第t类，欺骗损失L
f
定义如式(H)所示；L
c
为协同损失，其定义如式(I)所示；定义如式(D)和(E)所示：定义如式(D)和(E)所示：其中：D
T
(x
′
T
)表示将生成的光学遥感图像对抗样本x
′
T
输入到光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
′
D
)表示将生成的数字高程模型图像对抗样本x
′
D
输入到数字高程模型图像鉴别器网络D
D
得到的输出概率；分别为光学遥感图像感知损失和数字高程模型图像感知损失，定义如式(F)和(G)所示：
其中：ε是控制最小允许扰动强度的超参数，||||
P
表示扰动的l
P
范数；式(H)为：L
f
＝l
f
(f(x
′
T
，x
′
D
)，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(H)；其中：f为待攻击的目标模型，l
f
为交叉熵损失，目标攻击的目标标签t由步骤三得到；式(I)为：L
C
＝l
C
(T(G
T
(x
T
))，G
D
(x
D
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(I)；其中：T是频带变化函数；l
C
是余弦相似性度量函数；步骤6.2、构造多模态鉴别损失函数，如式(J)所示：其中：分别是多模态为光学遥感图像和数字高程模型图像的鉴别器损失函数，定义分别如式(K)和式(L)所示：数，定义分别如式(K)和式(L)所示：其中：D
T
(x
T
)表示将原始多模态为光学遥感图像训练样本x
T
输入到多模态为光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
D
)表示将原始数字高程模型图像训练样本x
D
输入到数字高程模型图像鉴别网络D
D
得到的输出概率；D
T
(x
′
T
)表示将生成的光学遥感图像对抗样本x
′
T
输入到光学遥感图像鉴别网络D
T
得到的输出概率；D
D
(x
′
D
)表示将生成的数字高程模型图像对抗样本x
′
D
输入到数字高程模型图像鉴别器网络D
D
得到的输出概率。5.如权利要求4所述的一种面向多模态遥感图像分类网络的对抗攻击方法...

【专利技术属性】
技术研发人员：石程，党叶楠，赵明华，苗启广，潘治文，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：