一种基于自监督学习的遥感图像分类网络鲁棒性提升方法技术

本发明专利技术提供了一种基于自监督学习的遥感图像分类网络鲁棒性提升方法，不仅利用了有标签数据，还充分利用遥感领域中大量存在的无标签数据，通过孪生网络挖掘图像自身的信息，有效提升模型的鲁棒性；使用孪生网络对干净样本和对抗样本同时进行特征提取，即得到特征向量，并通过对比学习迫近干净样本和对抗样本的特征向量完成模型训练，使图像在孪生网络中的在线网络中的深度遥感图像编码器网络中具有稳定的表达，进而实现鲁棒性的提升。此方法有效增强了模型对于对抗样本噪声和自然噪声的鲁棒性，同时几乎不影响干净数据集的分类效果，便于应用。便于应用。便于应用。

【技术实现步骤摘要】
一种基于自监督学习的遥感图像分类网络鲁棒性提升方法


[0001]本专利技术涉及深度学习和遥感的交叉领域，具体涉及一种基于自监督学习的遥感图像分类网络鲁棒性提升方法。

技术介绍

[0002]近年来，神经网络在计算机视觉和自然语言处理等多个领域中取得了突破性的成绩。在遥感图像分类应用中，神经网络不可避免的作用于各种未知的、包含大量不同噪声的遥感数据集，虽然这些噪音对于人眼识别没有影响，但是它们往往能诱导深度神经网络做出错误的判断，这对神经网络在遥感图像分类上的应用构成了严重的安全威胁。
[0003]为何人眼无法感知的微小噪音会造成深度神经网络做出完全错误的判断，神经网络分类和判断时采取的依据是什么，以及如何进一步提升深度学习模型的稳定性和表达能力，这些都凸显了可解释性深度学习的重要性。训练鲁棒的、可解释的深度神经网络成为更高的追求。
[0004]与此同时，随着遥感事业的快速发展，大量遥感数据集不断涌现。人工标注费时费力且难以与遥感数据量的高速增加相匹配，大量未标注的数据集该如何利用，如何进一步提升遥感图像分类神经网络的鲁棒性和表达能力，这些都凸显了自监督学习的潜力和重要性。因此在最近的研究中，通过自监督学习提升模型的综合性能得到了高度重视。
[0005]在此背景下，为了提升遥感图像分类模型对于对抗样本的防御能力，大量对抗防御方法被提出，根据梯度回传一些学者提出了梯度掩盖(gradient masking)，将模型梯度变为不可计算或者不可求导，从而避免常规的基于梯度的攻击方法。但是，这些基于梯度遮掩的方法被证明只能在相当有限的情况下防御对抗样本的攻击。使用梯度规避的攻击方法(Backward Pass Differentiable Approximation)可以完全绕开梯度掩盖，对网络实施有效的攻击。而对抗训练(Adversarial Training)方法利用由指定对抗攻击方法产生的对抗样本加入到训练集中再次进行神经网络训练，在一定程度上提升了模型的防御能力。但其对有标签数据的数据量要求很高，同时对自然噪声的稳定性较差，并且会降低模型的干净样本识别能力，不适用于标签制作昂贵的遥感领域。
[0006]综上所述，急需一种基于自监督学习的遥感图像分类网络鲁棒性提升方法以解决现有技术中存在的问题。

技术实现思路

[0007]本专利技术目的在于提供一种基于自监督学习的遥感图像分类网络鲁棒性提升方法，旨在提供一种针对遥感图像分类模型的鲁棒性提升方法，同时解决现有技术未能充分利用遥感资源中大量存在的未标注数据以提升模型性能的问题，具体技术方案如下：
[0008]一种基于自监督学习的遥感图像分类网络鲁棒性提升方法，包括以下步骤：
[0009]步骤S1：对无标签遥感图像数据进行预处理，然后将预处理后的数据复制成两份，一份利用孪生网络模型进行对抗攻击，制作对抗样本数据集，另一份通过数据扩增得到干
净样本数据集；
[0010]步骤S2：将干净样本数据集通过孪生网络中的目标网络得到其特征向量，将对抗样本数据集通过孪生网络中的在线网络得到其特征向量，然后获得两特征向量的对比损失；
[0011]步骤S3：更新孪生网络：首先在线网络根据对比损失进行梯度回传更新，然后利用新得到的在线网络与原目标网络进行指数移动平均，更新孪生网络中的目标网络，进而实现整个孪生网络模型的更新；
[0012]步骤S4：迭代执行上述步骤S1至步骤S3共计c轮，完成提升孪生网络模型鲁棒性的训练；其中c为正整数；
[0013]步骤S5：提取训练完c轮后的孪生网络模型中的在线网络中的深度遥感图像编码器网络，并对深度遥感图像编码器网络添加全连接层构成分类模型，再利用有标签数据进行微调，最终得到鲁棒的分类模型。
[0014]以上技术方案中优选的，对抗攻击的方式包括以下两种：
[0015]一种是基于梯度迭代的PGD攻击，具体如式1)：
[0016][0017]其中，为预处理后的数据x沿其在孪生网络中的梯度方向迭代移动n次得到的对抗样本，表示以为中心、S为半径的随机球投影，ε为扰动限制，α为攻击步长，L
θ,ξ
为孪生网络模型对比损失，ξ为目标网络参数，θ为在线网络参数；
[0018]另一种是基于自监督伪梯度的SSP攻击，具体如式2)
‑
式3)：
[0019][0020][0021]其中，ψ为在线网络中的深度遥感图像编码器网络，为深度遥感图像编码器网络的输出，为预处理后的数据x沿其在深度遥感图像编码器网络中的梯度方向迭代移动n次得到的对抗样本，α为攻击步长，n表示梯度迭代的次数，∞代表攻击在无穷范数的限制下进行。
[0022]以上技术方案中优选的，所述在线网络由编码器、投影器和预测器组成，所述目标网络由编码器和投影器组成，在线网络和目标网络的初始参数做不同设置。
[0023]以上技术方案中优选的，使用特征向量的欧氏距离作为对比损失，具体如式4)：
[0024][0025]其中，L
θ,ξ
为对比损失，q为目标网络，ξ为目标网络参数，f为在线网络，θ为在线网络参数，为对抗样本数据集，x
′
为干净样本数据集，为干净样本特征向量的归一化值，为对抗样本特征向量的归一化值。
[0026]以上技术方案中优选的，在线网络根据对比损失进行梯度回传更新，具体如式5)：
[0027]θ
←
optimizer(θ,
▽
θ
L
θ,ξ
,lr)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式5)，
[0028]其中，optimizer代表优化操作，θ为在线网络参数，
▽
θ
为损失函数在在线网络参
数上的梯度方向，ξ为目标网络参数，L
θ,ξ
为孪生网络模型对比损失，lr为学习率。
[0029]以上技术方案中优选的，目标网络采用指数移动平均利用在线网络参数进行更新，具体如式6):
[0030]ξ
←
τξ+(1
‑
τ)θ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式6)，
[0031]其中，θ为在线网络参数，ξ为目标网络参数，τ为保留指数，控制网络更新速度。
[0032]以上技术方案中优选的，利用有标签数据进行微调具体是：首先将有标签数据的图像输入到深度遥感图像编码器模型中，然后将数据的标签作为编码器模型训练的期望结果，通过梯度回传优化编码器模型参数，在优化的过程中，限制编码器模型参数单次变更的最大值，最终使编码器模型具有鲁棒的遥感图像分类性能，完成分类模型的训练。
[0033]以上技术方案中优选的，所述预处理包括以下步骤：
[0034]步骤S1.1：对所有图像进行剪切操作规范至统一尺寸；
[0035]步骤S1.2：对图像的数值进行归一化，即将所有图像的像素值压缩到0
‑
1之间；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的遥感图像分类网络鲁棒性提升方法，其特征在于，包括以下步骤：步骤S1：对无标签遥感图像数据进行预处理，然后将预处理后的数据复制成两份，一份利用孪生网络模型进行对抗攻击，制作对抗样本数据集，另一份通过数据扩增得到干净样本数据集；步骤S2：将干净样本数据集通过孪生网络中的目标网络得到其特征向量，将对抗样本数据集通过孪生网络中的在线网络得到其特征向量，然后获得两特征向量的对比损失；步骤S3：更新孪生网络：首先在线网络根据对比损失进行梯度回传更新，然后利用新得到的在线网络与原目标网络进行指数移动平均，更新孪生网络中的目标网络，进而实现整个孪生网络模型的更新；步骤S4：迭代执行上述步骤S1至步骤S3共计c轮，完成提升孪生网络模型鲁棒性的训练；其中c为正整数；步骤S5：提取训练完c轮后的孪生网络模型中的在线网络中的深度遥感图像编码器网络，并对深度遥感图像编码器网络添加全连接层构成分类模型，再利用有标签数据进行微调，最终得到鲁棒的分类模型。2.根据权利要求1所述的基于自监督学习的遥感图像分类网络鲁棒性提升方法，其特征在于，对抗攻击的方式包括以下两种：一种是基于梯度迭代的PGD攻击，具体如式1)：其中，为预处理后的数据x沿其在孪生网络中的梯度方向迭代移动n次得到的对抗样本，表示以为中心、S为半径的随机球投影，ε为扰动限制，α为攻击步长，L
θ,ξ
为孪生网络模型对比损失，ξ为目标网络参数，θ为在线网络参数；另一种是基于自监督伪梯度的SSP攻击，具体如式2)
‑
式3)：式3)：其中，ψ为在线网络中的深度遥感图像编码器网络，为深度遥感图像编码器网络的输出，为预处理后的数据x沿其在深度遥感图像编码器网络中的梯度方向迭代移动n次得到的对抗样本，α为攻击步长，n表示梯度迭代的次数，∞代表攻击在无穷范数的限制下进行。3.根据权利要求1所述的基于自监督学习的遥感图像分类网络鲁棒性提升方法，其特征在于，所述在线网络由编码器、投影器和预测器组成，所述目标网络由编码器和投影器组成，在线网络和目标网络的初始参数做不同设置。4.根据权利要求1所述的基于自监督学习的遥感图像分类网络鲁棒性提升方法，其特征在于，使用特征向量的欧氏距离作为对比损失，具体如式4)：其中，L
θ,ξ
为对比损失，q为目标网络，ξ为目标网络参数，f为在线网络，θ为在线网络参
数，为对抗样本...

【专利技术属性】
技术研发人员：孙浩，徐延杰，雷琳，计科峰，匡纲要，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：