基于双层优化学习的多模态遥感目标鲁棒识别方法技术

本发明专利技术属于计算机视觉图像处理技术领域，提出一种基于双层优化学习的多模态遥感目标鲁棒识别方法。该方法设计了一种基于双层优化的训练方式引导模型自适应地学习需要学习的知识，同时利用调制网络对识别网络进行选择性激活，帮助识别网络学会如何更好地提取输入图像的特征表示。本发明专利技术能够充分利用现有数据深入挖掘模型的潜力，帮助模型摆脱多模态的干扰，解决模型在多模态目标数据上准确度降低的问题，让模型在有限的学习资源下获得更高的鲁棒性。棒性。棒性。

【技术实现步骤摘要】
基于双层优化学习的多模态遥感目标鲁棒识别方法


[0001]本专利技术涉及计算机视觉图像处理
，尤其涉及一种基于双层优化学习的多模态遥感目标鲁棒识别方法。

技术介绍

[0002]遥感图像目标识别为遥感图像分类，是指根据遥感图像中地物的光谱特征、空间特征、时相特征等，对地物目标进行识别和分类的过程。可以为目标检测等其他应用提供辅助信息，也可以作为最终结果提供基础地理信息用于地图绘测、抢险救灾、军事侦察等领域。早期的遥感图像识别主要是通过目视解译完成的，主要依赖于研究人员的主观意识。近年来，识别方法则主要以机器学习为主，利用卷积神经网络提取特征，通过大量的样本输入训练网络寻找样本的内在规律，得到最优模型。常见的用于分类的网络有LeNet、AlexNet、VGG、GoogLeNet等。2015年在ImageNet大规模视觉识别竞赛中，He等人在文献《Deep Residual Learning for Image Recognition》中提出了ResNet网络，利用数据预处理和BN层解决梯度消失和梯度爆炸问题，同时提出利用residual残差结构来解决深层网络中的退化问题，将网络结构提高到了更深的层次。随后，Zhang等人在论文《Shufflenet:An extremely efficient convolutional neural network for mobile devices》中提出ShuffleNet，利用深度可分离卷积提高模型的计算效率。除了传统的分类网络，Ian Goodfellow等人在论文《Generative Adversarial Nets》中将生成器和鉴别器使用于同一任务提出了GAN模型，利用对抗博弈的思想帮助网络训练。后来在此基础上又衍生出了很多其他的网络如DCGAN，StyleGAN，BigGAN，StackGAN，CycleGAN等。随着研究的深入，Ding等人在文献《RepVGG:Making VGG
‑
style ConvNets Great Again》中将训练好的模型等价替换为更简单的模型后再进行测试，利用结构重参数化提高模型的实用性。Liu等人则在文献《DARTS:Differentiable Architecture Search》中基于架构表示的连续松弛，使用梯度下降对架构进行有效搜索，解决了架构搜索的可扩展性问题。但是包括上述方法在内的大部分研究工作都致力于提高网络的分类精度或运算速度，却没有关注到训练数据和测试数据之间的分布差异，因此当模型应用到具有多模态信息的遥感图像上时鲁棒性较低。
[0003]多模态遥感目标识别的鲁棒性问题旨在解决模型在遥感图像的不同模态之间转移时准确度降低的问题。现存的大多数遥感领域算法的优良性能都依赖于一个理想化的假设，即认为源数据与目标数据是独立同分布的，而忽略了不同模态之间分布差异这一现实问题。因此，在实际应用中将训练好的模型转移到具有不同模态的新数据集上时往往会出现测试准确度大幅度降低的情况。这是由于遥感图像不同模态之间的图像风格差异较大导致的，且这种模态差异现象在遥感图像处理领域是普遍存在的。如何保证在源数据集上训练好的模型转移到其他模态的目标数据集上时依旧保持较高的性能，这就是遥感任务鲁棒性问题所要研究的内容。

技术实现思路

[0004]针对遥感目标识别任务在多模态数据上鲁棒性差的问题，本专利技术设计双层优化的训练方法并利用调制网络对遥感目标识别网络进行调节，引导模型挖掘自身潜力，学习鲁棒性特征表示。在该方法中，设计了一种基于双层优化的训练方式引导模型自适应地学习需要学习的知识，同时利用调制网络对识别网络进行选择性激活，帮助识别网络学会如何更好地提取输入图像的特征表示。本专利技术能够充分利用现有数据深入挖掘模型的潜力，帮助模型摆脱多模态的干扰，解决模型在多模态目标数据上准确度降低的问题，让模型在有限的学习资源下获得更高的鲁棒性。
[0005]本专利技术的技术方案：一种基于双层优化学习的多模态遥感目标鲁棒识别方法，基于两个并行网络实现，并行网络包括调制网络和识别网络；通过调制网络辅助识别网络训练，调制网络作为门控函数，控制识别网络的选择性激活；调制网络的各层输出分别与识别网络的不同位置相连，用于引导识别网络的参数更新过程向着学习图像内容特征的方向进行；通过并行网络双层优化，在并行网络优化的不同阶段分别更新调制网络和识别网络，实现二者的分离训练；
[0006]训练过程中使用两种不同模态的数据集，分别为已知数据集D1和适应数据集D2；通过已知数据集D1对识别网络单独进行一次预训练，得到识别网络关于已知数据集D1的最优参数θ
P
，记录此参数以便后续使用；双层优化开始前，对识别网络和调制网络进行随机初始化；正式训练过程采用双层优化方法，分为内层适应阶段和调制优化阶段；每一次双层优化开始时即内层适应阶段开始前，通过最优参数θ
P
对经过上一轮双层优化阶段更新后的识别网络进行重新初始化，令识别网络的参数θ0＝θ
P
，即将θ
P
作为本轮双层优化中识别网络的初始参数；
[0007]内层适应阶段开始后，通过适应数据集D2训练识别网络对不同模态数据集的适应过程，更新识别网络，整个内层适应阶段调制网络不进行更新；
[0008][0009]其中，θ表示识别网络的参数，表示调制网络的参数，L
c
为内层适应阶段的网络损失，α为内层适应阶段的学习率，下标n对应第n次调制优化阶段循环、下标i对应第i次内层适应阶段循环；
[0010]内层适应阶段结束后，获得识别网络在当前调制方案下学习到的关于适应数据集D2的最优参数θ
*
；开始调制优化阶段，通过已知数据集D1判断在当前调制方案下识别网络学习的效果；将已知数据集D1输入双层网络得到调制优化阶段的损失L
m
，该损失大小用于反映当前调制方案的效果；通过损失L
m
更新调制网络进而更新调制方案，同时保持识别网络不变；
[0011][0012]其中，L
m
为调制优化阶段的网络损失，β为调制优化阶段的学习率；
[0013]当一次双层优化过程完成后，调制网络在进入下一次双层优化时对应更新后的调制方案，用于更好地筛选出识别网络中优先进行更新的参数，所述优先进行更新的参数为神经元。
[0014]所述调制网络包括若干依次连接的卷积块，除起始卷积块外，其余卷积块间均并
联一连接模块；所述识别网络包括若干依次连接的卷积块和分类头；除起始卷积块外，其余卷积块间以及分类头前均分支传输至调制网络中对应的连接模块；各连接模块对应传输至其余卷积块间以及分类头前的叉乘操作中。
[0015]对于一个网络来说，不同的神经元对学习不同的知识有着不同的重要程度。有的神经元学习的参数主要影响图像内容相关知识的学习，而另外一些神经元学习的参数则跟图像风格更相关。本专利技术旨在筛选出那些对于学习图像内容特征重要性较低的神经元，当需要学习新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层优化学习的多模态遥感目标鲁棒识别方法，其特征在于，基于两个并行网络实现，并行网络包括调制网络和识别网络；通过调制网络辅助识别网络训练，调制网络作为门控函数，控制识别网络的选择性激活；调制网络的各层输出分别与识别网络的不同位置相连，用于引导识别网络的参数更新过程向着学习图像内容特征的方向进行；通过并行网络双层优化，在并行网络优化的不同阶段分别更新调制网络和识别网络，实现二者的分离训练；训练过程中使用两种不同模态的数据集，分别为已知数据集D1和适应数据集D2；通过已知数据集D1对识别网络单独进行一次预训练，得到识别网络关于已知数据集D1的最优参数θ
P
；双层优化开始前，对识别网络和调制网络进行随机初始化；正式训练过程采用双层优化方法，分为内层适应阶段和调制优化阶段；每一次双层优化开始时即内层适应阶段开始前，通过最优参数θ
P
对经过上一轮双层优化阶段更新后的识别网络进行重新初始化，令识别网络的参数θ0＝θ
P
，以θ
P
作为本轮双层优化中识别网络的初始参数；内层适应阶段开始后，通过适应数据集D2训练识别网络对不同模态数据集的适应过程，更新识别网络，整个内层适应阶段调制网络不进行更新；其中，θ表示识别网络的参数，表示...

【专利技术属性】
技术研发人员：赵文达，贾蝶蝶，王海鹏，何友，卢湖川，夏学知，刘颢，杨向广，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：