基于域对抗与自监督的多源遥感影像迁移学习方法技术

本发明专利技术涉及一种基于域对抗与自监督的多源遥感影像迁移学习方法，深度学习模型在源域进行预训练后，再在基于域对抗训练与自监督训练的迁移学习框架中进行训练，将目标域的遥感影像数据输入到训练完成的深度学习模型中，输出目标域的预测结果；迁移学习框架包括域对抗训练模块与自监督训练模块；域对抗训练模块包括1个生成器和1个以上判别器；自监督训练模块包括信息熵计算模块和伪标签选取模块，信息熵计算模块用于计算每个样本预测结果的信息熵，伪标签选取模块用于根据每个样本预测结果的信息熵排序选取伪标签。本发明专利技术的方法有效解决了现有技术中存在的多源遥感影像模型迁移学习精度不高、自动化程度低、模型效果不稳定的问题，应用前景广阔。应用前景广阔。应用前景广阔。

【技术实现步骤摘要】
基于域对抗与自监督的多源遥感影像迁移学习方法


[0001]本专利技术属于遥感
，涉及一种基于域对抗与自监督的多源遥感影像迁移学习方法。

技术介绍

[0002]随着对地观测技术的飞速发展，遥感进入了多平台、多传感器、多角度观测的发展阶段，遥感数据获取能力得到进一步提升。近年来，深度学习在遥感信息提取领域引起了越来越多的关注。深度学习可以捕获遥感数据的抽象特征，并通过多层学习来提取多源数据之间的潜在关联。
[0003]多源遥感数据由于传感器成像机理、成像条件(光照、大气、季节等)的不同，造成数据存在较大的光谱异质性，在源域训练完成的深度学习模型，往往对于目标域的预测效果较差。加上深度学习模型训练依赖于大量的有标签的训练样本数据，且模型参数较多，这阻碍了深度学习模型在多源数据之间的迁移。
[0004]目前主要通过微调或者域自适应方法解决该问题，即将源域与目标域的特征进行对齐，使得在源域训练的模型，在目标域也具有较好的泛化能力。
[0005]通过微调的方法，仍依赖目标域少量的有标签数据，且自动化程度较低；域自适应方法通过非监督的方式进行，但是当目标域与源域光谱特征差异很大时，仅仅通过特征对齐无法准确感知目标域的特征分布，导致迁移学习的效果较差。

技术实现思路

[0006]本专利技术的目的是解决现有技术中存在的多源遥感影像模型迁移学习精度不高、自动化程度低、模型效果不稳定的问题，提供一种基于域对抗与自监督的多源遥感影像迁移学习方法。
[0007]为达到上述目的，本专利技术采用的技术方案如下：
[0008]基于域对抗与自监督的多源遥感影像迁移学习方法，深度学习模型在源域进行预训练后，再在基于域对抗训练与自监督训练的迁移学习框架中进行训练，将目标域的遥感影像数据输入到训练完成的深度学习模型中，输出目标域的预测结果；
[0009]深度学习模型为全卷积神经网络模型，由于本专利技术针对的是遥感影像分类、变化检测、目标提取等应用中的多源遥感影像模型迁移学习问题，只有全卷积神经网络架构适用于这些应用；
[0010]预训练和训练时，深度学习模型的输入为遥感影像数据，输出为预测结果；
[0011]基于域对抗训练与自监督训练的迁移学习框架包括域对抗训练模块与自监督训练模块；域对抗训练模块包括1个生成器和K个判别器，K≥1，生成器是全卷积深度神经网络，用于遥感影像信息提取，判别器是卷积神经网络，用于判断特征属于源域还是目标域；自监督训练模块包括信息熵计算模块和伪标签选取模块，信息熵计算模块用于计算每个样本预测结果的信息熵，伪标签选取模块用于根据每个样本预测结果的信息熵排序选取伪标
签。
[0012]作为优选的技术方案：
[0013]如上所述的基于域对抗与自监督的多源遥感影像迁移学习方法，深度学习模型为UNet、ResUnet、FCN或SegNet。
[0014]如上所述的基于域对抗与自监督的多源遥感影像迁移学习方法，K的取值为1～5，较深的网络可以选取较大的K值，但K值越大，计算量也越大。
[0015]如上所述的基于域对抗与自监督的多源遥感影像迁移学习方法，具体步骤如下：
[0016](1)深度学习模型在源域进行预训练；
[0017]深度学习模型的输入是遥感影像数据，输出是预测结果，按照梯度下降算法进行参数更新；
[0018](2)将步骤(1)预训练后的深度学习模型放在基于域对抗训练与自监督训练的迁移学习框架中进行训练(参数调整与更新)，使其适应目标域的数据；
[0019](2.1)利用源域与目标域数据分别更新生成器参数和K个判别器参数；
[0020]从源域抽取m个遥感影像数据与对应的m个标签数据，从目标域抽取m个遥感影像数据，保持判别器参数不变，根据梯度下降算法更新生成器参数；接着保持生成器参数不变，根据梯度下降算法更新K个判别器参数；
[0021](2.2)目标域数据进行自监督训练；
[0022]将目标域中每个样本中所有像素的信息熵求平均，得到每个样本的信息熵，根据信息熵大小排序，选取信息熵最小的n个样本；将信息熵最小的n个样本的预测结果作为伪标签，输入到生成器中，根据梯度下降算法再次更新生成器的参数；
[0023](2.3)重复步骤(2.1)和(2.2)，直至模型收敛或者达到设定的迭代次数，训练结束；设定的迭代次数为10～50，因为本专利技术在预训练模型基础上进行再次训练，迭代次数不需要很多；
[0024](3)将目标域的遥感影像数据输入到步骤(2)训练完成的深度学习模型中，利用生成器输出目标域的预测结果。
[0025]如上所述的基于域对抗与自监督的多源遥感影像迁移学习方法，步骤(2.1)中m的取值为4～12，m越小，收敛速度慢，m越大大，GPU显存空间占用多。
[0026]如上所述的基于域对抗与自监督的多源遥感影像迁移学习方法，步骤(2.2)中n取值范围为10～20，根据目标域样本数量而定。
[0027]本专利技术通过域对抗与自监督结合，将源域与目标域进行特征对齐，同时通过自监督学习使得模型较好的拟合了目标域的特征分布；本专利技术不需要人工干预，不需要目标域的标签数据；模型效果不稳定的原因在于域对抗采用的生成器与判别器很难同时收敛，本专利技术利用自监督学习改善了生成器的训练，提升了模型的稳定性。
[0028]有益效果：
[0029]本专利技术可以解决遥感影像分类、变化检测、目标识别等应用中的多源遥感影像模型迁移学习问题，只需要源域的有标签数据和目标域的无标签数据，即可将模型迁移到目标域，提高了模型在目标域的泛化能力，提高了模型迁移学习的自动化、智能化与精度，大大减少了遥感影像信息提取应用中的人工标记成本。
附图说明
[0030]图1为本专利技术的算法流程图；
[0031]图2为源域遥感影像；
[0032]图3为源域标签；
[0033]图4为目标域遥感影像；
[0034]图5为迁移学习前的遥感影像(精度76.2％)；
[0035]图6为迁移学习后的遥感影像(精度99.36％)；
[0036]图7为传统域对抗方法分别迭代10次和12次后的遥感影像，其中，左图为迭代10次后的遥感影像，右图为迭代12次后的遥感影像；
[0037]图8为本专利技术的方法分别迭代10次和12次后的遥感影像，其中，左图为迭代10次后的遥感影像，右图为迭代12次后的遥感影像。
具体实施方式
[0038]下面结合具体实施方式，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0039]基于域对抗与自监督的多源遥感影像迁移学习方法，如图1所示，步骤如下：
[0040](1)深度学习模型在源域进行预训练；
[0041]深度学习模型为UNet本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于域对抗与自监督的多源遥感影像迁移学习方法，其特征在于：深度学习模型在源域进行预训练后，再在基于域对抗训练与自监督训练的迁移学习框架中进行训练，将目标域的遥感影像数据输入到训练完成的深度学习模型中，输出目标域的预测结果；深度学习模型为全卷积神经网络模型；预训练和训练时，深度学习模型的输入为遥感影像数据，输出为预测结果；基于域对抗训练与自监督训练的迁移学习框架包括域对抗训练模块与自监督训练模块；域对抗训练模块包括1个生成器和K个判别器，K≥1，生成器是全卷积深度神经网络，用于遥感影像信息提取，判别器是卷积神经网络，用于判断特征属于源域还是目标域；自监督训练模块包括信息熵计算模块和伪标签选取模块，信息熵计算模块用于计算每个样本预测结果的信息熵，伪标签选取模块用于根据每个样本预测结果的信息熵排序选取伪标签。2.根据权利要求1所述的基于域对抗与自监督的多源遥感影像迁移学习方法，其特征在于，深度学习模型为UNet、ResUnet、FCN或SegNet。3.根据权利要求1所述的基于域对抗与自监督的多源遥感影像迁移学习方法，其特征在于，K的取值为1～5。4.根据权利要求1～3任一项所述的基于域对抗与自监督的多源遥感影像迁移学习方法，其特征在于，具体步骤如下：(1)深度学习模型在源域进行预训练；深度学习模型的输入是遥感...

【专利技术属性】
技术研发人员：曹金，张效康，文枚金，苏含坤，杨庆楠，
申请(专利权)人：上海中科辰新卫星技术有限公司，
类型：发明
国别省市：