基于迁移学习的遥感图像语义分割方法技术

本发明专利技术公开了一种基于迁移学习的遥感图像语义分割技术，涉及遥感图像处理技术领域，解决了遥感图像语义分割的深度学习方法上的耗时长、应用范围窄等技术问题，其技术方案要点是应用迁移学习技术，将由其他数据集即源域训练的初始化模型经过迁移后应用在遥感图像即目标域的语义分割任务上，迁移后的初始化模型只需训练该初始化模型未被冻结的参数层，在准确率相近的情况下大大降低了模型的训练时长，提高了深度学习网络模型的可重用性。

Semantic segmentation of remote sensing image based on Transfer Learning

【技术实现步骤摘要】
基于迁移学习的遥感图像语义分割方法
本公开涉及遥感图像处理
，尤其涉及一种基于迁移学习的遥感图像语义分割方法。
技术介绍
遥感是一种非接触、远距离的探测技术，一般指运用传感器或遥感器对物体的电磁波辐射、反射特性进行探测，通过这类对电磁波敏感的仪器，在远离目标或不接触目标物体条件下探测目标的地物。遥感技术在国土检测、灾情评估、城市规划、军事勘探等多方面有着广泛的应用，对其获取的图像进行语义分割即将其分割为各种类别的图像块是对其进一步应用的基础。目前图像语义分割的主流实现方法为深度学习，但其训练的耗时较长、应用范围较窄。
技术实现思路
技术目的：克服遥感图像语义分割的深度学习方法上的耗时长、应用范围窄等问题。本公开的上述技术目的是通过以下技术方案得以实现的：一种基于迁移学习的遥感图像语义分割方法，包括：选择源域数据训练网络为初始化网络W，使用所述W初始化目标网络模型的浅层参数，然后冻结初始化后的所述浅层参数，被冻结的所述浅层参数不参与所述目标网络模型的后续训练；获取所述源域数据和遥感图像数据的最大平均差异MMD指标以及SMTD指标；若所述SMTD指标小于预设阈值σ，使用所述遥感图像数据训练所述目标网络模型中未被初始化的参数层，直至所述目标网络模型收敛则得到最终分割模型，否则继续训练；使用所述最终分割模型进行遥感图像语义分割。进一步地，所述其中，H表示该MMD距离将数据映射到再生核希尔伯特空间(ReproducingKernelHilbertSpace,RKHS)中的度量，X为所述源域数据，xi为所述源域数据中需要进行分类的像素，Y表示所述遥感图像数据，yi为所述遥感图像数据中需要进行分类的像素，φ(.)为特征空间的映射函数，i,j,m,n为正整数。进一步地，所述SMTD指标为其中，Ys→t为源域数据到遥感图像数据的标签空间变化量，At与As为使用所述最终分割模型分别在源域数据和遥感图像数据进行深度监督学习时得到的验证集上的准确率。本公开的有益效果在于：应用迁移学习技术可以将由其他数据集训练的网络中的通用特征(点、线等)迁移到遥感图像上，避免了特征的重复学习，与现有的基于深度学习的遥感图像语义分割技术相比，本公开降低了深度学习模型的训练时间，提高了深度学习模型的可重用性。附图说明图1为本公开方法流程图；图2为迁移学习整体架构示意图；图3是遥感图像数据示例图，其中(a)为遥感图像；(b)为对应的DSM；(c)为人工标注的标签；图4为三种迁移学习方案最终分割结果示例图，(a)为原始遥感图像；(b)为对应的DSM；(c)为UAV-DSM迁移结果示意图；(d)为由遥感图像的数据直接训练的模型的输出结果；(e)为由MSRC迁移的模型的输出结果；(f)为人工标注的标签。具体实施方式下面将结合附图对本公开技术方案进行详细说明。迁移学习是在给定的领域中执行新任务时，利用其他相关领域中足够多的先验知识来模拟人类视觉系统。在迁移学习中，训练数据和测试数据都有助于两种类型的域，即目标域和源域，如图2所示。本公开中，用于初始化目标网络模型浅层网络的数据为源域，遥感图像数据为目标域。基于深度学习的目标识别任务总体上来说是一种数据驱动的方法，通过数据中的真实信息以各种优化方法来寻找采用的特定网络模型结构中的参数最优值。一般来说经过特定数据集训练后的网络模型只能应用在与训练数据集相近的邻域中，但其在浅层中学习到的通用特征使其存在着应用于其它领域的潜力。本专利技术采用迁移学习技术，使用由其它数据集训练的网络中的参数初始化待用来进行遥感图像语义分割的网络中的部分参数，并在使用遥感图像作为训练数据集时固定这些参数，仅通过训练过程优化后部未经上述方法初始化的参数。整体的步骤如下：首先进行适用于遥感图像语义分割任务的网络模型的构建，再挑选已由其它数据集训练完成的与上述网络结构相近模型，以其浅层的参数初始化上述网络并固定，最后由遥感图像数据通过梯度下降方法训练未经固定的参数直到网络收敛，以得到适用于遥感图像语义分割的网络模型。图1为本公开方法流程图，如图1所示，选择源域数据训练网络为初始化网络W，使用W初始化目标网络模型的浅层参数，然后冻结初始化后的浅层参数，被冻结的浅层参数不参与目标网络模型的后续训练。获取源域数据和遥感图像数据的最大平均差异MMD指标以及SMTD指标；若SMTD指标小于预设阈值σ，使用所述遥感图像数据训练所述目标网络模型中未被初始化的参数层，直至所述目标网络模型收敛则得到最终分割模型，然后使用最终分割模型进行遥感图像语义分割。一般地，为了度量源域与目标域之间的距离，采用一种最大平均差异(MaximumMeanDiscrepancy,MMD)指标来度量两个不同的且相关的概率分布之间的距离，定义为其中，H表示该MMD距离将数据映射到再生核希尔伯特空间(ReproducingKernelHilbertSpace,RKHS)中度量，X为源域数据，xi为源域数据中需要进行分类的像素，Y表示遥感图像数据，yi为遥感图像数据中需要进行分类的像素，φ(.)为特征空间的映射函数，i,j,m,n为正整数。上式可以展开为：并使用高斯核作为映射到再生核希尔伯特空间的核函数，以映射到无穷维的空间。其中，u,v为高斯核变量，σ为高斯核方差。同时采用一种相似模型任务差异SMTD(SimilarModelTaskDiscrepancy)指标度量迁移前后的任务相似度分析：SMTD指标为其中，D为源域数据与遥感图像数据之间的定量距离，本公开中使用上述MMD作为此距离，亦可选取其它评价标准作为此距离。Ys→t为源域数据到遥感图像数据的标签空间变化量，At与As为使用最终模型分别在源域数据和遥感图像数据进行深度监督学习时得到的验证集上的准确率。在实验中，SMTD指标越小，迁移学习后的最终模型的准确率越高。首先使用其它网络的浅层参数初始化用于遥感图像图义分割的目标网络模型的浅层网络，并获取源域和目标域的SMTD指标，并根据源域与目标域的具体状态预设一阈值σ，若计算得到的SMTD指标小于该预设阈值，则将初始化后的目标网络模型进行下一步训练，将遥感图像数据投入到未经上述初始化的参数层中进行训练，直到网络收敛并得到最终分割模型；否则认为该迁移学习任务不可行。本公开具体实施例中，无人机图像为源域，遥感图像为目标域，以一个双路结构的全卷积网络网络模型为例，分别接受遥感图像与其对应的DSM(Digitalsurfacemodel，数字表面模型)为输入，共包含289个需要训练的参数层，图3为遥感图像数据示例图。在深度学习的网络模型中，位于前部的参数层所学习到的特征为底层特征(如特征点、线等)，而位于后部的参数层学习相应的高级特征(如语义、上下文等)。应用迁移学习技术，使用其他数据集(无人机图像)训练完成的网络模型作为初始化参数并冻结其中部分位于前部的参数层(即固定这些层中包含的参数不予训练)，仅训练后部的参数，在本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的遥感图像语义分割方法，其特征在于，包括：/n选择源域数据训练网络为初始化网络W，使用所述W初始化目标网络模型的浅层参数，然后冻结初始化后的所述浅层参数，被冻结的所述浅层参数不参与所述目标网络模型的后续训练；/n获取所述源域数据和遥感图像数据的最大平均差异MMD指标以及SMTD指标；/n若所述SMTD指标小于预设阈值σ，使用所述遥感图像数据训练所述目标网络模型中未被初始化的参数层，直至所述目标网络模型收敛则得到最终分割模型，否则继续训练；/n使用所述最终分割模型进行遥感图像语义分割。/n

【技术特征摘要】
1.一种基于迁移学习的遥感图像语义分割方法，其特征在于，包括：
选择源域数据训练网络为初始化网络W，使用所述W初始化目标网络模型的浅层参数，然后冻结初始化后的所述浅层参数，被冻结的所述浅层参数不参与所述目标网络模型的后续训练；
获取所述源域数据和遥感图像数据的最大平均差异MMD指标以及SMTD指标；
若所述SMTD指标小于预设阈值σ，使用所述遥感图像数据训练所述目标网络模型中未被初始化的参数层，直至所述目标网络模型收敛则得到最终分割模型，否则继续训练；
使用所述最终分割模型进行遥感图像语义分割。


2.如权利要求1所述的基于迁移学习的遥感图像语义分割方法...

【专利技术属性】
技术研发人员：孔莹莹，张博文，闫碧原，刘艳娟，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32