一种基于全局-局部对抗学习框架的跨域道路提取方法技术

本发明专利技术公开了一种基于全局‑局部对抗学习框架的跨域道路提取方法，该方法具有以下两个显著特点：一是利用一个全局‑局部对抗学习框架用于高分辨率遥感影像跨域道路提取，该框架首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，另一个分支通过全局‑局部对抗学习引导生成器生成域不变特征。第二，全局‑局部对抗学习过程中，使用两个互斥分类器对道路进行识别，两个分类器识别的差异可以反映每一个像素的识别难易程度，从而自适应地对对抗损失进行加权，自动减慢或加速对抗学习的过程。本方法可以明显改善道路缺失现象，对于一些困难的样本也能较好的识别，显著提升道路识别精度。

【技术实现步骤摘要】
一种基于全局-局部对抗学习框架的跨域道路提取方法
本专利技术基于遥感图像技术处理领域，特别涉及一种基于全局-局部对抗学习框架的跨域道路提取方法。
技术介绍
近年来，随着IKONOS、QuickBird、Worldview、GJ-1、GF-6等一系列国内外高分辨率遥感卫星的成功发射，高分辨率遥感数据获取能力迅速增强，使得我们能获取的高分辨率遥感影像资源在规模上不断扩大，意味着遥感大数据时代已经来临。高分辨率遥感影像包含丰富的空间细节信息，能够精确描述地物的几何属性特征，高分辨率遥感影像相对于中低分辨率遥感影像来说，地物几何结构更加明显，纹理更加精细，位置布局更加清晰。因此，高分辨率遥感凭借其获取手段技术成熟，影像分辨率高，覆盖范围广等优势，已被广泛应用于军事侦察、灾害防治、城市规划等事关国防建设和经济社会发展的诸多领域，高分辨率遥感的发展已然对推动社会进步起着至关重要的作用。道路作为基础的地理数据和重要的国情要素，是高分辨率遥感影像中一项重要的地物目标，对于人类生活具有十分重要的影响，道路经过规划设计会形成四通八达的道路网，提取出道路的完整信息构建道路网对于国家经济社会的发展具有十分重要的实用价值，也是各种实际应用开展的关键前提。如为城市规划提供前瞻性指导，为智能交通提供基础数据，为地理信息系统更新提供更高效的技术手段等。因此，如何应用现代高分辨率遥感技术结合一定的计算机技术快速、准确地对道路信息进行识别和更新是当前遥感领域的研究热点。基于国内外对道路提取的几十年研究历史，相关研究学者针对不同源数据，不同生产需求，已从不同角度提出大量的方法和成果，这些方法在道路提取上存在各自的优势，精度上也在不断提升。但长期以来，受道路自身特征的特殊性、周边环境的复杂性和不同影像之间差异的影响，自动化高精度提取道路网仍然是遥感领域研究的一个难点。当前，在遥感大数据的背景下，使用最多的方法就是基于深度学习的方法，深度学习方法是一种数据驱动的方法，依赖于海量的数据训练模型，来完成各种识别任务。目前的深度学习方法仍以监督学习为主，需要人工大量的标记数据来训练模型，这样的数据标注工作需要消耗大量的人力和财力。而如果直接在域A上训练道路提取模型，在域B上测试时，模型的识别能力会急剧下降，导致道路识别存在很多漏检的情况。基于此，考虑增强深度学习模型的泛化能力，使其在未标注目标域上也能够很好地提取道路。
技术实现思路
本专利技术的目的在于提出一种基于全局-局部对抗学习框架的跨域道路提取方法。提出的基于全局-局部对抗学习框架的跨域道路提取方法从两个方面来增强深度学习模型的泛化能力，一方面在特征输出层采用对抗学习，通过混淆域判别器使其无法识别特征来自源域还是目标域，来引导生成器生成域不变特征；另一方面在对抗学习中，根据每一个像素的识别难易程度，自适应地调整对抗损失，从而自动减慢或加速对抗学习的过程。本专利技术能够有效提升深度学习模型的泛化能力，一定程度上解决跨域道路提取时，道路漏检严重的问题。本专利技术中我们所提出的一种基于全局-局部对抗学习框架的跨域道路提取方法具有以下两个显著特点。一是专利技术了一个全局-局部对抗学习框架用于高分辨率遥感影像跨域道路提取，该框架首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征。第二，全局-局部对抗学习过程中，使用两个互斥分类器对道路进行识别，两个分类器识别的差异可以反映每一个像素的识别难易程度，从而自适应地对对抗损失进行加权，自动减慢或加速对抗学习的过程。本专利技术提供一种基于全局-局部对抗学习框架的跨域道路提取方法，实现步骤如下：步骤1，获取有标签的SpaceNet道路竞赛数据集2213张作为源域数据，以及无标签的目标域影像3000张，一起组成训练集，用于网络训练，对训练集进行归一化与数据增强；步骤2，构建全局-局部对抗学习框架，主要包括全局-局部对抗学习网络框架构建和目标函数设计。所述全局-局部对抗学习网络框架为生成器和判别器结构，首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，获取道路分割概率图，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征；目标函数包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失；步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至网络收敛；步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出道路分割概率图获得道路提取结果。进一步的，步骤1的具体实现包括如下子步骤：步骤1.1，在SpaceNet道路提取竞赛网站上进行注册，下载数据集总计2780个样本对，按照公开划分方式，划分出2213张作为源域训练样本。步骤1.2，在目标域测试集影像范围的相邻区域下载与之地理位置不重合，但时间和空间分辨率一致的目标域影像3000张，每一张的大小是1024*1024像素，此影像会与目标域测试集影像特征非常相似，作为目标域的无标记影像。步骤1.3，将有标记的源域样本和无标记的目标域影像一起组成训练集，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。进一步的，步骤2的具体实现包括如下子步骤：步骤2.1，构建全局-局部对抗学习网络框架：该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器，考虑到计算压力以及为了保证较高的特征分辨率，移除ResNet50的第四个残差块，并将第三个残差块内的最后一层卷积的步长由2变成1，同时将标准卷积替换成空洞率为2的空洞卷积，这样可以保证特征分辨率不降低的同时增大网络感受野。由此，得到修正后的ResNet生成器，这个生成器的输出步长为8，所以对于输入尺寸大小为768×768的源域影像xs和目标域影像xt，经过生成器之后，源域输出es和目标域输出et的尺寸大小为96×96。生成器之后是两个分支，一个分支进行道路分割，首先采用1×1卷积将源域特征es的维度从1024降低到256，然后通过双线性插值将特征图上采样到192×192，再采用跳跃连接，通过和相应的低层特征进行逐像素的相加，来恢复更详细的空间细节信息，之后分别采用3×3卷积和1×1卷积降低特征图维度到64和1，最后通过双线性插值，四倍上采样恢复到原始输入大小768×768，并通过Sigmoid分类器获取道路分割概率图。另一个分支进行全局-局部对抗学习，利用两个互斥分类器(即两个不同的分类器，通过余弦相似性，约束两个分类器的参数不一致，防止两个分类器退化成同一个分类器，得到一样的分类结果，那么计算两个分类器预测结果的差异就没有意义了)，分别输出一个二维特征图m1和m2,紧接着1×1卷积得到一维的概率图p1和p2，最终的概率值p是p1和p2之和。对于判别器D，采用的是通道数分别为64,128,256,512和1的五层全卷积网络，每一个卷积层的卷积核大小为4×4,步长为2，且连接本文档来自技高网...

【技术保护点】
1.一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于，包括以下步骤：/n步骤1，获取有标签的源域数据，以及无标签的目标域影像，一起组成训练集用于网络训练，对训练集进行归一化与数据增强；/n步骤2，构建全局-局部对抗学习框架，包括全局-局部对抗学习网络框架构建和目标函数设计；/n所述全局-局部对抗学习网络框架为生成器和判别器结构，首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，获取道路分割概率图，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征；目标函数包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失；/n步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至收敛；/n步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出的道路分割概率图获得道路提取结果。/n

【技术特征摘要】
1.一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于，包括以下步骤：
步骤1，获取有标签的源域数据，以及无标签的目标域影像，一起组成训练集用于网络训练，对训练集进行归一化与数据增强；
步骤2，构建全局-局部对抗学习框架，包括全局-局部对抗学习网络框架构建和目标函数设计；
所述全局-局部对抗学习网络框架为生成器和判别器结构，首先利用生成器生成特征，来混淆判别器，生成器后面紧接着两个分支，一个分支进行道路分割，获取道路分割概率图，另一个分支通过全局-局部对抗学习引导生成器生成域不变特征；目标函数包含三个部分：分割损失，参数差异损失和自适应加权的对抗损失；
步骤3，基于构建的全局-局部对抗学习框架，在训练集上进行训练，优化模型参数，直至收敛；
步骤4，基于收敛后的全局-局部对抗学习框架，对来自目标域的测试集进行预测，利用输出的道路分割概率图获得道路提取结果。


2.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤1的实现方式如下，
步骤1.1，在SpaceNet道路提取竞赛网站上进行注册，下载数据集，划分出源域训练样本；
步骤1.2，在目标域测试集影像范围的相邻区域下载与之地理位置不重合，但时间和分辨率一致的目标域影像，作为目标域的无标记影像；
步骤1.3，将有标记的源域数据和无标记的目标域影像一起组成训练集，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。


3.如权利要求1所述的一种基于全局-局部对抗学习框架的跨域道路提取方法，其特征在于：所述步骤2中全局-局部对抗学习网络框架的具体结构如下；
该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器，移除ResNet50的第四个残差块，并将第三个残差块内的最后一层卷积的步长由2变成1，同时将标准卷积替换成空洞率为2的空洞卷积，以保证特征分辨率不降低的同时增大网络感受野，由此，得到修正后的ResNet生成器，对于输入的源域影像xs和目标域影像xt，经过生成器之后，得到源域输出es和目标域输出et；生成器之后是两个分支，一个分支进行道路分割，首先采用1×1卷积将源域特征es的维度降低，然后通过双线性插值将特征图进行上采样，再采用跳跃连接，通过和相应的低层特征进行逐像素的相加，来恢复更详细的空间细节信息，之后分别采用3×3卷积和1×1卷积降低特征图维度，最后通过双线性插值，四倍上采样恢复到原始输入大小，并通过Sigmoid分类器获取道路分割概率图；另一个分支进行全局-局部对抗学习，利用两个互斥分类器，分别输出一个二维特征图m1和m2，紧接着1×1卷积得到一维的概率图p1和p2，最终的概率值p是p1和p2之和；
对于判别器D，采用的是不同通道数的五层全卷积网络，每一个卷积层...

【专利技术属性】
技术研发人员：卢晓燕，钟燕飞，郑卓，王俊珏，张良培，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42