基于内容与风格编码的遥感影像无监督道路提取方法技术

本发明专利技术公开基于内容与风格编码的遥感影像无监督道路提取方法，属于遥感影像分类技术领域，用于遥感图像的道路提取，包括对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像；构建内容编码器与风格编码器，以解耦合的方式提取影像的内容编码与风格编码；构建生成器将提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；构建损失函数并利用梯度下降算法优化编码器与生成器；利用二值化方法将转换后得到的道路专题地图图像进行二分类，输出道路提取结果。路提取结果。路提取结果。

【技术实现步骤摘要】
基于内容与风格编码的遥感影像无监督道路提取方法


[0001]本专利技术涉及遥感影像分类
，特别涉及基于内容与风格编码的遥感影像无监督道路提取方法。

技术介绍

[0002]道路信息是基础的地理信息，在城市规划、交通管理、车辆导航和地图更新等领域具有重要的作用，也是各级地理数据中心与各级比例尺地图必须涵盖的内容。近年来，随着卫星与传感器的不断发展，遥感影像的分辨率不断提高；并且随着人工智能技术尤其是深度学习技术的发展，从高分辨率遥感影像中自动的提取道路已成为研究热点之一并开始慢慢取代手工提取。
[0003]目前，基于卷积神经网络（CNN）的道路提取模型可达到较高的精度，例如CN110751111A、CN110807376A与CN112733777A的专利技术创造性中提出的方法。但是这类方法以监督学习范式训练CNN模型，其训练数据的制作过程需要耗费大量的人力资源与时间成本。当标注数据匮乏时，由监督学习训练的道路提取模型会产生过拟合问题从而影响现实场景的提取精度。
[0004]为缓解道路提取模型需要大量的标记训练数据作为支撑的问题，本文将图像风格迁移领域中内容编码与风格编码的技术引入到了遥感影像中以实现无监督的道路提取。在遥感影像中，内容编码可描述为地物的结构与空间分布状态，风格编码可表描述为地物在影像中的呈现形式。无监督道路提取的核心在于输入一幅遥感影像，在维持内容编码不变的情况下将地物的呈现形式转换到专题地图的风格，从而实现无需标记训练数据的道路提取。

技术实现思路

[0005]本专利技术提出了基于内容与风格编码的遥感影像无监督道路提取方法，解决现有技术中基于卷积神经网络的道路提取模型需大量的标记训练数据作为支撑的问题。
[0006]基于内容与风格编码的遥感影像无监督道路提取方法，包括：S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；S2、目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像，无需人工制作标记样本库；S3、构建内容编码器与风格编码器，以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码；S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器；
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类，输出道路提取结果。
[0007]优选地，所述内容编码器为一种卷积神经网络，其由2个下采样卷积层与4个残差卷积块堆叠而成，所有卷积层之后都跟随一个实例正则化层，所述残差卷积块将卷积过程分为直接映射部分和残差部分，具体为，为直接映射部分， 为残差部分，为残差卷积块的输出特征。
[0008]优选地，所述风格编码器为一种卷积神经网络，其由4个下采样卷积层提取图像特征，然后通过全局平均池化模块与全连接层输出风格编码，风格编码器中实例正则化层未被使用。
[0009]优选地，所述生成器为生成对抗网络的网络架构，其主干部分由残差卷积块、卷积层与双线性插值上采样模块组成，残差卷积块中被插入了AdaIN模块以注入风格信息，AdaIN的参数由多层感知机从风格编码中动态生成，具体为，代表该残差卷积块中的卷积层生成的特征图，和为求解均值与标准差的函数，和 是多层感知机生成的风格参数, 对遥感影像施加风格参数即可实现到道路专题地物的转换。
[0010]优选地，所述损失函数遵循循环一致性与对抗学习框架，包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
[0011]优选地，设遥感影像为，目标风格影像为，内容编码器为与，风格编码器为与，生成器为与，图像重建函数有两个，第一个为： ，图像重建函数旨在让生成器通过的内容编码与风格编码能够重建回自身。第二个为：。
[0012]优选地，内容编码重建函数有两个，第一个为：，为遥感影像的内容编码，为目标风格图像的风格编码，给定一个内容编码，内容编码重建函数旨在让生成器通过内容编码生成的重建图像可由内容编码器编码回自身。第二个为：，其中为目标风格影像的内容编码，为遥感影像的风格编码。
[0013]优选地，风格编码重建函数有两个，第一个为：，给定一个风格编码，风格编码重建函数旨在让生成器通过风格编码生成的重建图像可由风格编码器编码回自身。第二个为：。
[0014]优选地，对抗损失函数有两个，第一个为：，为叠加卷积层构成的鉴
别器，其用于判断生成的道路专题地图图像与真实的道路专题地图图像的真假，鉴别器与生成器通过对抗训练的形式实现共同优化。第二个为：，同样为叠加卷积层构成的鉴别器。
[0015]优选地，4种损失函数通过加权融合的方式构成目标损失函数，如下：如下：、与为平衡不同损失函数重要性的超参数，为与的统称，为与的统称。
[0016]与现有技术对比，本专利技术的系统的有益效果是：1.与目前主流的基于监督学习的道路提取方法不同，本专利技术为无监督道路提取方法，无需制作标记训练数据，大大降低了人力资源的耗费。
[0017]2.本专利技术设计了内容编码器与风格编码器，对影像的内容与风格信息进行解耦合，具有较强的可解释性。
[0018]3.本专利技术中风格编码的数学形式表现为一维向量，可通过调节向量中某一维度的数值实现自定义的风格编码，并支持输出多种风格的道路专题地图图像。
附图说明
[0019]图1为本专利技术的技术流程图；图2为本专利技术中编码器与生成器的神经网络结构图；图3为本专利技术的模型训练的流程图；图4、图5、图6为通过调整风格向量输出的多种风格的道路专题地图图像，其中图4为平衡道路与建筑的风格，图5为突出绿地的风格，图6为突出主干道路的风格；图7、图8为本专利技术实施例中两个不同区域的道路提取结果的示意图。
具体实施方式
[0020]下面结合具体实施例对本专利技术的具体实施方式做进一步说明：实施例基于高分2号遥感影像实现道路提取，图1为本专利技术提供的一种基于内容与风格编码的遥感影像无监督道路提取方法的流程图。其首先将影像的内容信息与风格信息进行解耦合编码，并由一个生成器将提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图影像的转换，最后通过二值化方法输出道路提取结果。
[0021]基于内容与风格编码的遥感影像无监督道路提取方法，包括：S1、对高分2号多光谱影像依次进行正射校正与辐射定标，对全色影像进行正射校正，然后利用Gram
‑
Schmidt融合方法将全色影像与多光谱影像进行融合，生成分辨率约为1米的高分辨率多光谱影像，最后对融合后的影像执行大气校正。为增强数据的多样性，对融合后的影像进行图像增强操作，增强方法包含水平与竖直翻转、尺寸随机重采样与高斯模糊，输出增强后的高分辨率融合影像，其中重采样倍率为0.5倍
‑
2.0倍；S2、采集目标风格图像，即道路专题地图图像。采集方法为使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，包括：S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；S2、目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像，无需人工制作标记样本库；S3、构建内容编码器与风格编码器，以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码；S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器；S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类，输出道路提取结果。2.如权利要求1所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述内容编码器为一种卷积神经网络，其由2个下采样卷积层与4个残差卷积块堆叠而成，所有卷积层之后都跟随一个实例正则化层，所述残差卷积块将卷积过程分为直接映射部分和残差部分，具体为，为直接映射部分，为残差部分，为残差卷积块的输出特征。3.如权利要求2所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述风格编码器为一种卷积神经网络，其由4个下采样卷积层提取图像特征，然后通过全局平均池化模块与全连接层输出风格编码，风格编码器中实例正则化层未被使用。4.如权利要求3所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述生成器为生成对抗网络的网络架构，其主干部分由残差卷积块、卷积层与双线性插值上采样模块组成，残差卷积块中被插入了AdaIN模块以注入风格信息，AdaIN的参数由多层感知机从风格编码中动态生成，具体为，其中代表该残差卷积块中的卷积层生成的特征图，和为求解均值与标准差的函数，和是多层感知机生成的风格参数，对遥...

【专利技术属性】
技术研发人员：艾波，徐翰文，吕冠南，尚恒帅，冯文君，
申请(专利权)人：青岛阅海信息服务有限公司，
类型：发明
国别省市：