一种基于多任务神经网络的遥感图像道路提取方法技术

一种基于多任务神经网络的遥感图像道路提取方法，首先基于遥感图像，对获取的遥感图像进行预处理及人工标注道路边缘和道路表面获得两种数据集，然后通过多任务的多尺度神经网络同时对遥感图像的道路边缘检测和道路表面分割进行训练，训练过程分两步进行，第一步对遥感图像的道路边缘数据集进行训练得到次任务的最优参数，第二步在最优参数的基础上对遥感图像的道路语义分割提取进行训练，训练整体过程为一直循环前两步不断迭代进行的，道路边缘检测数据的引入可以实现更加精确的遥感道路分割提取，之后对于新获取的遥感图像道理分割提取任务。本发明专利技术通过基于多任务神经网络的遥感图像的道路边缘检测和道路表面分割实现快速和准确的道路提取。现快速和准确的道路提取。现快速和准确的道路提取。

【技术实现步骤摘要】
一种基于多任务神经网络的遥感图像道路提取方法


[0001]本专利技术属于遥感
，特别涉及一种基于多任务神经网络的遥感图像道路提取方法。

技术介绍

[0002]随着遥感技术的快速发展，遥感技术在民航、城市规划、无人驾驶等领域得到广泛应用。新兴的遥感技术是应用各类主动或被动式传感器，其可以间接性的探测目的物体，从卫星、无人机上采集到的不同波段的信息来分析得到我们所需要的目标物体的特征，是一项非常实用的探测技术。由于遥感技术具有可获得丰富数据、高时空分辨率、可大范围检测的优势，是及时得到道路状况的最优方法和手段，尤其是对经常进行大范围道路修建及地图更新变更的地区有着不同的意义，遥感技术可以实现大范围时间序列的大规模遥感图像道路提取，提供周期内的道路地图绘制，对合理规划城市交通和民航机场交通安全有着重要作用。
[0003]近些年随着计算机算力和深度学习的快速发展，卷积神经网络(CNN)在计算机视觉和其他不同的领域取得了不错的成绩。基于超强计算机算力的人工智能神经网络是一个新兴的研究领域，其基本原理是通过构建很多个神经元，并将其进行有规则的排列，之后使用已有的大量数据集进行训练学习主要特征，最终提高分类或预测的准确性。由于卷积层对于图像特征提取非常有效，因此已经有很多研究人员尝试将深度卷积神经网络应用于像素级分类的语义分割领域。近年来深度学习算法在图像处理方面越来越有优势，这对遥感图像处理的研究具有重要意义，深度学习在一般生活场景图像下进行语义分割的成功应用，是的将深度学习应用于遥感图像领域成为可能。由于遥感图像的道路提取存在树木等植被遮挡的情况，导致遮挡的一般的道路提取算法会对被遮挡道路失效或者提取精度低的现象，对此类遥感图像的道路提取仍然是一个挑战，因此要将深度学习成功应用到遥感图像中仍需要更多的研究与探讨，即如何使用深度学习对存在遮挡的遥感图像道路进行更有效、更准确的分割提取，是研究遥感图像语义分割的必要和迫切的问题。

技术实现思路

[0004]为了解决以上问题，本申请提出一种基于多任务神经网络的遥感图像道路提取方法，用以在机场无人驾驶路径规划，城市交通管理规划等，可以满足普遍的高分辨率遥感图像因遮挡等原因导致的道路提取失效或提取精度低。
[0005]为实现上述目的，本专利技术采取的技术方案是：
[0006]本专利技术提供一种基于多任务神经网络的遥感图像道路提取方法，具体步骤如下：
[0007]S11通过遥感卫星获取或者航空遥感无人机获得的遥感图像，对待处理的遥感图像进行人工标注获取道路边缘和道路表面，并对图像进行预处理，包括去噪、校正和分割处理；
[0008]上述对遥感图像处理的方法包括：
[0009]使用Labelme程序对标注的地图数据进行了标注和绘制，手工标注数据集的过程是，
[0010]首先将遥感图像重新采样至高分辨率，然后确定道路的边界，其次，采用人工划定，在图像标注时，从道路边界向内缓冲一个像素；
[0011]S12构建多任务神经网络模型，其中包括一个主分类任务和次分类任务；
[0012]主分类任务用于对图像中的道路进行语义分割提取，次分类任务用于对道路的边缘检测提取；
[0013]上述多任务神经网络模型包括一个模块，对于主任务的语义分割和次任务的边缘检测在同一个网络上进行，但是具体的训练推理过程是分为两步进行的；
[0014]第一步为次任务t道路边缘检测的训练，整个多任务神经网络模型为f
θ
，次任务t在神经网络上的进行初步训练，训练的随机化初始参数为θ，通过计算损失来寻找最优化参数，使用梯度下降来最小化损失，并找到最小化损失的最优参数：
[0015][0016]式中，θ
i
'次任务t道路边缘检测的最优参数，θ是初始化参数，α是次任务训练时的学习率超参数，任务t的梯度；
[0017]通过前述道路边缘检测的初步训练为后续的主任务的寻优提供最优的初始参数θ'，主任务T道路语义分割的训练可以在最优的初始参数θ'下开始训练，得到目标主任务T的最优参数，借助初始最优参数使得随机初始化参数θ'找到一个和目标任务更加近似的初始参数，当训练主任务T时不需要采取许多梯度步骤，整个过程表述如下：
[0018][0019]式中，θ'是最优初始化参数，β是主任务训练时的学习率超参数，是对于每一个主任务T对于参数θ'的梯度；
[0020]S13使用训练后的模型进行预测，在需要道路提取的数据集上通过有简单道路边缘标注的数据集上进行微调，在输入的遥感图像中提取出道路的位置和类型信息，并对提取出的道路进行后处理，包括去除噪声、填充缺失和连接断裂处理。
[0021]作为本专利技术进一步改进，步骤S12中主任务T和次任务t的梯度更新中设计两个学习率超参数α和β，利用粒子群优化算法对两个学习率进行优化，粒子群优化算法迭代更新后的速度和位置的公式如下所示：
[0022]V
id
＝ωV
id
+C1random(0,1)(P
id
‑
X
id
)+C2random(0,1)(P
gd
‑
X
id
)X
id
＝X
id
+V
id
[0023]X
id
＝X
id
+V
id
[0024]式中，ω为惯性系数，C1和C2称为加速度常数，取C1＝C2∈[0,4]代表区间上的随机数；random(0,1)代表区间[0,1]上的随机数；P
id
代表d维度的全局最优解；终止条件为最大迭代次数。
[0025]粒子群算法优化学习率的适应度函数如下：
[0026]minf(r1,r2)＝minL(f
θ
)
[0027]式中，r1和r2分别表示主任务T和次任务t的梯度更新中设计两个学习率超参数。
[0028]作为本专利技术进一步改进，步骤S12所使用的多任务神经网络模型使用卷积神经网
络，包括两个部分：一个下采样路径，用于提取图像的低级特征，以及一个上采样路径，用于将这些低级特征组合成高级特征。两个路径之间通过跳跃连接相连；
[0029]神经网络模型的下采样路径和上采样路径中提取特征的模块采用带有视觉注意力机制的多尺度卷积模块实现，该模块主要包含三个部分；
[0030]首先是用于聚合局部和全局信息的深度卷积，之后是用于得到遥感图像多尺度信息的条状卷积模块，之后就是聚合不同通道尺度的1*1卷积模块；
[0031]上述的带有视觉注意力机制的多尺度卷积模块之前还有一个批均一化层和一个1*1卷积层，后面接一个线性整流函数作为激活函数f(x)＝max(0，x)。
[0032]针对目前的遥感道路分割在有遮挡情况下分割失效或者精度低的问题，本专利技术提出一种基于多任务神经网络的遥感图像道路提取方法。该方法通过建立多任务神经网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务神经网络的遥感图像道路提取方法，具体步骤如下，其特征在于：S11通过遥感卫星获取或者航空遥感无人机获得的遥感图像，对待处理的遥感图像进行人工标注获取道路边缘和道路表面，并对图像进行预处理，包括去噪、校正和分割处理；上述对遥感图像处理的方法包括：使用Labelme程序对标注的地图数据进行了标注和绘制，手工标注数据集的过程是，首先将遥感图像重新采样至高分辨率，然后确定道路的边界，其次，采用人工划定，在图像标注时，从道路边界向内缓冲一个像素；S12构建多任务神经网络模型，其中包括一个主分类任务和次分类任务；主分类任务用于对图像中的道路进行语义分割提取，次分类任务用于对道路的边缘检测提取；上述多任务神经网络模型包括一个模块，对于主任务的语义分割和次任务的边缘检测在同一个网络上进行，但是具体的训练推理过程是分为两步进行的；第一步为次任务t道路边缘检测的训练，整个多任务神经网络模型为f
θ
，次任务t在神经网络上的进行初步训练，训练的随机化初始参数为θ，通过计算损失来寻找最优化参数，使用梯度下降来最小化损失，并找到最小化损失的最优参数：式中，θ
i
'次任务t道路边缘检测的最优参数，θ是初始化参数，α是次任务训练时的学习率超参数，
▽
θ
L
t
(f
θ
)任务t的梯度；通过前述道路边缘检测的初步训练为后续的主任务的寻优提供最优的初始参数θ'，主任务T道路语义分割的训练可以在最优的初始参数θ'下开始训练，得到目标主任务T的最优参数，借助初始最优参数使得随机初始化参数θ'找到一个和目标任务更加近似的初始参数，当训练主任务T时不需要采取许多梯度步骤，整个过程表述如下：式中，θ'是最优初始化参数，β是主任务训练时的学习率超参数，是对于每一个主任务T对于参数θ'的梯度；S13使用训练后的模型进行预测，在需要道路提取的数据集上通过有简单道路边缘标注的数据集上进行微调，在输入的遥感图像中提取出道路的位置和类型信息，并对提取出的道路进行后处理，包括去除噪声、填充缺失和连接断裂处理。2.根据权...

【专利技术属性】
技术研发人员：马云桥，王庆，张凯，阳媛，何勇，孙宏军，何非，解永兴，
申请(专利权)人：东南大学联通数字科技有限公司，
类型：发明
国别省市：