一种基于新型卷积神经网络的遥感图像道路提取方法技术

本发明专利技术提出一种基于新型卷积神经网络的遥感图像道路提取方法，属于遥感图像处理领域。本方法包括建立全卷积神经网络，使用像素与道路区域的最小欧氏距离获得惩罚权重并构建新的损失函数，使用得到的基于道路结构的损失函数对全卷积神经网络模型进行训练，使用训练好的模型进行道路提取。本发明专利技术可以将道路的几何结构以惩罚权重的形式体现在损失函数中，不仅保留道路的全局结构特性，而且为每一个像素点提供相应的重要系数，采用本发明专利技术所得到的遥感图像道路检测模型与现有技术相比，在查全率和精度方面都有所提升，能够得到完整的道路结构，改善道路中断并排除屋顶误检等情况，获得较好的道路提取效果。

【技术实现步骤摘要】
一种基于新型卷积神经网络的遥感图像道路提取方法
本专利技术属于遥感图像处理领域，具体是一种基于道路结构特性的卷积神经网络模型实现遥感图像道路提取的方法。
技术介绍
有研究表明，经过近20年的研究，遥感图像道路提取技术仍然并不成熟。由于卫星或者无人机拍摄的遥感图像中经常存在着树木，行人和车辆对道路的遮挡和阴影，并且道路的外形千差万别，这些特点为遥感道路提取带来了极大的挑战。传统的启发式的遥感图像道路提取方法，例如：动态阈值、形态学处理、模板匹配等，表现均不理想。基于学习的遥感图像道路提取方法，例如：支持向量机、聚类、马尔科夫随机场等，相比于传统的启发式的遥感图像道路提取方法的提取精度相对有所提升，但是仍需进一步研究。另外，卷积神经网络在图像的特征提取与分类问题中取得的优异成绩，表明了卷积神经网络的特征挖掘和抽象能力。也正因如此，卷积神经网络也被引入了遥感领域并被用于遥感图像道路提取。参考文件[1](S.Saito,T.Yamashita,andY.Aoki,“Multipleobjectextractionfromaerialimagerywithconvolutionalneuralnetworks,”ElectronicImaging,vol.2016,no.10,pp.1–9,2016.)中同样使用了卷积神经网络来实现遥感图像的道路提取，但是采用向量形式的输出，这样会导致遥感图像中道路的二维相关性信息丢失，得到结构出现断裂，以及把屋顶误判成道路的检测结果。
技术实现思路
本专利技术针对目前并不完善的遥感图像道路提取方法，提出一种基于道路结构特性的损失函数，实现了一种基于全卷积神经网络的遥感图像道路提取方法。本专利技术提供的基于全卷积神经网络的遥感图像道路提取方法，包括步骤如下：步骤一、建立全卷积神经网络模型；步骤二、建立基于道路结构特性的损失函数，所述的损失函数L表示为：其中，I表示当前图像内所有像素点的集合；f(di)为惩罚权重，di代表第i个像素点到图像内道路区域的最小欧氏距离；yi是地面真值，若第i个像素点是道路，yi＝1，若第i个像素点不是道路，则yi＝0；ai表示网络输出，是当前第i个像素点为道路的概率。步骤三、使用基于道路结构特性的损失函数，对构建的全卷积神经网络模型进行训练，并使用训练得到的最佳模型进行道路提取。本专利技术的优点和积极效果在于：(1)本专利技术的遥感图像道路提取方法，使用全卷积神经网络实现结构性输出，可以充分挖掘遥感图像中道路的二维几何结构相关性。(2)本专利技术的一种基于新型卷积神经网络的遥感图像道路提取方法，构建一种基于道路结构特性的损失函数。本专利技术的损失函数可以将道路的几何结构以惩罚权重的形式体现在损失函数中，不仅保留道路的全局结构特性，而且为每一个像素点提供相应的重要系数。最终，指导整个模型的训练，得到基于道路几何构型特性的遥感图像道路检测模型。附图说明图1为本专利技术的遥感图像道路提取方法的流程图；图2为全卷积神经网络结构图；图3为使用本专利技术的遥感图像道路提取方法的实验结果图示。具体实施方式下面结合附图与具体实例对本专利技术的技术方案作进一步的描述。本专利技术发现，与普通的目标提取方法不同，道路满足一定的几何构型约束，这可以作为道路提取的一个线索。但是目前，没有任何一种基于卷积神经网络的遥感图像道路提取方法把道路的结构信息融入到损失函数当中，以改进模型。本专利技术实现的一种基于新型卷积神经网络的遥感图像道路提取方法，首先，在经典神经网络VGG的基础上，使用反卷积层和剪切层建立全卷积神经网络。然后，定义并构建基于道路结构特性的损失函数，具体地，使用像素与道路区域的最小欧氏距离获得惩罚权重并用于构建新的损失函数。使用得到的基于道路结构的损失函数对本专利技术中的神经网络模型进行训练。同时，对训练得到的道路提取模型的技术效果进行评估与分析。本专利技术的基于新型卷积神经网络的遥感图像道路提取方法的流程如图1所示，下面对各步骤进行说明。步骤一、选取全卷积神经网络。受到全卷积神经网络(FullyConvolutionalNetwork)的启发，在VGG网络的基础上建立全卷积神经网络。具体的神经网络结构如图2所示，使用VGG的前13层(C1,C2,…,C13)，后续连接3个卷积层(C14,C15,C16)，3个反卷积层(DC1,DC2,DC3)，2个融合层(F1,F2)和1个剪切层(Crop1)，实现网络最终输出与输入尺寸相同。其中，Ci(k,s×s,c)代表第i个卷积层，该卷积层中卷积核的个数是k，卷积核的尺寸是s×s，步长是c；DCi(k,s×s,c)的定义是第i个反卷积层，该反卷积层中滤波器的个数是k，反卷积核的尺寸是s×s，步长是c；Fi是第i个融合层；Cropi是第i个剪切层。本专利技术中的网络和参考文件[2](J.Long,E.Shelhamer,andT.Darrell,“Fullyconvolutionalnetworksforsemanticsegmentation,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.3431–3440.)中的FCN(FullyConvolutionalNetwork)的区别在于C14中卷积核由4096调整为2048。但本专利技术不限于上文选用的特定网络，本专利技术提出的基于道路结构特性的损失函数可以搭配其他任意合适的拥有结构性输出的全卷积神经网络，得到基于道路结构特性的遥感图像道路检测模型。步骤二、建立基于道路结构特性的损失函数。步骤201、使用训练数据的地面真值得到各像素点惩罚权重。惩罚权重f(di)如下计算：其中，I代表当前图像内所有像素点的集合；di代表当前第i个像素点到图像内道路区域的最小欧氏距离；maxi∈I{di}代表当前图像内的所有像素点中到道路区域欧氏距离的最大值，T是设置的一个阈值，用于决定当前像素距离道路区域是否足够远。在当前的像素点到道路区域足够远时(di≥T)，将惩罚系数定义为常数认为当前像素点对于道路区域的提取产生的影响度相同。步骤202、定义基于道路结构特性的损失函数：式(2)表明，在一定距离范围内(di<T)，像素点离道路区域越远，对道路区域的提取结果产生的影响越小，进而获得的惩罚权重系数越小。但是当前像素点一旦超过范围限定(di≥T)，则认为对道路区域的提取结果产生的影响很小，并且在范围外的所有像素点之间没有区别，将惩罚权重系数设为常数。yi是地面真值，即如果第i个像素点是道路，则yi＝1，如果第i个像素点不是道路，则yi＝0。ai表示网络输出，即当前第i个像素点为道路的概率。步骤三、使用基于道路结构特性的损失函数，对本专利技术中构建的全卷积神经网络模型进行训练。步骤301、使用现有的数据库，对图像进行遴选，形成训练集。本专利技术实施例中，从现有的RGB遥感图像的数据库中，挑选14498张分辨率为375x375的遥感图像形成训练集，224张相同分辨率的遥感图像形成验证集，784张相同分辨率的遥感图像形成测试集。步骤302、将遴选好的图像处理成实验所用的数据格式。本专利技术实施例中，需要将图像处理为LMDB格式，实验在“caffe”平台上完成本文档来自技高网...

【技术保护点】
一种基于新型卷积神经网络的遥感图像道路提取方法，其特征在于，包括步骤：步骤一、建立全卷积神经网络模型；步骤二、建立基于道路结构特性的损失函数，所述的损失函数L表示为：

【技术特征摘要】
1.一种基于新型卷积神经网络的遥感图像道路提取方法，其特征在于，包括步骤：步骤一、建立全卷积神经网络模型；步骤二、建立基于道路结构特性的损失函数，所述的损失函数L表示为：其中，I表示当前图像内所有像素点的集合；f(di)为惩罚权重，di代表第i个像素点到图像内道路区域的最小欧氏距离；yi是地面真值，若第i个像素点是道路，yi＝1，若第i个像素点不是道路，则yi＝0；ai表示第i个像素点为道路的概率；步骤三、使用基于道路结构特性的损失函数，对全卷积神经网络模...

【专利技术属性】
技术研发人员：徐迈，魏亚男，王祖林，陶晓明，
申请(专利权)人：北京航空航天大学，清华大学，
类型：发明
国别省市：北京,11