一种基于遥感影像和深度学习的道路提取方法技术

本发明专利技术涉及一种基于遥感影像和深度学习的道路提取方法，步骤为：在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；使用Canny边缘检测算法对截取的遥感像对图像边缘进行提取，将提取得到的图像与原图像叠加，突出道路特征；搭建图像分类模型，在对基础的网络进行分类任务的训练中，留下低级的图像特征信息，并在特征提取模型构建的流程中，传递给下一级语义分割模型；搭建语义分割模型，用于在遥感影像中分割出道路信息；训练后，提取道路信息的网络参数将留存在分割模型中。本发明专利技术通过对图像进行预处理，突出道路特征，用以加速学习，加速语义分割模型的训练，可以实现提取遥感影像道路信息的效果。

A Road Extraction Method Based on Remote Sensing Image and Deep Learning

The invention relates to a road extraction method based on remote sensing image and depth learning. The steps are as follows: in remote sensing image, the resolution of remote sensing image is determined and intercepted, and the intercepted remote sensing image is labeled with data; the image edge is extracted by Canny edge detection algorithm, and the obtained image is superimposed with the original image to highlight the road characteristics; Image classification model, in the training of basic network classification tasks, leaves low-level image feature information, and in the process of feature extraction model construction, transfers to the next level of semantic segmentation model; builds semantic segmentation model, which is used to segment road information in remote sensing images; after training, the network parameters of extracting road information will remain in the segmentation model. The method can realize the effect of extracting road information from remote sensing image by preprocessing the image, highlighting road characteristics, accelerating learning and accelerating the training of semantic segmentation model.

【技术实现步骤摘要】
一种基于遥感影像和深度学习的道路提取方法
本专利技术涉及一种计算机视觉领域，具体为一种基于遥感影像和深度学习的道路提取方法。
技术介绍
随着空间信息技术的发展，以及从遥感数据中提取影像的相关技术愈发成熟，遥感影像的应用也逐渐从军事等专业领域走入日常生活中。处于正常工作状态的遥感卫星每次环绕至取样地点时，都可以采集广阔范围内的精细数据，因而遥感影像具有很高的实时性和有效性。除可见光波段外，卫星可以通过不同种类的传感器获取红边波段，黄边波段等各波段的数据，因而当前遥感影像的一大应用是在环境资源领域。在农业、林业、海洋、水利、生态环境等领域，不同波段的影像可以很方便的获取到诸如植被覆盖、地表温度、温室气体浓度等信息。相关技术的高速发展带来了应用成本的下降，现在很多电子地图，诸如百度、高德等都集成了遥感影像地图，并免费提供服务给每一位用户。因此研究者们也不再仅仅局限于环境、救灾等专业领域的粗粒度分析，转而用遥感影像数据来解决如城市规划等领域中因数据获取成本过高而导致的数据集缺失问题。其中一个非常重要的问题就是自动路网提取，在飞速发展的城市中，道路结构很可能在数月内发生巨大的变化，提取的道路信息可以用来生成用于导航的路网地图，而健全的路网，往往意味着城市的建设状况更好，因此从遥感影像中提取的道路信息，也可以用来分析城市的经济信息。近年来，随着图像处理利器——深度学习的飞速发展，在遥感影像上使用深度学习对遥感影像进行分割、分类的研究者也逐渐增加。在用于提取遥感影像数据时，深度学习技术与传统的图像处理相比，有更高的泛用性和准确性。深度学习是当前最受关注的机器学习方法，2012年深度学习模型获得了ImageNet冠军，让深度学习成为了近几年人工智能领域内的研究热点。深度学习最早起源于机器学习的连接学派，连接学派通过使用人工神经网络中权值的变化来模拟学习的过程。深度学习狭义的定义就是很多层(深)的神经网络，早期的连接学派受限于计算机计算性能的瓶颈，无法使用较为复杂的模型因而效果很差。深度学习通过提高神经网络层数，获得了提取复杂特征的能力，解决了此问题。但是在对比传统学习算法与人类的学习过程时，研究者们发现一个很大的问题，即在于机器学习算法(包括深度学习)，通常都基于某一个特定领域下的特定学习过程，而人类在成长过程中，可以将已经学到的知识“迁移”到初次接触的新领域中。以图像分类举例，很多分类算法的测试都是从最简单的“猫狗分类”开始的，在训练和测试时，都要使用猫和狗的照片。一个使用猫狗照片训练出的算法，在测试时，如果遇见卡通的猫狗图片，就无法对其分类。而人类则不受此限制。显然，研究者不可能针对于世界上所有的问题都训练出一个算法，机器学习应当具有“举一反三”的能力。
技术实现思路
针对现有技术中学习算法不具有普适性、对于图片的识别要求太高或者只能单一识别某一具体情况等不足，本专利技术要解决的问题是提供一种学习能力强的基于深度学习和遥感影像的道路提取方法。为解决上述技术问题，本专利技术采用的技术方案是：本专利技术一种基于遥感影像和深度学习的道路提取方法，包括以下步骤：1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习；3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中。步骤1)中对截取遥感影像进行数据标注为：101)观察并测量遥感影像所覆盖的地理范围，结合要提取的道路实际情况，截取图像分类和语义分割任务的原始数据是尺寸为256*256，即0.23像素每米分辨尺度的RGB遥感的影像；102)定义道路为三级以上的公路，即双车道，8.5米宽以上的公路；103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问题；设图像矩阵M为:其中，为图像矩阵，(Rij，Gij，Bij)为图像矩阵M上的任意元素，对于尺寸为256*256的训练图像，有i＝256，j＝256；104)对于图像矩阵M上的任意元素(Rij，Gij，Bij)，设道路图像的像素集合为R，可生成一个新图像矩阵M’，其任意元素aij，有：新的图像矩阵M'即为标注结果。步骤2)中使用Canny边缘检测算法对截取的遥感影像进行预处理为：201)用高斯滤波去除影像噪点，得到去噪后的图像；202)使用Sobel算子，利用卷积操作计算遥感影像x和y两个方向的梯度，尺寸为3的Sobel算子，在x和y两个方向的卷积核如下:203)提取边缘信息时，缩减边缘，只保留局部最大梯度，通过Canny算法使用两个阈值，来区分边缘像素，利用低阈值过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值区分强边缘点和弱边缘点。步骤3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，具体为：301)以VGG-16网络作为基础模型，搭建图像分类模型卷积层；302)搭建图像分类模型的全连接层；303)图像分类模型使用Softmax结合交叉熵作为损失层，对于一个K类分类，Softmax的计算过程为：为其中，ai为向量a中任意一个元素，aj为中间元素，j为中间变量，k为任意实数的向量维数；304)训练图像分类模型，将图像的低层次特征保存在图像分类模型中。步骤301)中，以VGG-16网络作为基础模型，搭建图像分类模型过程为：30101)第1层和第2层均为64个卷积核，卷积核大小为3，步长为1，填充1的卷积层，用以在不改变尺寸大小的同时，引入足量的参数，不改变尺寸大小的意义在于不破坏特征在空间中的结构；30102)第3层为步长和卷积核大小均为2的最大池化层，用以减小尺度，同时尽可能的保留特征信息。通过卷积对尺寸影响的规律计算，在第3层的池化输出的尺寸是112*112，而后第4层和第5层均为128个卷积核，卷积核大小为3，步长为1，填充1的卷积层，这两层会保持尺寸为112*112，只是通过128个卷积核，引入更多参数；30103)第6层为步长和卷积核大小均为2的最大池化层，用以减小尺寸，将其降低为56*56。之后第7、第8层、第9层使用大小为3的卷积核，步长为1，充填为1，卷积核的数量为256个的卷积层。此卷积过程中，同样不会对尺寸造成改变；30104)第10层为池化层，与前文的池化层参数相同，第11、12、13层均为卷积核的数量为512，卷积核大小为3，步长为1，充填1的卷积层。第14层到第17层，与第10层到第13层的结构相同；30105)第18层是池化层，与前文池化层参数相同，然后是两个分别具有4096个神经元的全连接层，接着是具有1000个神经元的全连接层，用于分类训练。步骤302)中，搭建图像分类模型的全连接层为：30201)所有的卷积层和全连接层均使用线性整流函数作为激活函数；30202)在最后3层的全连接层上，使用概率为0.5的dropout，防止网络在训本文档来自技高网...

【技术保护点】
1.一种基于遥感影像和深度学习的道路提取方法，其特征在于包括以下步骤：1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习；3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中。

【技术特征摘要】
1.一种基于遥感影像和深度学习的道路提取方法，其特征在于包括以下步骤：1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习；3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中。2.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤1)中对截取遥感影像进行数据标注为：101)观察并测量遥感影像所覆盖的地理范围，结合要提取的道路实际情况，截取图像分类和语义分割任务的原始数据是尺寸为256*256，即0.23像素每米分辨尺度的RGB遥感的影像；102)定义道路为三级以上的公路，即双车道，8.5米宽以上的公路；103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问题；设图像矩阵M为:其中，为图像矩阵，(Rij，Gij，Bij)为图像矩阵M上的任意元素，对于尺寸为256*256的训练图像，有i＝256，j＝256；104)对于图像矩阵M上的任意元素(Rij，Gij，Bij)，设道路图像的像素集合为R，可生成一个新图像矩阵M’，其任意元素aij，有：新的图像矩阵M'即为标注结果。3.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤2)中使用Canny边缘检测算法对截取的遥感影像进行预处理为：201)用高斯滤波去除影像噪点，得到去噪后的图像；202)使用Sobel算子，利用卷积操作计算遥感影像x和y两个方向的梯度，尺寸为3的Sobel算子，在x和y两个方向的卷积核如下:203)提取边缘信息时，缩减边缘，只保留局部最大梯度，通过Canny算法使用两个阈值，来区分边缘像素，利用低阈值过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值区分强边缘点和弱边缘点。4.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，具体为：301)以VGG-16网络作为基础模型，搭建图像分类模型卷积层；302)搭建图像分类模型的全连接层；303)图像分类模型使用Softmax结合交叉熵作为损失层，对于一个K类分类，Softmax的计算过程为：为其中，ai为向量a中任意一个元素，aj为中间元素，j为中间变量，k为任意实数的向量维数；304)训练图像分类模型，将图像的低层次特征保存在图像分类模型中。5.根据权利要求4所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤301)中，以VGG-16网络作为基础模型，搭建图像分类模型过程为：30101)第1层和第2层均为64个卷积核，卷积核大小为3，步长为1，填充1的卷积层，用以在不改变尺寸大小的同时，引入足量的参数，不改变尺寸大小的意义在于不破坏特征在空间中的结构；30102)第3层为步长和卷积核大小均为2的最大池化层，用以减小尺度，同时尽可能的保留特征信息。通过...

【专利技术属性】
技术研发人员：于瑞云，乔通，汪宇庭，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21