一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法技术

本发明专利技术公开了一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，该方法包括第一部分为建立航空影像建筑物屋顶样本库，第二部分是设计全卷积神经网络对建筑物屋顶样本进行特征学习，并用训练得到的网络进行建筑物屋顶检测，通过第三部分，通过对提取结果后处理，得到更加精确的建筑物屋顶结果，不同于传统提取方法，在数据获取方面，本方法充分利用丰富的无人机影像资源；在算法设计方法，本方法设计了特有的基于跳层连接的全卷积神经网络，在充分提取建筑物屋顶特征的同时，防止了梯度弥散与梯度爆炸，在后处理方面，本方法利用条件随机场与D‑S证据理论进行建筑物屋顶提取结果后处理，通过后处理提高了无人机影像建筑物屋顶的提取精度。

A method of building roof extraction from UAV image based on full convolution neural network

The invention discloses a method for extracting the roof of an UAV image building based on the full convolution neural network. The method comprises the following parts: the first part is to establish the roof sample database of an aviation image building, the second part is to design the full convolution neural network to carry out the characteristic study of the roof sample of a building, and carry out the roof detection of a building with the trained network, and the third part is to carry out the roof detection of a building through the Different from the traditional extraction method, this method makes full use of rich UAV image resources in data acquisition; in algorithm design method, this method designs a unique full volume neural network based on jump layer connection, which can fully extract the characteristics of building roof while preventing gradient dispersion and ladder In terms of post-processing, this method uses conditional random field and D \u2011 s evidence theory to post process the results of building roof extraction, which improves the extraction accuracy of building roof in UAV image.

【技术实现步骤摘要】
一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法
本专利技术涉及无人机影像处理
，尤其是涉及一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法。
技术介绍
随着我国城镇化进程的推进和经济建设的快速发展，建筑物的自动提取对于社会公众和各行业应用具有越来越重要的意义，建筑物要素的快速提取与更新以成为我国基础地理信息建设的一项十分重要内容。当前，基于高分辨率遥感影像的内业综合判调是基础地理信息要素更新的主要手段。相较于遥感影像建筑物内业判调，无人机影像获取难度较低，数据生产更加灵活，受到外界条件制约更少，无人机技术的高时效性、便捷性和经济性等优点使得利用无人机技术进行建筑物提取与更新具有很大优势。相比于外业地面实测建筑物数据，基于无人机技术影像的内业判绘方式提高了房屋提取与更新的效率。为了提高建筑物数据的生产与更新效率，亟需探索基于无人机影像的自动/半自动化建筑物屋顶快速提取方法，提高建筑物要素数据更新的自动化程度。随着无人机技术的飞速发展，影像数据的空间分辨率大大提高，并且提供了更加真实的地表细节信息，这为建筑物屋顶自动化提取提本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，其特征在于包括以下步骤：/n步骤一，建立无人机影像建筑物屋顶样本库，通过外业航飞及内业数据处理获得正射影像，对正射影像手工勾画建筑物屋顶样本，同时，添加部分开源高分辨率遥感影像建筑物屋顶样本，以增加网络对不同影像的识别能力，对样本库样本进行45度、90度、180度和270度旋转，同时进行模糊、gamma变换以及拉伸缩放，增加样本数量的同时，使得检测特征具有多方向、多环境的鲁棒性。/n步骤二，设计基于跳层连接的卷积神经网络，进行无人机影像建筑物屋顶特征提取，并使用多孔卷积增加视野，以提取更多建筑物屋顶的特征，根据航空影像建筑物屋顶样本特点...

【技术特征摘要】
1.一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，其特征在于包括以下步骤：
步骤一，建立无人机影像建筑物屋顶样本库，通过外业航飞及内业数据处理获得正射影像，对正射影像手工勾画建筑物屋顶样本，同时，添加部分开源高分辨率遥感影像建筑物屋顶样本，以增加网络对不同影像的识别能力，对样本库样本进行45度、90度、180度和270度旋转，同时进行模糊、gamma变换以及拉伸缩放，增加样本数量的同时，使得检测特征具有多方向、多环境的鲁棒性。
步骤二，设计基于跳层连接的卷积神经网络，进行无人机影像建筑物屋顶特征提取，并使用多孔卷积增加视野，以提取更多建筑物屋顶的特征，根据航空影像建筑物屋顶样本特点，结合传统深度卷积神经网络特征提取存在的问题，在特征提取阶段，将卷积模块的输入层与输出层进行跳层连接，设计基于跳层连接的卷积神经网络，反卷积特征重建，针对卷积特征提取获得的特征图，利用反卷积进行特征重建，在反卷积过程中，将反卷积过程得到的特征图与卷积过程中得到的特征图进行特征融合。
步骤三，用训练得到的网络模型进行建筑物屋顶检测。
步骤四，利用条件随机场进行建筑物屋顶边缘细化，针对初步检测得到的建筑物屋顶提取结果，利用条件随机场进行建筑物边缘细化，边缘更加精细的建筑物屋顶。
步骤五，基于D-S证据理论，进行基于特征证据的建筑物屋顶验证。


2.根据权利要求1所述的一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，其特征在于：所述步骤二具体包括以下内容：
(1)基于跳层连接的卷积神经网络，本发明根据无人机影像建筑物特点，结合传统卷积神经网络的优缺点，设计了基于跳层连接的卷积神经网络，网络共有6个残差卷积模块和2个普通卷积模块，残差卷积模块共包含15层卷积层和6层池化层，普通卷积模块包含8层卷积层，具体网络结构如附图2所示，在卷积过程中采用批标准化进行参数优化，激活函数选用ReLU将非线性特性引入网络，为解决传统深度卷积神经网络在进行特征提取过程中存在的特征丢失问题，采用基于跳层连接残差模块进行特征学习，将残差卷积模块的输入层与输出层进行跳层连接，保证特征提取结果的同时，防止了梯度弥散与梯度爆炸，跳层连接示意图如附图3所示。
(2)基于反卷积的建筑物特征重建，在经过卷积层特征提取后，采用反卷积层进行无人机影像建筑物屋顶特征重建，反卷积层共包含6个卷积模块，共包含6个反卷积上采样层和16层卷积层和6层反卷积上采样层，具体网络结构如附图2所示，在反卷积特征重建过程中，将反卷积得到的无人机影像建筑物屋顶特征图与卷积过程中得到的特征图进行特征融合，利用卷积过程中的特征图进行辅助特征重建，特征重建后，利用sigmoid分类器进行分类。


3.根据权利要求1所述的一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法，其特征在于：所述步骤四具体包括以下内容：
通过步骤三得到的无人机影像建筑物屋顶提取初步结果，我们选用条件随机场，对建筑物屋顶进行边缘细化，条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率不模型，能够较好地解决标记偏置问题，而且所有特征可以进行全局归一化，能够求得全局最优解。
条件随机场图像分割能量函数的构造：定义隐变量Xi为像素点i的分类标签，它的取值范围是就是我们要分类的语义标签L＝{11，12，13……}；Yi为每个随机变量Xi的观测值，也就是每个像素点的颜色值，条件随机场的图像语义分割的目标就是：通过观测变量Yi，推理出潜变量Xi的对应类别标签。
条件随机场(I|X)对应的Gibbs分布：
...

【专利技术属性】
技术研发人员：于洋，刘斌，苏正猛，白少云，吴波涛，王建春，梅伟，张永利，王静，顾世祥，黄俊伟，冯琦，白世晗，
申请(专利权)人：云南省水利水电勘测设计研究院，
类型：发明
国别省市：云南;53