一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法技术

本发明专利技术公开了一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，属于遥感科学技术领域。本发明专利技术步骤为：首先通过二维深度卷积网络分类多波段光学影像；再将地表覆盖二维分类的结果（即类别概率）利用最近邻算法赋予机载LiDAR点云，作为三维点云的先验概率特征；而后采用三维神经网络分类已嵌入二维类别概率的LiDAR点云，得到最终的城市三维土地覆盖分类结果。本发明专利技术利用先验级耦合策略将光学影像提供的波段信息赋予LIDAR点云，弥补了现有三维LiDAR点云数据中存在较少的标注数据的问题，先验级耦合策略分类策略可以降低训练过程的损失，以获得更好的分类效果，并阐释了城市地表覆盖二维分类与三维分类之间的联系。

【技术实现步骤摘要】
一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法
本专利技术涉及遥感科学
，更具体地说，涉及一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法。
技术介绍
激光雷达探测技术(LightDetectionAndRanging，简称LiDAR)对地球表面进行三维密集采样，以三维点云这种模态刻画复杂现实世界，可作为地表覆盖三维分类的几何载体。但是，LiDAR点云的数据量大、冗余度高、非结构化、采样粒度不均等典型特征，给复杂城市环境下地表覆盖三维分类带来了巨大挑战。近年来，深度学习在摄影测量与遥感领域得到广泛应用。与此同时，结合结构性强、波段信息丰富的遥感光学影像，有助于推动实景三维走向实体三维，满足城市地理大数据挖掘所需要的语义化、结构化的地表覆盖三维分类产品。从数据分析角度出发，城市地表覆盖三维分类可以理解为对表达城市三维地物的点云进行分类，目前主要是对LiDAR点云的分类。2012年Singh等在期刊《ISPRSJournalofPhotogrammetryandRemoteSensing》74卷中发表“LiDAR-Landsatdatafusionforlarge-areaassessmentofurbanlandcover:Balancingspatialresolution,datavolumeandmappingaccuracy”一文，将影像与LiDAR生成的DSM数据联结起来，采用极大似然方法与决策树进行分类，表明使用融合的特征比单一的影像或LiDAR特征可获得更高的精度；2015年Paisitkriangkrai等在会议论文集《ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops》中发表“Effectivesemanticpixellabellingwithconvolutionalnetworksandconditionalrandomfields”一文，研究中利用深度卷积网络处理光学影像处理得到光学分类结果，再采用随机森林处理人为构造的LiDAR特征得到另一个分类结果，最后按照启发式的规则将二者分类结果融合；近年来，神经网络的快速发展，提升了计算机视觉与遥感领域分类任务的精度，特别是，2017年Qi在会议论文集《ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops》中发表“Pointnet:Deeplearningonpointsetsfor3dclassificationandsegmentation”一文，研究表明三维深度学习Pointnet网络突破了点云稀疏、无序为多尺度特征学习造成的困难，为“端到端”地学习特征提供了可能，使得深度学习在点云分类中取得了快速的发展。然而，目前对于光学影像和LiDAR的融合在三维分类中较少体现。二维光学影像与LiDAR数据异质性强，二维光学影像映射到三维空间存在着信息升维的难点，且对三维LiDAR点云数据而言存在较少的标注数据，特别是包括多波段信息的标注数据。综上所述，如何克服上述缺点融合光学影像和LiDAR得到城市地表覆被三维分类结果，是现有技术亟需解决的问题。
技术实现思路
本专利技术要解决的技术问题是：对三维LiDAR点云数据而言，目前存在较少的标注数据，特别是包括多波段信息的标注数据；被动光学影像可为LiDAR点云提供波段信息，但二维光学影像映射到三维空间存在着信息升维的难点，提供一种先验级耦合分类方法。为了解决以上技术问题，本专利技术提供的一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，包括以下步骤：步骤1、对多波段光学影像进行地表覆盖分类，得到各像元的分类类别概率向量p＝(p1,p2,…,pk)，k表示地表覆盖二维类别的总数；步骤2、将各像元的分类类别概率向量作为LiDAR点的先验概率特征，赋给最近邻的LiDAR点；步骤3、采用三维神经网络对已嵌入分类类别概率向量的LiDAR点云进行地表覆盖分类，得到最终的城市三维土地覆盖分类结果。相比于现有技术，本专利技术的有益效果为：(1)本专利技术的一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，利用二维深度卷积网络分类多波段光学影像得到地表覆盖二维分类，将其作为先验结果加入三维深度学习分类网络，搭建了二维分类与三维分类间的桥梁；(2)本专利技术的一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，先验级的耦合策略可以解决三维训练数据缺乏的问题并利用充足的二维神经网络预训练模型；(3)本专利技术的一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，先验级的三维LiDAR点云与二维光学影像耦合分类策略可以降低训练过程的损失，获得更好的F1。附图说明图1为本专利技术先验级耦合分类策略的实施流程示意图。图2为国际摄影测量与遥感学会提供的光学影像与LiDAR点云数据图。图3为实施例中点云高程信息，真值与先验级策略的融合分类结果图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的统计表与附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为进一步了解本专利技术的内容，结合附图和实施例对本专利技术作详细描述。结合图1所示，本专利技术的一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，首先通过二维深度卷积网络分类多波段光学影像；再将地表覆盖二维分类的结果(即类别概率)利用最近邻算法赋予机载LiDAR点云，作为三维点云的先验概率特征；而后采用三维神经网络分类已嵌入二维类别概率的LiDAR点云，实现城市三维土地覆盖分类，并潜在表征地表覆盖二维分类与三维分类之间的关系。本专利技术利用先验级耦合策略将光学影像提供的波段信息赋予LIDAR点云，弥补了现有三维LiDAR点云数据中存在较少的标注数据的问题，先验级耦合策略分类策略可以降低训练过程的损失，获得更好的分类效果，并阐释了城市地表覆盖二维分类与三维分类之间的联系。如图2所示，本实施例中LiDAR点云数据由国际摄影测量与遥感协会提供(http://www2.isprs.org/commissions/comm3/wg4/tests.html)，是由徕卡ALS50系统于2008年8月所拍摄。具体的，该数据是由LeicaGeosystems使用具有45°视场的LeicaALS50系统在Vaihingen采集而得，其地理坐标系是WGS84，投影坐标系是UTM-32N。其中，图2-1为训练数据，图2-2为测试数据，图2-3为训练数据所在区本文档来自技高网...

【技术保护点】
1.一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，包括以下步骤：/n步骤1、对多波段光学影像进行地表覆盖分类，得到各像元的分类类别概率向量p＝(p

【技术特征摘要】
1.一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，包括以下步骤：
步骤1、对多波段光学影像进行地表覆盖分类，得到各像元的分类类别概率向量p＝(p1，p2，...，pk)，k表示地表覆盖二维类别的总数；
步骤2、将各像元的分类类别概率向量作为LiDAR点的先验概率特征，赋给最近邻的LiDAR点；
步骤3、采用三维神经网络对已嵌入分类类别概率向量的LiDAR点云进行地表覆盖分类，得到最终的城市三维土地覆盖分类结果。


2.根据权利要求1所述的基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，其特征在于：步骤1中，使用二维深度卷积网络对多波段光学影像进行地表覆盖分类，具体方法如下：
使用计算机视觉邻域的SegNet分类多波段光学影像，SegNet包括编码网络与解码网络，编码网络包含5组编码器，其参数使用VGG-16初始化，每组编码器使用卷积层、批归一化层、ReLU激活层、最大池化层提取特征并降低其扩大感受野；
解码网络通过上采样层、卷积层、批归一化层、ReLU激活层进行低分辨率特征的上采样，得到与原图像大小一致的特征图像；利用最大池化层的索引，上采样得到分辨率变大的稀疏特征，这些稀疏特征经过卷积层、批归一化层、ReLU激活层生成密集特征；
SegNet处理光学影像得到的地表覆盖二维分类结果利用行(r)和列(c)确定的每个像素的位置(r，c)，每个位置包含属于各类别的概率向量：
p＝(p1，p2，…，pk)
其中，k表示地表覆盖二维类别总共有k类。


3.根据权利要求1所述的基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，其特征在于：所述LiDAR点使用坐标值(x，y，z)表示其位置，利用横坐标x，纵坐标y计算出其对应的栅格数据中的行和列(r′，c′)，



其中(X，Y)表示光学影像左上角的坐标，gsd表示光学影像的空间分辨率；
在步骤2中，将像元的分类类别概率向量p＝(p1，p2，...，pk)嵌入至对应LiDAR点中，得到重构的含有二维类别概率的LiDAR点数据(x，y，z，p1，p2，...，pk)。


4.根据权利要求1所述的基于深度学习的LiDAR点云与光学影像先验级耦合分类方法，...

【专利技术属性】
技术研发人员：陈焱明，刘小强，李满春，万思达，程亮，陈丹晖，肖一嘉，赵琪琪，陈坚利，陈东，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32