综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法技术

本发明专利技术提出的是一种综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，包括如下步骤：(1)基于机载激光数据的快速建模方法；(2)联合车载点云与影像的语义分割框架；(3)融合多源数据的模型自动增强算法。本发明专利技术以机载激光点云，车载激光点云和街景影像为研究对象，以模型重建、模型增强与更新为目标，并实现不同平台点云与影像数据的联合处理，充分挖掘各类数据的融合潜力。最终的研究成果将完善车载‑机载数据的融合与精细建模框架，推动点云数据语义分割技术发展，并服务于无人驾驶等新兴应用领域。

【技术实现步骤摘要】
综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
本专利技术涉及的是一种综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，属于激光雷达和街景影像遥感数据技术处理领域。
技术介绍
城市三维模型是基础测绘、智能交通、城市管理和空间分析的重要基础。近年来随着自动驾驶和自主物流的发展，对三维模型的准确度和精细度提出了更高的要求。例如在无人驾驶中，精细的三维模型能够辅助车辆导航及停靠。在过去的研究中，机载激光雷达和车载激光雷达是重建城市三维模型的重要数据来源。机载激光雷达数据是在空中进行采集，它含有丰富的屋顶信息，但立面信息相对较少。车载激光雷达数据沿街道采集，包含丰富的立面信息，但屋顶信息很少且观测不完整，从而导致建筑轮廓不完整。因此，将车载激光雷达获取的精细的立面信息(例如窗户和阳台)与粗糙的建筑模型(例如由机载激光雷达数据生成的模型)相结合，由此获得增强的精细三维模型成为一种极具潜力的技术设想。事实上，实现这种技术设想存在诸多问题。在机载点云建筑重建中，如何快速构建稳定、密合的三维模型依旧没有得到很好的解决，例如如何处理数据缺失，减少大量的先验假设，复杂屋顶探测等。车载激光雷达采集到点云数据通常具有海量的体积，由遮挡和扫描模式造成的不规则的数据缺失，以及密度变化极其不均匀等特点，从而对数据处理鲁棒性和普适性提出了很高的要求。此外，精细立面模型的构建需要分别重建各个局部结构，如窗户，阳台等，因此需要准确的语义标注作为基础。然而，车载点云的语义分割问题目前没有得到很好的解决，例如激光点云的语义分割通常只基于局部几何特征，而这些特征受到密度变化，数据缺失等诸多因素的影响。目前，车载激光雷达设备通常搭载了固定姿态的相机，可以采集到大量的影像数据，为车载点云提供色彩和纹理信息，但如何联合车载激光点云和对应的影像数据，目前也并没有切实可行的技术方案。整体而言，联合机载数据与车载数据进行城市模型增强主要面临以下难点：1)由于建筑形态各异，如何使用较少的预定义规则，从机载点云中快速构建大场景建筑轮廓模型，对算法的鲁棒性和普适性有很高的要求；2)由于精细的三维模型依赖于准确的点云语义分割结果，而车载激光点云数据缺失严重，密度变化大，且缺乏纹理色彩信息，因此如何联合点云与影像数据进行细粒度的语义标记成为难点；3)在融合机载数据和车载数据过程中，很难评估和调整不同数据源包含的误差(几何误差和语义标记误差)，并最大程度上实现两者的优势互补。(1)基于机载点云的建筑三维建模3D建筑模型在数字城市中是一个非常显著的特征，在其他应用方面也是如此，如地理信息系统、城市规划、灾害管理、应急响应以及虚拟/增强现实等。目前由于城市的快速发展以及即时信息的需求，3D建筑自动重建在摄影测量和计算机视觉方面一直都是研究热点，许多学者提出了基于摄影测量数据或者LiDAR数据的建模方法。但是对于大范围的建筑自动建模一直都是一项困难而且耗时的工作，尤其结构复杂的建筑物3D重建是一个具有挑战性的问题。目前基于机载LiDAR数据的复杂建筑3D模型重建方法主要为数据驱动。数据驱动方法是基于建筑物外形为多边形这一假设，例如建筑屋顶均为平面。因此通常基于数据驱动的方法利用分割算法进行的是平面分割，这些分割算法包括区域增长、随机采样一致性(RandomSampleConsensus，RANSAC)、霍夫变换和聚类。然后基于屋顶分割结果，再根据屋顶面片的邻接关系就能够构造出建筑物模型。国内学者基于数据驱动也做了较多的研究，针对复杂建筑物提出基于关键点检测的模型自动重建方法，利用拓扑约束获取屋顶交线和交点，最终获取到高精度的三维建筑物模型，根据聚类得到屋顶面片，进行屋顶平面拟合，然后提取建筑物边界和各屋顶面片边界，从而获得屋顶各角点的三维坐标来构建建筑物模型。数据驱动能够重建复杂建筑物模型，而高分辨率航空影响作为补充数据能够使模型重建更加精细。不少学者利用高分辨率CCD影像几何形状显著的特点，从LiDAR数据获取建筑高度赋予相应建筑轮廓线来得到建筑3D模型。譬如提出一种多视角航空影像结合LiDAR数据实现建筑精细建模的方法，亦或首先进行屋顶分割，再通过摄影测量数据和LiDAR数据的融合精确提取出屋顶面片边界，从而得到复杂结构的建筑物模型。在最近十年里，还有许多学者也提出了LiDAR数据与光学影像相结合的建筑模型重建方法。在这些已提出的方法中，线段和平面面片主要用于构造基元和拓扑关系，而拓扑关系可以构造出粗略的建筑模型，然后利用光学影像就可以得到精确的建筑物模型。上述提到的方法虽然基于2D图像的边界检测算法效果很好，但是在混合图像中面临的主要挑战是匹配模糊。在基于机载LiDAR数据的复杂建筑3D模型重建方法研究中，也有很多学者在数据驱动下加入了经验模型，成为数据驱动和模型驱动的混合建模方法：譬如通过数据驱动和模型驱动方法的融合以及利用图像和LiDAR数据的优点建立一种建筑模型全自动生成框架。首先从LiDAR数据提取出建筑点云和边界；然后将提取出的不规则建筑边界融合到基于模型的图像处理策略中，即可得到规则的建筑边界；接着对建筑屋顶边界利用最小边界矩形算法分离得到组成屋顶的基元；最后通过基于模型的图像匹配从影像获取的边界线对建筑模型基元进行调整，从而得到精度更高的建筑模型。或者是结合数据驱动与模型驱动的优点，将DSM进行二维空间划分，然后利用吉布斯模型控制基元组合和数据拟合，最后利用贝叶斯后验概率求解模型的最优参数，该方法只适用于大场景，能够对不同分辨率的DSM进行屋顶建模。混合模型虽然结合了数据驱动和模型驱动的优点，但是也受限于两者的缺点，特别是难以建立完整的基元库。综上所述，利用数据驱动构建城区屋顶大场景的三维建筑模型能够最大限度的保留屋顶细节信息，不受限预定义基元模型库的限制，且对于复杂多样的建筑具有很强的适用性。但该方法对数据质量要求较高，点云密度、建筑点云完整性以及点云空间分布不均匀性也都会影响重建结果。但是随着激光雷达扫描系统技术不断升级以及对数据质量的重视，目前获取的机载LiDAR数据质量包含了比较丰富的细节信息，密度也有了极大地提升，这在很大程度上弥补了数据驱动方法的不足，极大地扩展了数据驱动应用的范围和领域，是目前机载建筑建模的一个趋势。(2)基于车载点云的建筑模型重建与增强从车载激光点云中重建三维建筑模型是近年来的车载点云数据处理的研究热点。首先采用区域生长算法分割点云，然后根据建筑不同部件的先验知识，如墙面朝向，窗户形状等，标记不同的语义部件，最后通过多边形拟合获得车载建筑模型。譬如车载激光点云首先被监督学习算法分为建筑，植被，车辆等类别，然后建筑点云被切割成较小的平面基元，而一系列的平面基元又可以组合成预先定义的屋顶，长方体等语义部件，最终的建筑模型可以通过组合不同的语义部件来获得。有学者提出了一种直接通过平面基元组合和相交而获取建筑模型的算法，减少了对复杂基元库的依赖。在城区建筑建模方面，基于街景影像的三维重建方法获得了较多的研究，但是该类数据精度较低且通常需要转换成点云再处理。因此，基于车载激光雷达数本文档来自技高网...

【技术保护点】
1.综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是包括如下步骤：/n(1)基于机载激光数据的快速建模方法；/n(2)联合车载点云与影像的语义分割框架；/n(3)融合多源数据的模型自动增强算法。/n

【技术特征摘要】
1.综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是包括如下步骤：
(1)基于机载激光数据的快速建模方法；
(2)联合车载点云与影像的语义分割框架；
(3)融合多源数据的模型自动增强算法。


2.根据权利要求1所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤(1)综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法具体包括：
①建筑点云提取
为兼顾建筑物机载点云的均质性和完整性，避免建筑屋顶点云的错分或丢失，从而有效地从中提取出机载建筑点云数据，本发明综合利用地物特征信息，采用层进式的提取方法，提取建筑点云：首先对原始点云滤波分离出地面点和非地面点，在此基础上利用植被点云多回波特性和法向量分布特性检测并剔除大部分植被点，然后采用连通成分分析进行聚类得到初始建筑物区域，最后结合几何和空间分布特征分离得到建筑物屋顶点云；
②建筑屋顶分割
采用屋顶拓扑图进行屋顶模型重建时，关键问题是如何建立建筑物的屋顶面拓扑图，而拓扑图建立的关键在于如何实现屋顶面的准确分割，针对屋顶分割过程中常出现的过分割问题，本发明综合点云法向量的聚类增长分割算法和RANSAC(RandomSampleConsensus，RANSAC)算法，得到粗粒度的屋顶面片分割结果，在此基础之上进一步采用图割优化，提纯屋顶分割结果，保证屋顶面片分割的精度和屋顶面片分割的拓扑正确性；
③建筑模型重建
在完成屋顶分割基础上，本发明提出了一种改进的基于拓扑图的建筑屋顶模型重建方法，边界不仅代表了建筑物的位置，也代表了建筑物墙面的位置，该方法首先采用α-shape算法得到边界点云，并结合边界正规化规则提取出建筑边界，然后基于屋顶面片相交结果建立屋顶拓扑图，根据拓扑图揭示的面片相交关系得到屋脊线，再结合由邻近边界线段所构造的墙面即可得到相关屋顶平面的其它关键边界线段，最后根据每个面的关键线段构建封闭多边形，对于关键线段少于两条的屋顶面片，本发明直接求取其外接多边形，通过组合这些封闭多边形实现建筑屋顶模型三维重建，即采用先分割后匹配的策略，具体步骤如下：
1)基本建筑分割单元的匹配：分割单元模型匹配的核心任务是探测分割单元屋顶结构类型和对应最优屋顶结构参数，抽象目标函数设计如下：



其中，N为分割单元所含面片数目，f(χp，α)为最小二乘拟合函数，P为分割单元内部点集，α为基元模型参数向量，为求解公式(1)，本发明耦合马尔可夫蒙特卡罗(MCMC)与模拟退火算法，从模型库自动匹配，求解最优模型参数α*，为降低模拟退火算法的时间复杂度，对部分简单屋顶结构基元，可直接采用统计分析方法，以简化匹配过程，统计分析方法首先探测出分割单元屋顶结构类型，然后采用公式(1)求解最优参数α*，具体步骤为：在二维空间中将当前分割单元等分成八个三角子区域(相同颜色代表相同朝向的屋顶面片)，依据RANSAC(RandomSampleConsensus，RANSAC)算法得到的屋顶面片分割结果及点云法向量，分配分割单元点云到相应子区域，最终通过对子区域点云统计分析，确定最适合分割单元的屋顶结构；
2)规则曲面几何元素的匹配：在利用改进的RANSAC(RandomSampleConsensus，RANSAC)算法分割建筑屋顶面片时，圆柱、圆锥和圆球等规则曲面几何元素已经被精确提取，因此直接利用其最优模型参数θ*构建相应几何模型；
3)复杂分割单元屋顶的简化建模：假如上述1)和2)匹配完成后，公式(1)仍然存在较大残差，说明模型库中现有基元不足以表达当前分割单元，对于该类分割单元，本发明直接简化由原始点云构建的三角网，以保持当前复杂分割单元的建筑屋顶的结构细节。


3.根据权利要求1所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤(2)联合车载点云与影像的语义分割框架具体包括如下步骤：
①点云体素生成方法；
②基于卷积神经网络的语义分割框架。


4.根据权利要求3所述的综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法，其特征是所述步骤①点云体素生成方法具体包括：
本发明通过深度网络组合点云的逐点特征与非局部空间特征，在构造网络之前，首先对原始点云数据进行超体素分割，而大尺度空间特征则通过学习超体素之间的空间关系而得到，因此本发明基于二分图匹配的层次聚类算法进行点云的超体素结构划分，以图2为例进行阐述：首先，初始数据中包含六个聚类中心(图2(a)第一列)，并以此构建出两两相连的二分图结构(图2(b)第一列)，在算法实施过程中，点云中的每一个点可以作为初始聚类中心，接着计算二分图中所有连接边的相似度，相似度越高则选取该边作为匹配边的概率越大，然后采用匈牙利算法对二分图进行优化，并合...

【专利技术属性】
技术研发人员：马艳艳，孙卫锋，
申请(专利权)人：山东水利技师学院，
类型：发明
国别省市：山东;37