利用激光点云辅助的可量测全景影像生成方法技术

本发明专利技术公开了一种利用激光点云辅助的可量测全景影像生成方法，包括：步骤1，将全景影像进行虚拟成像获得多幅框幅式影像；步骤2，选取初始点对，并初始化各框幅式影像的外方位元素；步骤3，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，获得邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像。采用本发明专利技术生产的可量测全景影像具有较高精度，可广泛运用于测量领域及资产调查。

【技术实现步骤摘要】

本专利技术属于计算机视觉及激光点云测量数据处理自动化领域，尤其涉及一种利用激光点云辅助的可量测全景影像生成方法。
技术介绍
车载移动测量系统(mobilemappingsystem，MMS)结合激光扫描仪、全景相机、高精度定位定姿系统(positionandorientationsystem，POS)等多种优异的传感器，是近年来快速发展的一种新型集成高效的测量系统。利用该系统可以融合激光点云的几何属性及全景影像的光谱属性，生产具有可量测性的全景影像，用于城市规划、道路检测、市政部件资产普查等。而准确地将激光点云、全景影像数据配准以及准确地计算点云特征是生产可量测全景影像的前提。目前，国内外一些学者已经对上述问题做了一些研究，ZHANGandPLESS（2004）通过棋盘格子标定的方式，将影像与激光点云配准；MEIandRIVES（2006）提出了一种配准柱状相机和激光点云的方式；曾凡洋（2016）给出了一种基于共线方差的全景与点云配准方式。现有许多全景配准研究主要是在车载扫描仪与车载全景相机间的研究，这类研究往往基于扫描仪与相机之间通过系统标定建立其严格几何关系的前提之下，而对于非同机采集数据，POS初值不准的情况下全景影像与激光点云数据的配准研究较少，如果没有靶标，则无法采用上述标定的方法；而如果采用共线方程的方法，则存在全景影像畸变大，因而，选点时不可选图像上靠近边缘的点，且点对选择不当就会造成误差很大。对于点云法向量的计算，HoppeandDeRose（1992）假设点云的采样平面是局部处处光滑的，这样对于每一个点都位于一个平面上，对于采样点p，取以p为中心，k为半径的邻域中所有点，将这些点拟合平面，该平面的法向量作为采样点p的法向量。GrossandPfister（2007）在此基础上，对采样点p的k邻域内的每一个点赋予高斯权重，即离采样点p越近的点对采样点p的法向量影响越大。LangeandPolthier（2005）利用主元分析法（PrincipalComponentAnalysis，PCA）计算采样点p的k邻域内所有点的主成分作为采样点p的法向量。但是由于激光点云数据采集过程中产生的噪声点影响，法向量计算会有一定的误差，如何合理的处理噪声点的影响，是一个需要解决的问题。
技术实现思路
针对现有技术存在的不足，本专利技术提供了一种利用激光点云辅助的可量测全景影像生成方法。本专利技术方法包括全景影像激光点云配准、点云特征计算及可量测全景影像生成。第一步中，将全景影像和点云配准，即计算全景影像的曝光中心在点云坐标系下的三维坐标以及全景影像的三个角度控制的朝向。第二步中，为处理大规模点云的计算和拣选，将车载激光点云建立空间索引，并根据第一步计算出的全景影像曝光中心的位置，选出曝光中心半径R内的点云为后续处理做准备。第三步中，计算选出的点云中每个点的法向量，再依次遍历全景影像的每个栅格，求出对应点云中点的深度，并将该点的法向量保存，对于全景影像中栅格没有对应三维点的情况，需要通过双三次内插得到该栅格深度。本专利技术的技术方案如下：利用激光点云辅助的可量测全景影像生成方法，包括步骤：步骤1，将全景影像沿水平方向划分为多个部分，分别进行虚拟成像获得多幅框幅式影像，各框幅式影像像主点对应的虚拟光线水平方向均匀分布；沿水平方向将框幅式影像依次记为框幅式影像0、框幅式影像1……框幅式影像N-1；步骤2，选取初始点对，并初始化框幅式影像的外方位元素，具体为：各框幅式影像上分别随机选取角点，所选角点和所选角点在激光点云坐标下对应的激光点构成初始点对；采用PNP算法计算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空间姿态关系，获得其他框幅式影像的外方位元素初始值；步骤3，基于步骤2所得外方位元素初始值，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，根据步骤3所得外方位元素中线元素获得全景影像的曝光中心，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，将各激光点的法向量作为邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像。步骤1中，将全景影像沿水平方向划分为6个部分。步骤2中，所述的各框幅式影像上分别随机选取角点具体为：框幅式影像0上随机选取4个以上角点；其他框幅式影像上随机选取2个以上角点。步骤3中，所述的条件方程如下：其中：imgj表示框幅式影像j；pji表示框幅式影像j的初始点对中第i个激光点；Q(imgj,pi)表示pji在imgj上的推测投影点；xji表示框幅式影像j的初始点对中与pji对应的角点；d(·)表示推测投影点和xji的平面距离；jm表示框幅式影像j的初始点对的点对数；vij为系数，步骤5中，计算邻域点云中各激光点的法向量，具体为：找激光点的k邻近点；求k邻近点的质心；计算半正定协方差矩阵其中，pi表示激光点的第i个邻近点的坐标，表示质心的坐标；分解半正定协方差矩阵，其最小特征值即激光点的法向量。步骤6中，邻域点云的深度采用如下方法获得：遍历全景影像的各栅格，各栅格对应点云中激光点的深度即栅格的深度，所有栅格的深度构成邻域点云的深度。若当前栅格无对应点云，通过相邻栅格的深度内插获得当前栅格的深度。本专利技术的特点如下：本专利技术可实现可量测全景影像的生产，其中，设计了一种全景影像和激光点云配准方法，以实现全景影像和激光点云无靶标情况下的准确配准；完成了大规模点云索引的生成，方便后续对点云数据及计算及显示等其他运用的实现；设计了一种鲁棒性PCA点云特征计算方法，降低了点云中点噪声对点特征计算的影响。采用本专利技术生产的可量测全景影像具有较高精度，可广泛运用于测量领域及资产调查。附图说明图1是本专利技术的具体流程图；图2是虚拟成像原理图；图3是虚拟成像示例图，其中，图（a）为全景影像，图（b）～（g）为6幅框幅式影像；图4是实施例中点云索引示例图，图（a）和图（b）分别为不同视角的点云索引截图；图5是实施例中点云数据在全景影像上的投影示意图，图（a）～（f）分别为不同场景下点云数据在全景影像上的投影示意图。具体实施方式本专利技术可采用计算机软件方式支持自动运行流程，其流程如图1所示，包括以下步骤：步骤1：全景影像的虚拟成像。将全景影像按照水平方向划分成6个部分，虚拟成像得到6个框幅式影像，每张框幅式影像的像主点对应的虚拟光线水平均匀分布，每张框幅式影像与第一张框幅式影像相机主轴水平夹角分别为0°、60°、120°、180°、240°、300°，对应的框幅式影像序号依次为0、1、2、3、4、5。本实施例中，水平方向划分为6个部分充分考虑了影像间的重叠关系以及数据冗余度，通过大量实践经验，划分为6个部分可相对保证影像的重叠度，也保证了较小的数据冗余度。框幅式影像成像原理如图2，令全景影像的成像中心为Op，令虚拟成像相机内方位元素中像主点cx＝cy＝c0，焦距为f＝f0，面阵大小为h*w，外方位元素角元素对应的旋转矩阵为Rv，而虚拟成像的曝光中心与全景影像的曝光中心相同，则外方位元素中的本文档来自技高网...

【技术保护点】
利用激光点云辅助的可量测全景影像生成方法，其特征是，包括步骤：步骤1，将全景影像沿水平方向划分为多个部分，分别进行虚拟成像获得多幅框幅式影像，各框幅式影像像主点对应的虚拟光线水平方向均匀分布；沿水平方向将框幅式影像依次记为框幅式影像0、框幅式影像1……框幅式影像N‑1；步骤2，选取初始点对，并初始化框幅式影像的外方位元素，具体为：各框幅式影像上分别随机选取角点，所选角点和所选角点在激光点云坐标下对应的激光点构成初始点对；采用PNP算法计算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空间姿态关系，获得其他框幅式影像的外方位元素初始值；步骤3，基于步骤2所得外方位元素初始值，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，根据步骤3所得外方位元素中线元素获得全景影像的曝光中心，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，将各激光点的法向量作为邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像。...

【技术特征摘要】
1.利用激光点云辅助的可量测全景影像生成方法，其特征是，包括步骤：步骤1，将全景影像沿水平方向划分为多个部分，分别进行虚拟成像获得多幅框幅式影像，各框幅式影像像主点对应的虚拟光线水平方向均匀分布；沿水平方向将框幅式影像依次记为框幅式影像0、框幅式影像1……框幅式影像N-1；步骤2，选取初始点对，并初始化框幅式影像的外方位元素，具体为：各框幅式影像上分别随机选取角点，所选角点和所选角点在激光点云坐标下对应的激光点构成初始点对；采用PNP算法计算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空间姿态关系，获得其他框幅式影像的外方位元素初始值；步骤3，基于步骤2所得外方位元素初始值，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，根据步骤3所得外方位元素中线元素获得全景影像的曝光中心，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，将各激光点的法向量作为邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像。2.如权利要求1所述的全景影像和激光点云的配准方法，其特征是：步骤1中，将全景影像沿水平方向划分为6个部分。3.如权利要求1所述的全景影像和激光点云的配准方法，其特征是：步骤2中，...

【专利技术属性】
技术研发人员：杨必胜，李健平，董震，刘缘，刘洋，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42