基于2D-3D转换的无人机激光点云与序列影像配准方法技术

本发明专利技术提出了一种基于2D‑3D模型转换的无人机激光点云与序列影像配准方法，以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准。该方法可以较好解决初始配准误差较大或无初始配准参数条件下的无人机MMS采集的LiDAR点云数据与序列影像的配准问题。

【技术实现步骤摘要】
基于2D-3D转换的无人机激光点云与序列影像配准方法
本专利技术属于无人机测量数据融合中自动数据配准的应用，提出一种全新的激光点云与序列影像自动配准方法。
技术介绍
无人机移动测量系统实现了中低空遥感数据的覆盖，是传统摄影测量与遥感手段的有效补充，提供了包括高分辨率LiDAR(LightDetectionandRanging，激光测距)点云、航空影像等多种对地观测数据，在高精度地图构建、森林生物量估计、电力巡检等方面得到广泛应用。无人机平台由于载荷与成本的限制，携带轻小型或无POS系统，直接地理定向数据精度有限或无直接地理定向数据。无人机移动测量多在无地面控制点条件下进行数据采集，少有地面控制场对LiDAR点云与影像数据成果进行精度控制。同时，移动测量系统多传感器数据之间存在固有的配准误差，直接导致无人机MMS(MobileMappingSystem，移动测量系统)采集的LiDAR点云数据与序列影像之间不能直接配准融合，只能单源使用，进而降低无人机MMS成像数据的可用性。近年来，部分学者(例如，Habib等人，2005年；Mastin等人，2009年；Mitishita等人，2008年；Parmehr等人，2014年)在激光雷达数据和卫星拍摄的光学图像之间的配准方面做了许多研究。然而，由于使用小型无人机进行激光扫描仍是一项新的研究领域，因此人们对小型无人机拍摄的激光雷达数据和光学图像的配准工作关注较少。另一方面，由于小型无人机的传感器精度和重量之间的权衡，使用直接地理参照数据与现有的ALS数据和图像的配准方法可能会导致配准失败。此外，小型无人机的低飞行高度和产生的相对较高分辨率的图像增大了配准偏差，这种偏差可能达到几十个或几百个像素，导致小型无人机激光雷达数据和图像之间难以实现精确配准。目前主流的配准方法主要分为两大类，基于区域的配准方法和基于特征的配准方法。基于区域的方法通过最大限度地提高激光雷达数据和光学图像中相应图像区域的统计或灰度相似性来优化光学图像的EoPs。共轭区域匹配是这类方法的关键步骤。局部或全局相似度通常采用互有信息测量，利用待配准数据之间的统计依赖关系，得出相似度测量值。由于其非线性联合概率特性，互有信息作为一种异构数据的配准技术已被广泛采用(LeMoigne等，2011；Suri和Reinartz，2010)。Mastin等(2009)通过最大化灰度编码高度或回波脉冲强度与光学影像之间的相互信息，将航空影像配准到LiDAR点云上。然而，在激光雷达数据和微型无人机影像的情况下，使用基于区域的方法可能会导致配准失败。基于特征的方法通过从图像和激光雷达数据中提取特征来执行配准任务，以建立相机姿势估计的对应关系。各种类型的标量变量或几何基元可用于形成共轭特征。根据和Haggrén(2012)，使用人工特征的配准精度高于使用自然特征(如树冠)的配准精度。Palenichka和Zaremba(2010)结合强度描述符、区域形状特征和坐标，从LiDAR数据以及自然景观和带有人造物体的结构化场景的图像中自动提取控制点。局部尺度不变的图像特征，如尺度不变特征变换(SIFT)(Lowe，2004)也被广泛用于解决异构数据配准问题。和Becker(2007)利用SIFT特征检测器来匹配重飞图像和图像之间的相应特征点。其次，LiDAR数据边缘的离散采样点的线性特征也被用来配准LiDAR数据和图像。Habib等(2005)提出了一种利用线段对的激光雷达数据和影像的联合配准框架。一般来说，基于区域的方法在很大程度上依赖于强度图像的质量和正确性，而强度图像的质量和正确性是由强度校准效果决定的。然而，微型无人机载激光雷达系统中的回波脉冲强度校准仍然是一个持续的研究问题。基于特征的配准方法旨在提取和匹配场景内的物理几何基元，使两个数据集对齐。在LiDAR数据和图像中寻找共轭特征是一项复杂的任务。不匹配的对应特征可能会导致配准结果的精度和鲁棒性降低。因此，本专利以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准。
技术实现思路
针对小型无人机激光点云数据与序列影像之间配准方法的欠缺和不足，本专利技术提出新的一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法。为了解决上述技术问题，本专利技术采用如下的技术方案：一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法，包括以下步骤：步骤1，通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素，进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云；步骤2，在LiDAR点云中进行建筑物屋顶配准基元提取，并通过激光提取结果引导序列影像中的配准基元的提取，最终形成同名角点匹配集合；步骤3，根据同名角点匹配集合，解算2D-3D粗配准模型，获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系；步骤4，将粗配准解算获得的空间坐标转换关系作为初始值，使用ICP算法变种，实现MVS影像密集点云与LiDAR点云之间的最优配准，获得序列影像的精确配准参数。进一步的，步骤2的具体实现包括如下子步骤，步骤2.1，选用标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取，并且使用RecursiveMinimumBoundingRectangle算法进行建筑物外边界多边形提取与规则化，得到建筑物外框；步骤2.2，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上，由于反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移，需要进行进一步的修正，具体修正方法如下，(1)对反投影区域R1建立缓冲区，缓冲区宽度视区域内初始反投影误差定，在此区域内进行张量梯度统计，对于一张多通道影像f＝(f1,f2,...,fn)T，n为影像通道数，其结构张量定义为：其中，(ˉ)表示高斯核卷积运算，fx，fy表示水平与垂直方向上的梯度；对于彩色无人机影像f＝(R,G,B)T，进行空间求导运算后，张量G的两个特征值按式2与式3计算：其主方向按式4计算λ1表示在主方向上的局部衍生能量，λ2表示在垂直主方向上的局部衍生能量，将张量G的主方向作为张量梯度方向(θ)，其对应的λ1进行非局部最大值抑制后作为张量梯度的大小；通过上述方法计算出R1缓冲区内每个像素点的张量梯度大小与方向，并得出缓冲区内张量梯度统计直方图，将所有的LiDAR建筑物外框反投影到序列影像上，分析反投影缓冲区区域内的张量梯度统计图，对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除，保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1’；(2)旋转反投影区域R1’到张量梯度方向统计峰值的垂直方向，即建筑本文档来自技高网...

【技术保护点】
1.基于2D-3D转换的无人机激光点云与序列影像配准方法，其特征在于，包括如下步骤：/n步骤1，通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素，进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云；/n步骤2，在LiDAR点云中进行建筑物屋顶配准基元提取，并通过激光提取结果引导序列影像中的配准基元的提取，最终形成同名角点匹配集合；/n步骤3，根据同名角点匹配集合，解算2D-3D粗配准模型，获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系；/n步骤4，将粗配准解算获得的空间坐标转换关系作为初始值，使用ICP算法变种，实现MVS影像密集点云与LiDAR点云之间的最优配准，获得序列影像的精确配准参数。/n

【技术特征摘要】
1.基于2D-3D转换的无人机激光点云与序列影像配准方法，其特征在于，包括如下步骤：
步骤1，通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素，进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云；
步骤2，在LiDAR点云中进行建筑物屋顶配准基元提取，并通过激光提取结果引导序列影像中的配准基元的提取，最终形成同名角点匹配集合；
步骤3，根据同名角点匹配集合，解算2D-3D粗配准模型，获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系；
步骤4，将粗配准解算获得的空间坐标转换关系作为初始值，使用ICP算法变种，实现MVS影像密集点云与LiDAR点云之间的最优配准，获得序列影像的精确配准参数。


2.如权利要求1所述的基于2D-3D转换的无人机激光点云与序列影像配准方法，其特征在于：步骤2的具体实现包括如下子步骤，
步骤2.1，选用标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取，并且使用RecursiveMinimumBoundingRectangle算法进行建筑物外边界多边形提取与规则化，得到建筑物外框；
步骤2.2，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上，由于反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移，需要进行进一步的修正，具体修正方法如下，
(1)对反投影区域R1建立缓冲区，缓冲区宽度视区域内初始反投影误差定，在此区域内进行张量梯度统计，对于一张多通道影像f＝(f1,f2,...,fn)T，n为影像通道数，其结构张量定义为：



其中，(ˉ)表示高斯核卷积运算，fx，fy表示水平与垂直方向上的梯度；对于彩色无人机影像f＝(R,G,B)T，进行空间求导运算后，张量G的两个特征值按式2与式3计算：






其主方向按式4计算



λ1表示在主方向上的局部衍生能量，λ2表示在垂直主方向上的局部衍生能量，将张量G的主方向作为张量梯度方向(θ)，其对应的λ1进行非局部最大值抑制后作为张量梯度的大小；
通过上述方法计算出R1缓冲区内每个像素点的张量梯度大小与方向，并得出缓冲区内张量梯度统计直方图，将所有的LiDAR建筑物外框反投影到序列影像上，分析反投影缓冲区区域内的张量梯度统计图，对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除，保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1’；
(2)旋转反投影区域R1’到张量梯度方向统计峰值的垂直方向，即建筑物长边方向，得到旋转后的R2区域；以R2区域为核，构建缓冲区，在R2的主方向与垂直主方向上进行缓冲区滑动，统计R2与其缓冲区构成的区域内的张量梯度大小的和，在局部极大响应处停止滑动，将此区域作为进行序列影像建筑物基元提取的最优选区R3；使用基于全局对比度显著性检测的分割方法，在R3区域内进行建筑序列物影像的分割，对分割结果进行轮廓提取，并使用RMBR算法进行规则化，即可得到规则化的序列影像建筑物配准基元；
步骤2.3，对于区域R3的外多边形角点和序列影像配准基元规则化后获得的外多边形角点，计算两个外多边形角点之间在像平面上的空间距离，并依据空间邻近性准则生成同名角点；同时，根据序列影像中选择的同名角点，获取MVS影像密集点云与LiDAR点云的同名角点匹配集合。


3.如权利要求1所述的基于2D-3D转换的无人机激光点云与序列影像配准方法，其特征在于：步骤3的具体实现包括如下子步骤，
步骤3.1，使用同名角点匹配集合解算2D...

【专利技术属性】
技术研发人员：陈驰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42