一种基于中心投影的强度图像与纹理序列间的配准方法技术

本发明专利技术属于点云数据与纹理序列间配准的技术领域，特别涉及一种基于中心投影的强度图像与纹理序列间的配准方法。本发明专利技术基于中心投影的强度图像与纹理序列间的配准方法，采用了NDT与ICP匹配结合的方法来配准采集到的三幅局部点云，最后利用SIFT把纹理影像和配准后的点云进行特征匹配，同时采用融合预处理算法解决了重叠问题。通过共线方程实现了多幅点云数据与纹理序列的自动配准，并保证了算法的稳健性和可靠性。

A registration method between intensity image and texture sequence based on central projection

【技术实现步骤摘要】
一种基于中心投影的强度图像与纹理序列间的配准方法
本专利技术属于点云数据与纹理序列间配准的
，特别涉及一种基于中心投影的强度图像与纹理序列间的配准方法。
技术介绍
传感器技术、算法与数据处理能力日渐强大，激光雷达测量技术(LidarMappingTechnology)应用广泛。激光扫描仪以自动高效的方式提供精确的测量；摄像机提供大量的光谱信息数据，其中，激光扫描仪数据和相机数据的特性相互补充，这对于集成数据处理方案很有价值。目前，国内外学者提出了不同的方法配准两种异源数据。Aguilera和Laho利用图像建模的方法，基于单个图像得到激光扫描仪和未校准数字相机的自动配准，其中，配准的问题通过2D图像和3D点云对应自动解决，2D和3D点的对应是基于两个距离和一个角度的空间不变量的搜索进行匹配，但是该方法必须考虑几个输入因素，例如特殊目标，消失点和几何约束等，以至于其算法复杂度高，时间效率低。Al-Manasir和Fraser针对研究对象上的编码目标提出了一种策略，该目标由校准的数码相机记录，刚性连接到激光扫描仪，使用全自动的处理方法解决激光扫描仪坐标系内相机的空间位置和方向的问题。被识别的编码目标则被应用到3D相似性变换上。然而这种方法需要一台连接到激光扫描仪上的相机和放置在研究对象上的一些编码目标，导致算法的鲁棒性较差。GauravPandey提出了一种激光雷达和相机系统的自动、无目标、外部校准的算法，适用于现场校准，并且使用基于互信息(MutualInformation，MI)的框架来交叉记录由相机和激光模态测量的强度和反射率信息，以至于算法对硬件的要求较高，时间效率低。闫利等提出一种基于互信息的车载激光雷达点云数据与全景图的配准算法。通过使用统一的球面全景成像模型，将车载激光雷达点云数据生成的深度图与互信息提取后的全景图进行匹配，但是该方法采用球面全景成像模式，导致配准精度较低。
技术实现思路
为了解决地面激光扫描仪在大场景扫描中无法一次性采集到完整点云数据以及点云数据与单张纹理影像配准无法得到完整的RGB信息的问题，本专利技术提出了一种多幅点云数据与纹理序列间的自动配准方法。为了达到上述目的，本专利技术采用了下列技术方案：一种基于中心投影的强度图像与纹理序列间的配准方法，将多幅点云进行配准，包含以下步骤：步骤1，多幅局部点云数据预处理；步骤2，局部点云数据的配准；步骤3，强度图像的生成与处理；步骤4，纹理序列畸变矫正；步骤5，强度图像与纹理序列的特征匹配与优化；步骤6，消除多张纹理影像与强度图像匹配的重叠；步骤7，得到带有纹理的点云数据，完成配准。进一步地，所述步骤1中多幅局部点云数据预处理的具体方法为：利用PCL(PointCloudLibrary)中的体素滤波器对每一幅点云数据进行滤波处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，即完成多幅局部点云数据预处理。相对于其他方法，该方法不仅减少了点云数据，还保持了点云的形状特性，对于采样点对应曲面的表示更为准确。再进一步地，所述步骤2中局部点云数据的配准的具体方法为：对采集获得的旋转错位、平移错位、以及不完整的局部点云进行配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，最后将变换矩阵作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到初值，并经过多次迭代，得到最优的匹配结果。更进一步地，所述步骤3中强度图像的生成与处理的具体方法为：将每个激光扫描仪点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，即完成强度图像的生成；在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题；即遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为该图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标；用了反权距离插值方法(InverseDistanceWeighted，IDW)来解决生成的强度图像中有像素值为0的问题，即完成强度图像的处理。虽然地面激光扫描仪大多采用球面投影方法获取三维点云数据，但是，直接利用球面投影方法生成强度图像，会在之后的特征匹配中存在较大的形变，最终导致两种异源数据配准失败。而中心投影的方法和数码相机的投影方法相同，减少了两种非同源数据间的差别，增加了配准成功的概率，因此本专利技术采用中心投影的方法生成强度图像。更进一步地，所述步骤4中纹理序列畸变矫正的具体方法为：对一幅退化图像的恢复，有空间坐标变换、像素灰度级确定两个主要工作部分，将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，先假设激光扫描仪光轴中心为图像中心求畸变系数的粗略值，计算光轴中心，再求畸变系数，然后利用双线性插值法对像素点灰度进行恢复，完成畸变矫正；所述空间坐标变换是让像素落在正确的位置；所述像素灰度级确定是对纹理影像进行视觉上的修正。更进一步地，所述步骤5中强度图像与纹理序列的特征匹配与优化的具体方法为：采用SIFT实现强度图像和纹理影像的匹配：首先，实现SIFT特征检测要通过连续应用高斯低通滤波器构建图像尺度空间金字塔，在被检测的图像中，金字塔局部极值被检测为关键点，并使用泰勒展开来计算它们的准确位置；随后，分析所选关键点的两个稳定性标准；如果校正位置处的泰勒展开小于峰值阈值，则丢弃具有低对比度的关键点，相反，则丢弃位于边缘上的极值，小于定义的边缘阈值表示主曲率，手动优化这些阈值来检索最佳候选对应集；引入了极线几何并采用RANSAC算法对SIFT技术提供的候选对应点进行优化。更进一步地，所述步骤6中消除多张纹理影像与强度图像匹配的重叠的具体方法为：首先采用SIFT方法对纹理序列进行特征检测，并得到对应的不变矩阵；然后，利用加权融合方法得到加权系数；最后通过加权系数对待处理的纹理序列进行融合预处理，即完成多张纹理影像与强度图像匹配的重叠的消除。更进一步地，所述步骤7中得到带有纹理的点云数据的具体方法为：将步骤5中，强度图像与纹理序列的特征匹配与优化后得到的参数值代入共线方程(1)中，即将纹理影像序列的纹理信息赋给点云数据，实现点云数据与纹理序列的配准；其中，x，y是已知的图像坐标，X,Y,Z表示构成对象的相应的已知激光扫描仪坐标，矩阵r是组成未知的旋转矩阵的元素，是步骤5中得到的参数值，X0,Y0,Z0表示未知的相机位置，f则表示主焦距。与现有技术相比本专利技术具有以下优点：异源数据配准的研究虽然解决了一些问题，但是并没有在多幅局部点云与多张纹理影像方面展开研究。因此，为了解决地面激光扫描仪在大场景扫描中无法一次性采集到完整点云数据以及点云数据与单张纹理影像配准无法得到完整的RGB信息的问题，本文提出了一种多幅点云数据与纹理序列间的自动配准方法。首先对局部点云进行3本文档来自技高网...

【技术保护点】
1.一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：将多幅点云进行配准，包含以下步骤：/n步骤1，多幅局部点云数据预处理；/n步骤2，局部点云数据的配准；/n步骤3，强度图像的生成与处理；/n步骤4，纹理序列畸变矫正；/n步骤5，强度图像与纹理序列的特征匹配与优化；/n步骤6，消除多张纹理影像与强度图像匹配的重叠；/n步骤7，得到带有纹理的点云数据，完成配准。/n

【技术特征摘要】
1.一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：将多幅点云进行配准，包含以下步骤：
步骤1，多幅局部点云数据预处理；
步骤2，局部点云数据的配准；
步骤3，强度图像的生成与处理；
步骤4，纹理序列畸变矫正；
步骤5，强度图像与纹理序列的特征匹配与优化；
步骤6，消除多张纹理影像与强度图像匹配的重叠；
步骤7，得到带有纹理的点云数据，完成配准。


2.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤1中多幅局部点云数据预处理的具体方法为：利用PCL中的体素滤波器对每一幅点云数据进行滤波处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，即完成多幅局部点云数据预处理。


3.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤2中局部点云数据的配准的具体方法为：对采集获得的旋转错位、平移错位、以及不完整的局部点云进行配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，最后将变换矩阵作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到初值，并经过多次迭代，得到最优的匹配结果。


4.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤3中强度图像的生成与处理的具体方法为：将每个激光扫描仪点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，即完成强度图像的生成；在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题；即遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为该图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标；用了反权距离插值方法IDW来解决生成的强度图像中有像素值为0的问题，即完成强度图像的处理。


5.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤4中纹理序...

【专利技术属性】
技术研发人员：熊风光，陶谦，韩燮，况立群，梁振斌，高焱，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14