基于多传感器点云的鲁棒配准方法及系统技术方案

本发明专利技术涉及一种基于多传感器点云的鲁棒配准方法及系统，其中系统包括折反射全景相机、激光传感器、移动机器人底盘和可伸缩支架，可伸缩支架一端固定连接所述折反射全景相机和激光传感器，另一端固定连接移动机器人底盘；其中方法包括：通过所述移动机器人底盘实时获取平台的位置和姿态，并生成规划路径，根据所述规划控制机器人运动，使得所述折反射全景相机和所述激光传感器在扫描点进行点云采集，得到点云信息；通过非线性优化和深度学习的点云配准算法对所述点云信息进行点云配准，得到配准后的点云；对所述配准后的点云进行后处理，包括进行三维点云分割和点云三角面片化，得到经过所述后处理的点云。得到经过所述后处理的点云。得到经过所述后处理的点云。

【技术实现步骤摘要】
基于多传感器点云的鲁棒配准方法及系统


[0001]本专利技术属于测量
，具体涉及一种基于多传感器点云的鲁棒配准方法及系统。

技术介绍

[0002]点云配准是计算机视觉(Computer Vision)领域一项重要的研究内容。一直以来，点云配准工作局限在采用单一三维传感器对场景进行点云采集，并将不同视角的点云进行配准得到场景的完整三维表示，但是在面向大场景三维重建时，由于大场景空间范围广、点云数据量大，采用单一三维传感器难以获得场景的全方位信息。
[0003]因此，有必要建立一种多传感器点云采集系统来解决单一传感器获得场景信息少的难题，并结合多传感器点云的鲁棒配准方法解决多传感器采集的点云配准误差大，鲁棒性差的问题。

技术实现思路

[0004]本专利技术提供基于多传感器点云的鲁棒配准方法及系统，旨在至少解决现有技术中存在的技术问题之一。本专利技术利用折反射全景相机视场大的优点并结合激光传感器分辨率高的特点，形成了多传感器点云采集系统，提出了多传感器点云的鲁棒配准方法，解决了单一传感器获得场景信息少的难题。解决了多传感器采集的点云配准误差大，鲁棒性差，最后应用本专利技术提出的点云配准方法进行三维重建、机器人定位等。
[0005]本专利技术的技术方案涉及一种基于多传感器点云的鲁棒配准方法，用于移动式多传感器点云采集系统，所述移动式多传感器点云采集系统包括折反射全景相机、激光传感器、移动机器人底盘和可伸缩支架，所述可伸缩支架一端固定连接所述折反射全景相机和激光传感器，另一端固定连接所述移动机器人底盘；所述方法包括以下步骤：
[0006]A、通过所述移动机器人底盘实时获取平台的位置和姿态，并生成规划路径，根据所述规划控制机器人运动，使得所述折反射全景相机和所述激光传感器在扫描点进行点云采集，得到点云信息；
[0007]B、通过非线性优化和深度学习的点云配准算法对所述点云信息进行点云配准，得到配准后的点云；
[0008]C、对所述配准后的点云进行后处理，包括进行三维点云分割和点云三角面片化，得到经过所述后处理的点云。
[0009]进一步，所述方法还包括：
[0010]在执行所述步骤A前，对所述折反射全景相机采用泰勒图像模型进行标定；
[0011]在进行所述点云采集时，将标定球设置在所述激光传感器的视野内，且使所有的所述标定球不在同一平面内。
[0012]进一步，所述折反射全景相机和所述激光传感器在扫描点进行点云采集，得到点云信息包括：
[0013]A1、通过编码光发射子系统向观演空间投射编码光，使得所述编码光在被测物体上产生畸变；
[0014]A2、通过全景相机子系统采集畸变的编码光，并通过基于主动视觉的复杂场景三维全景感知方法，生成深度信息；
[0015]A3、通过信号处理与控制子系统，将所述深度信息转换为点云信息。
[0016]进一步，所述通过所述移动机器人底盘实时获取平台的位置和姿态，并生成规划路径包括：
[0017]通过所述移动机器人底盘的激光雷达、IMU和轮式编码器获取的传感器数据，经时间戳同步后进行定位与建图，得到全局地图；
[0018]基于所述全局地图生成全局轨迹，并基于所述全局轨迹得到一个以当前机器人位置为中心的滑动窗口；
[0019]当检测到未知障碍物和所述滑动窗口内的轨迹发生碰撞，则生成一条重规划的局部轨迹，并将所述局部轨迹连接到所述全局轨迹上的某个点，得到规划路径。
[0020]进一步，所述步骤B包括：
[0021]计算得到刚性变换参数
g
，计算公式为：
[0022][0023]其中，P∈R
M
×3，Q∈R
N
×3，R∈SO(3)为旋转矩阵，t∈R3为平移向量， r(F(P)，F(RQ+t))＝||F(P)
‑
F(RQ+t)||2为激光传感器点云P与变换后的全景相机点云Q之间的特征度量投影误差，F是编码器模块学习到的特征提取函数。
[0024]进一步，所述步骤B包括：
[0025]B1、基于编码器模块，通过权值共享的多层感知机和最大池化层提取两片输入点云的特征，其中所述输入点云包括激光传感器点云P和全景相机点云Q；
[0026]B2、通过解码器以非监督的方式训练所述编码器模块，将所述特征恢复到点云里对应的部分；
[0027]B3、计算基于所述特征度量投影误差，公式为：
[0028][0029]其中F(.)∈R
K
是提取到点云的全局特征，g是变换矩阵，其中包括旋转矩阵和平移矩阵，K是特征维数，F是所述编码器模块学习到的特征提取函数；
[0030]并根据所述特征计算雅克比矩阵，公式为：
[0031][0032]其中，J是F(P)关于变换参数θ的雅可比矩阵，ξ＝(R
i
，t
i
)是迭代过程中变换参数的无穷小扰动；
[0033]将得到的特征误差输入到非线性优化算法中来估计变换增量Δθ，更新变换参数，其中
[0034]Δθ＝(J
T
J)
‑1J
T
r
[0035]把所述变换参数作用到所述全景相机点云Q上，得到的新的全景相机点云Q；
[0036]确定源点云和目标点云是否完整对齐，若不是则返回所述步骤B1。
[0037]进一步，所述步骤B2包括：
[0038]基于倒角损失函数和几何损失函数训练所述编码器模块；
[0039]其中，所述倒角损失函数计算公式如下；
[0040][0041]其中，p∈A是一组从单位平方内采样的点，x是点云的特征，是多层感知机的第i个神经元的参数，S
*
是原始输入的三维点云；
[0042]所述几何损失函数的计算公式如下：
[0043][0044]其中，P是点云，M是它的总点数。
[0045]进一步，所述步骤C包括：
[0046]通过CloudCompare对所述点云进行裁剪，得到pts点云文件；
[0047]通过Geomagic将所述pts点云文件封装成三角面片。
[0048]本专利技术的技术方案还涉及一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。
[0049]本专利技术的技术方案还涉及一种移动式多传感器点云采集系统，包括扫描仪、移动机器人底盘、可伸缩支架及所述的计算机可读存储介质；其中，所述扫描仪包括折反射全景相机和激光传感器；所述可伸缩支架一端固定连接所述扫描仪，另一端固定连接所述移动机器人底盘。
[0050]与现有的技术相比，本专利技术具有以下的特点。
[0051]1、本专利技术提供了一种移动式多传感器点云采集系统。设计并搭建了移动机器人作为传感器的底盘，可以实现二维平面的建图与导航，点云采集设备分别采用折反射全景相机和激光传感器，利用折反射全景相机视场大的优点并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器点云的鲁棒配准方法，用于移动式多传感器点云采集系统，所述移动式多传感器点云采集系统包括折反射全景相机、激光传感器、移动机器人底盘和可伸缩支架，所述可伸缩支架一端固定连接所述折反射全景相机和激光传感器，另一端固定连接所述移动机器人底盘；其特征在于，所述方法包括以下步骤：A、通过所述移动机器人底盘实时获取平台的位置和姿态，并生成规划路径，根据所述规划控制机器人运动，使得所述折反射全景相机和所述激光传感器在扫描点进行点云采集，得到点云信息；B、通过非线性优化和深度学习的点云配准算法对所述点云信息进行点云配准，得到配准后的点云；C、对所述配准后的点云进行后处理，包括进行三维点云分割和点云三角面片化，得到经过所述后处理的点云。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在执行所述步骤A前，对所述折反射全景相机采用泰勒图像模型进行标定；在进行所述点云采集时，将标定球设置在所述激光传感器的视野内，且使所有的所述标定球不在同一平面内。3.根据权利要求1所述的方法，其特征在于，所述折反射全景相机和所述激光传感器在扫描点进行点云采集，得到点云信息包括：A1、通过编码光发射子系统向观演空间投射编码光，使得所述编码光在被测物体上产生畸变；A2、通过全景相机子系统采集畸变的编码光，并通过基于主动视觉的复杂场景三维全景感知方法，生成深度信息；A3、通过信号处理与控制子系统，将所述深度信息转换为点云信息。4.根据权利要求1所述的方法，其特征在于，所述通过所述移动机器人底盘实时获取平台的位置和姿态，并生成规划路径包括：通过所述移动机器人底盘的激光雷达、IMU和轮式编码器获取的传感器数据，经时间戳同步后进行定位与建图，得到全局地图；基于所述全局地图生成全局轨迹，并基于所述全局轨迹得到一个以当前机器人位置为中心的滑动窗口；当检测到未知障碍物和所述滑动窗口内的轨迹发生碰撞，则生成一条重规划的局部轨迹，并将所述局部轨迹连接到所述全局轨迹上的某个点，得到规划路径。5.根据权利要求1所述的方法，其特征在于，所述步骤B包括：计算得到刚性变换参数g，计算公式为：其中，P∈R
M
×3，Q∈R
N
×3，R∈SO(3)为旋转矩阵，t∈R3为平移向量，r(F(P)，F(RQ+t))＝||F(P)
‑
F(RQ+t)||2为激光传感器点云P与变换后的全景相机点云Q之间的特征度量投影误差，F是编码器模...

【专利技术属性】
技术研发人员：孙小钧，贾同，李文浩，张松娜，黄俊文，张佳预，周昀淳，
申请(专利权)人：东北大学，
类型：发明
国别省市：