用于机器人的着色LiDAR点云物体检测方法及系统技术方案

本发明专利技术涉及一种用于机器人的着色LiDAR点云物体检测方法及系统，属于物体检测领域，方法包括：对多个相机进和雷达行外参标定，得到多个相机之间的坐标关系和多个相机与雷达之间的坐标关系；对多个视觉惯性里程计和激光惯性里程计进行融合得到多传感融合里程计数据以及最优里程估计轨迹；根据最优里程估计轨迹确定点云地图；利用多个相机对点云地图进行上色，得到具有RGB颜色信息的点云地图；利用卷积神经网络对具有RGB颜色信息的点云地图进行物体检测，得到物体的大小和三维坐标。本发明专利技术能够得到具有真实尺度(大小和三维坐标)的物体，为后续机器人的导航和物体抓取提供极大的便利。利。利。

【技术实现步骤摘要】
用于机器人的着色LiDAR点云物体检测方法及系统


[0001]本专利技术涉及物体检测领域，特别是涉及一种用于机器人的着色LiDAR点云物体检测方法及系统。

技术介绍

[0002]人形护理机器人可为老人及生活不便的人提供护理服务，如根据语音等指令拿取传递物品、提供陪伴、监视病情定期提醒吃药等功能。对于物体识别与抓取的功能，传统的目标检测算法均都采用基于相机视觉的二维识别检测，在二维领域可以达到较高的准确度，但深度信息的缺失导致传统检测方法不适用于具有抓取功能的任务，无法为抓取物体的流程提供初步可用的三维位置。部分使用双目摄像头或者RGBD相机得到深度信息，但这种深度信息有很大的误差，尤其在物体较远时，无法得到物体真实的尺寸和三维坐标，为物体抓取工作带来了极大的挑战和困难。因此本技术建立了稠密的LiDAR点云地图，使用多个RGB相机给环境点云上色，最后使用神经网络对彩色点云进行物体检测，得到具有真实尺度(大小和三维坐标)的物体，为后续机器人的导航和物体抓取提供极大的便利。

技术实现思路

[0003]本专利技术的目的是提供一种用于机器人的着色LiDAR点云物体检测方法及系统，能够得到具有真实尺度(大小和三维坐标)的物体，为后续机器人的导航和物体抓取提供极大的便利。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种用于机器人的着色LiDAR点云物体检测方法，包括：
[0006]对机器人上的多个相机进行外参标定，得到所述多个相机之间的坐标关系；
[0007]对机器人上的多个相机与激光雷达进行外参标定，得到所述多个相机与激光雷达之间的坐标关系；
[0008]根据所述多个相机之间的坐标关系以及多个相机与激光雷达之间的坐标关系对多个视觉惯性里程计和激光惯性里程计进行融合，得到多传感融合里程计数据；
[0009]对所述多传感融合里程计数据进行非线性联合优化，得到最优里程估计轨迹；
[0010]根据所述最优里程估计轨迹确定点云地图；
[0011]利用所述多个相机对所述点云地图进行上色，得到具有RGB颜色信息的点云地图；
[0012]利用卷积神经网络对所述具有RGB颜色信息的点云地图进行物体检测，得到物体的大小和三维坐标。
[0013]可选的，所述对机器人上的多个相机进行外参标定，得到所述多个相机之间的坐标关系，具体包括：
[0014]利用机器人自带的IMU传感器分别标定各个相机的外参，得到所述IMU传感器与各个相机之间的坐标关系；
[0015]对所述IMU传感器与各个相机之间的坐标关系进行坐标变换，得到多个相机之间
的坐标关系。
[0016]可选的，使用带有AprilTag的标定板对机器人上的多个相机与激光雷达进行外参标定。
[0017]可选的，采用如下公式对所述多传感融合里程计数据进行非线性联合优化：
[0018][0019]其中，r
L
为激光惯性里程计的残差，r
Ci
为第i个相机的视觉惯性里程计残差，r
I
为IMU预积分的残差。
[0020]可选的，所述利用多个相机对所述点云地图进行上色，具体包括：
[0021]利用体素网格对所述点云地图进行处理，得到处理后的点云地图；
[0022]利用多个相机拼接组成机器人一周的环境图像；
[0023]根据所述机器人一周的环境图像与处理后的点云地图的对应关系将同一个体素网格中的点云附着为同一个颜色。
[0024]可选的，所述卷积神经网络包括骨干网络、中部网络、区域建议网络和头部网络。。
[0025]可选的，所述卷积神经网络采用SmoothL1的损失函数进行回归。
[0026]可选的，所述利用卷积神经网络对所述具有RGB颜色信息的点云地图进行物体检测，具体包括：
[0027]对所述具有RGB颜色信息的点云地图使用点云重投影法得到4通道的图像；
[0028]将所述4通道的图像输入骨干网络提取3个尺度的特征图；
[0029]对所述3个尺度的特征图经过中部网络进行特征融合；
[0030]将经过融合的特征图输入区域建议网络，得到物体的3D框预测值，
[0031]将所述物体的3D框预测值与3个尺度的特征图输入头部网络，得到物体的大小和三维坐标。
[0032]一种用于机器人的着色LiDAR点云物体检测系统，包括：
[0033]第一外参标定模块，用于对机器人上的多个相机进行外参标定，得到所述多个相机之间的坐标关系；
[0034]第二外参标定模块，用于对机器人上的多个相机与激光雷达进行外参标定，得到所述多个相机与激光雷达之间的坐标关系；
[0035]多传感融合模块，用于根据所述多个相机之间的坐标关系以及多个相机与激光雷达之间的坐标关系对多个视觉惯性里程计和激光惯性里程计进行融合，得到多传感融合里程计数据；
[0036]非线性联合优化模块，用于对所述多传感融合里程计数据进行非线性联合优化，得到最优里程估计轨迹；
[0037]点云地图确定模块，用于根据所述最优里程估计轨迹确定点云地图；
[0038]上色模块，用于利用所述多个相机对所述点云地图进行上色，得到具有RGB颜色信息的点云地图；
[0039]物体检测模块，用于利用卷积神经网络对所述具有RGB颜色信息的点云地图进行物体检测，得到物体的大小和三维坐标。
[0040]一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的用于机器人的着色LiDAR点云物体检测方法。
[0041]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0042]本专利技术进行多相机标定与LiDAR与多相机联合标定，后续基于非线性优化联合优化多个视觉惯性里程计和激光惯性里程计信息，得到机器人最优的里程计。后基于精确的里程计和分辨率可变的体素网格建立稠密的点云地图。
[0043]本专利技术基于自适应距离的可变分辨率体素网格进行点云上色，使得原本没有颜色信息的稠密点云拥有RGB信息，得到彩色点云，为后续识别做基础。
[0044]本专利技术采取基于卷积神经网络的二阶3D物体检测器，使用高精雷达点云的深度信息和语义信息，通过深度卷积神经网络提取上下文特征，与深度和语义特征相融合，完成了空间中3D物体的检测；较于传统的二阶检测器，采取轻量化骨干网络提升推理速度；较于单阶检测器，采取分类和回归独立的检测头，提升了3D框定位的精度。
[0045]本专利技术最终实现具有真实尺度的物体检测，可检测出物体类别，大小(长宽高)以及相对于机器人的三维坐标。可为后续护理机器人导航及拿取物品等提供极大的便利。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器人的着色LiDAR点云物体检测方法，其特征在于，包括：对机器人上的多个相机进行外参标定，得到所述多个相机之间的坐标关系；对机器人上的多个相机与激光雷达进行外参标定，得到所述多个相机与激光雷达之间的坐标关系；根据所述多个相机之间的坐标关系以及多个相机与激光雷达之间的坐标关系对多个视觉惯性里程计和激光惯性里程计进行融合，得到多传感融合里程计数据；对所述多传感融合里程计数据进行非线性联合优化，得到最优里程估计轨迹；根据所述最优里程估计轨迹确定点云地图；利用所述多个相机对所述点云地图进行上色，得到具有RGB颜色信息的点云地图；利用卷积神经网络对所述具有RGB颜色信息的点云地图进行物体检测，得到物体的大小和三维坐标。2.根据权利要求1所述的用于机器人的着色LiDAR点云物体检测方法，其特征在于，所述对机器人上的多个相机进行外参标定，得到所述多个相机之间的坐标关系，具体包括：利用机器人自带的IMU传感器分别标定各个相机的外参，得到所述IMU传感器与各个相机之间的坐标关系；对所述IMU传感器与各个相机之间的坐标关系进行坐标变换，得到多个相机之间的坐标关系。3.根据权利要求1所述的用于机器人的着色LiDAR点云物体检测方法，其特征在于，使用带有AprilTag的标定板对机器人上的多个相机与激光雷达进行外参标定。4.根据权利要求1所述的用于机器人的着色LiDAR点云物体检测方法，其特征在于，采用如下公式对所述多传感融合里程计数据进行非线性联合优化：其中，r
L
为激光惯性里程计的残差，为第i个相机的视觉惯性里程计残差，r
I
为IMU预积分的残差。5.根据权利要求1所述的用于机器人的着色LiDAR点云物体检测方法，其特征在于，所述利用多个相机对所述点云地图进行上色，具体包括：利用体素网格对所述点云地图进行处理，得到处理后的点云地图；利用多个相机拼接组成机器人一周的环境图像；根据所述机器人一周的环境图像与处理后的点云地图的对应关系将同一个体素网格中的点云附着为同一个颜色。6.根据权利要求1...

【专利技术属性】
技术研发人员：张伟民，姜洲，梁凯文，刘永辉，黄强，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：