一种融合ArUco码与激光点云的地库定位方法技术

本发明专利技术适用于同步建图与定位、多传感器融合技术领域，提供了一种融合ArUco码与激光点云的地库定位方法，包括以下步骤：步骤1：创建ArUco码分布图；步骤2：创建激光点云图，根据ArUco码分布地图，利用车载激光雷达进行增量式建图，生成ArUco码与激光点云混合地图；步骤3：初始化位姿，根据ArUco码与激光点云混合地图，以及相机第一帧图像检测到的ArUco码，利用PnP算法求解初始位姿；步骤4：根据场景切换定位方式，在ArUco码与激光点云混合地图的基础上，根据场景中是否检测到ArUco码切换定位方式。本方法使自动驾驶汽车在地库中的定位更加稳定可靠，具有良好的使用效果。具有良好的使用效果。具有良好的使用效果。

【技术实现步骤摘要】
一种融合ArUco码与激光点云的地库定位方法


[0001]本专利技术属于同步建图与定位、多传感器融合
，尤其涉及一种融合ArUco码与激光点云的地库定位方法。

技术介绍

[0002]目前，自动驾驶技术在计算机、传感器等相关技术的推动下，得到了飞速发展，并且在自适应巡航（ACC）、自主代客泊车（AVP）等领域得到了有效的应用。自动驾驶汽车的首要任务是根据自身传感器实现灵活的自主定位与导航，但是，各种传感器受限于不同的空间环境，要完成自主定位与导航任务，需要在不同的环境下应用不同的方案。
[0003]由于自动驾驶汽车面对的场景不同，有些场景下需要较高的定位和导航精度，比如市区道路、地下车库等情况，其定位精度通常需要达到厘米甚至毫米级别。全球卫星定位系统（GPS）在信号良好的条件下，定位精度一般在米级，而在建筑物遮挡和地下车库等环境下，甚至接收不到信号，不符合应用要求。
[0004]此外，出现了利用色带和条形码、QR码等基于二维码的视觉导航方法，这种方法通常用地面铺设的彩带做引导、用二维码中包含的位置信息做定位实现导航，但地面上的彩带和二维码容易污损，且当任务路径发生变化时，需要重新粘贴色带和二维码，灵活性差、对环境要求高。另外，这种方法往往要求摄像头光轴方向与二维码铺设平面成垂直关系，且要求摄像头与二维码铺设平面距离非常接近，否则摄像头将不能很好地识别，有较大的局限性。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种融合ArUco码与激光点云的地库定位方法，旨在解决现有的利用色带和条形码、QR码等基于二维码的视觉导航方法灵活性差、对环境要求高，且有较大的局限性的问题。
[0006]本专利技术实施例是这样实现的，一种融合ArUco码与激光点云的地库定位方法，包括以下步骤：步骤1：创建ArUco码分布图，利用相机对地下车库中随机分布的ArUco码进行视觉建图，获得ArUco码分布地图；步骤2：创建激光点云图，根据ArUco码分布地图，利用车载激光雷达对地下车库进行增量式建图，生成ArUco码与激光点云混合地图；步骤3：初始化位姿，根据ArUco码与激光点云混合地图，以及相机第一帧图像检测到的ArUco码，利用PnP算法求解初始位姿；步骤4：根据场景切换定位方式，在ArUco码与激光点云混合地图的基础上，根据场景中摄像头是否检测到ArUco码切换定位方式。
[0007]进一步的技术方案，所述步骤1的具体步骤包括：步骤1.1：将打印好的ArUco码随机地粘贴在包括墙面、立柱或天花板在内的光照
条件良好的平整位置；步骤1.2：用相机对地库内随机分布的ArUco码进行视觉建图，确定一个参考世界坐标系，并获得所有ArUco码的ID信息及其对应四个角点在世界坐标系下的三维坐标。
[0008]进一步的技术方案，所述步骤1.2的具体步骤包括：步骤1.2.1：用ArUco码棋盘格预先标定出相机的内参；步骤1.2.2：运行ArUco码建图算法，传入相机内参，并指定地库中的一个ArUco码作为参考，算法开始运行；步骤1.2.3：手持相机缓慢移动，使相机能遍历所有ArUco码；步骤1.2.4：建图算法运行结束，获取ArUco码分布地图，分布地图中包含地库中所有ArUco码的ID信息及其对应四个角点的三维坐标信息，另外包括一个分布点云。
[0009]进一步的技术方案，所述步骤2的具体步骤包括：步骤2.1：在进行激光点云建图前，载入步骤1创建的ArUco码分布地图；步骤2.2：启用惯性测量单元（IMU），并驾驶车辆原地绕“8”字一圈以激活IMU设备；步骤2.3：启用激光雷达对地下车库进行建图，以步骤1.2确定的参考世界坐标系作为当前世界坐标系；步骤2.4：扫描地下车库所有空间，最后回到起点位置进行回环检测以纠正建图误差。
[0010]进一步的技术方案，在所述步骤2.4中，扫描地下车库所有空间，具体包括如下步骤：步骤2.4.1：运行建图算法，开启可视化工具RViz；步骤2.4.2：驾驶车辆缓慢移动，扫描地下车库所有空间；步骤2.4.3：建图结束后返回起点，得到优化后的地下车库激光点云地图，保存ArUco码与激光点云混合地图文件。
[0011]进一步的技术方案，所述步骤3具体步骤包括：步骤3.1：进行定位前，确保车辆正前方有清晰可见的ArUco码；步骤3.2：根据图像中每个ArUco码角点的像素坐标和其对应的三维世界坐标，利用PnP迭代算法估计相机的位姿，从而实时地获取车辆在世界坐标系下的三维空间坐标和姿态。
[0012]进一步的技术方案，在所述步骤3.2中，实时地获取车辆在世界坐标系下的位姿，具体包括如下步骤：步骤3.2.1：相机采集一帧图像，对图像进行包括灰度转换、二值化和轮廓提取在内的预处理操作，然后对每个轮廓进行筛选、透视变换以及内部编码提取；步骤3.2.2：判断检测图像中是否出现至少一个ArUco码，若：判断结果是检测图像中出现至少一个ArUco码，则根据识别出的所有ArUco码的ID信息，确定每个ArUco码的角点像素坐标和与之相对应的三维空间坐标，利用PnP迭代算法预估相机在世界坐标系中的位置和姿态；步骤3.2.3：根据相机与车辆本体的相对位姿关系和相机在世界坐标系中的位姿进行坐标变换，计算出车辆在世界坐标系下的位姿。
[0013]进一步的技术方案，所述步骤4的具体步骤包括：
步骤4.1：相机采集一帧图像，判断检测图像中是否出现至少一个ArUco码；步骤4.2：根据场景切换定位方式：若未检测到ArUco码，则基于激光雷达点云配准进行定位；若检测到ArUco码，则融合视觉信息与激光点云进行定位。
[0014]进一步的技术方案，在所述步骤4.2中，根据场景切换定位方式，具体包括如下步骤：步骤4.2.1：若未检测到ArUco码，则基于无迹卡尔曼滤波（UKF）计算当前位姿，在预测阶段，利用惯性测量单元数据或匀速运动模型估计位姿；在更新阶段，在全局地图点云和输入点云之间执行多线程正态分布变换（NDT）扫描匹配以校正估计的位姿；步骤4.2.2：若检测到ArUco码，则先利用PnP算法计算当前位姿，再用当前位姿替换UKF预测阶段的估计位姿；这是因为随着时间推移，IMU的累计误差会越来越大；在预测阶段将更准确的估计值提供给NDT，能显著提高计算结果的准确性。
[0015]本专利技术实施例提供的一种融合ArUco码与激光点云的地库定位方法，ArUco码编码简单，鲁棒性强，可在相机距离较远、相机移动速度较快或图像相对较模糊的情况下快速准确地识别出图像中的ArUco码，使自动驾驶汽车在地库中的定位更加稳定可靠，克服了现有技术的不足，具有良好的使用效果。
附图说明
[0016]图1是本专利技术中使用的一种ArUco码示意图；图2为是本专利技术中使用的另一种ArUco码示意图；图3是本专利技术所提供的一种融合ArUco码与激光点云的地库定位方法的结构框图；图4是本专利技术所提供的一种融合ArUco码与激光点云的地库定位方法的流程图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合ArUco码与激光点云的地库定位方法，其特征在于，包括以下步骤：步骤1：创建ArUco码分布图，利用相机对地下车库中随机分布的ArUco码进行视觉建图，获得ArUco码分布地图；步骤2：创建激光点云图，根据ArUco码分布地图，利用车载激光雷达对地下车库进行增量式建图，生成ArUco码与激光点云混合地图；步骤3：初始化位姿，根据ArUco码与激光点云混合地图，以及相机第一帧图像检测到的ArUco码，利用PnP算法求解初始位姿；步骤4：根据场景切换定位方式，在ArUco码与激光点云混合地图的基础上，根据场景中摄像头是否检测到ArUco码切换定位方式。2.根据权利要求1所述的融合ArUco码与激光点云的地库定位方法，其特征在于，所述步骤1的具体步骤包括：步骤1.1：将打印好的ArUco码随机地粘贴在包括墙面、立柱或天花板在内的光照条件良好的平整位置；步骤1.2：用相机对地库内随机分布的ArUco码进行视觉建图，确定一个参考世界坐标系，并获得所有ArUco码的ID信息及其对应四个角点在世界坐标系下的三维坐标。3.根据权利要求2所述的融合ArUco码与激光点云的地库定位方法，其特征在于，所述步骤1.2的具体步骤包括：步骤1.2.1：用ArUco码棋盘格预先标定出相机的内参；步骤1.2.2：运行ArUco码建图算法，传入相机内参，并指定地库中的一个ArUco码作为参考，算法开始运行；步骤1.2.3：手持相机缓慢移动，使相机能遍历所有ArUco码；步骤1.2.4：建图算法运行结束，获取ArUco码分布地图，分布地图中包含地库中所有ArUco码的ID信息及其对应四个角点的三维坐标信息，另外包括一个分布点云。4.根据权利要求2所述的融合ArUco码与激光点云的地库定位方法，其特征在于，所述步骤2的具体步骤包括：步骤2.1：在进行激光点云建图前，载入步骤1创建的ArUco码分布地图；步骤2.2：启用惯性测量单元，并驾驶车辆原地绕“8”字一圈以激活惯性测量单元设备；步骤2.3：启用激光雷达对地下车库进行建图，以步骤1.2确定的参考世界坐标系作为当前世界坐标系；步骤2.4：扫描地下车库所有空间，最后回到起点位置进行回环检测以纠正建图误差。5.根据权利要求4所述的融合ArUco码与激光点云的地库定位方法，其特征在于，在所述步骤2.4中，扫描地下车库所有空间，具体包括如下步骤：步骤2.4.1：运行建图算法，...

【专利技术属性】
技术研发人员：陈国迎，陈威，高正，田雯雯，赵选铭，姚军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：