一种基于相机与激光雷达的目标识别与定位方法技术

本发明专利技术公开了一种基于相机与激光雷达的目标识别与定位方法，首先通过激光雷达获取目标点云数据；对获取的点云数据进行目标聚类分割，得到原始聚类点云；通过相机获取目标的像素信息；基于深度学习算法对目标进行识别，获取目标的像素位置；通过激光雷达和相机联合标定，建立激光雷达坐标系下点云坐标点到图像像素坐标系下像点的转换关系；最后将所述原始聚类点云转换到图像像素坐标系下，与目标识别框中心像素坐标进行比较，得到目标聚类点云，完成目标识别与定位。本发明专利技术能够在识别目标的同时对目标进行定位，准确性高。准确性高。准确性高。

【技术实现步骤摘要】
一种基于相机与激光雷达的目标识别与定位方法


[0001]本专利技术涉及目标识别与定位的
，具体涉及一种基于相机与激光雷达的目标识别与定位方法。

技术介绍

[0002]现有的技术中，班组伴随机器人人员跟随技术发展尚不成熟，有的只侧重于识别算法，有的只侧重于定位算法，例如基于无线通信、牵引绳及其他特殊设备的方法，主要存在以下问题：
[0003]1、难以有效识别与定位。对于采用特殊设备进行引导目标定位的方法，在运行过程中，仅能得到目标的位置，而无法得知当前引导目标的类别。对于依靠相机进行目标识别的算法，在位置解析上存在较大偏差，不能保证定位的精度。
[0004]2、安全因素。基于无线通信的方法受电磁干扰影响较大，因此实时传输目标定位的方式易丢失目标位置或解析错误，存在较大安全隐患；依靠牵引绳这类方法，由于牵引绳的限制，无法保证能有效通过所有地形路段，易造成安全事故。
[0005]3、便捷性不佳。依靠特殊设备对引导人员进行定位的方法，均对引导人员携带装备有较大限制，造成极大的不便，同时也对引导人员进行了较大约束，有违设计初衷。
[0006]现有的目标识别与定位算法在动态环境中需要长时间对目标进行运算以保证目标识别与定位成功率。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于相机与激光雷达的目标识别与定位方法，能够在识别目标的同时对目标进行定位，准确性高。
[0008]本专利技术采用的技术方案如下：
[0009]一种基于相机与激光雷达的目标识别与定位方法，方法步骤如下：
[0010]步骤1：通过激光雷达获取目标点云数据；
[0011]步骤2：对获取的点云数据进行目标聚类分割，得到原始聚类点云；
[0012]步骤3：通过相机获取目标的像素信息；
[0013]步骤4：基于深度学习算法对目标进行识别，获取目标的像素位置；
[0014]步骤5：通过激光雷达和相机联合标定，建立激光雷达坐标系下点云坐标点到图像像素坐标系下像点的转换关系；
[0015]步骤6：将所述原始聚类点云转换到图像像素坐标系下，与目标识别框中心像素坐标进行比较，得到目标聚类点云，完成目标识别与定位。
[0016]进一步地，步骤6中得到目标聚类点云的具体方法如下：
[0017]将投影转换到图像像素坐标系下且位于目标识别框内的坐标点作为目标范围点云；
[0018]利用欧式聚类算法将所述目标范围点云数据分割为多个聚类点云；
[0019]将多个聚类点云的中心点转换为图像坐标系下的像点，再依次计算所有聚类点云中心的像点与目标识别框中心像点的距离，得到距离最短的聚类点云中心像点，该聚类点云即为目标聚类点云。
[0020]进一步地，确定目标聚类点云之后还包括：
[0021]将目标聚类点云中的所有点云数据通过坐标转换求出与之对应的图像像素坐标系中的像点，再依次计算所有像点与目标识别框中心像点的距离，得到距离的最小值，该值对应的坐标点即为目标的位置。
[0022]进一步地，所述深度学习算法采用YOLOv3算法。
[0023]进一步地，所述目标识别与定位方法搭载在MLU100 D2芯片上。
[0024]有益效果：
[0025]1、本专利技术通过激光雷达和相机联合标定，建立激光雷达坐标系下点云坐标点到图像像素坐标系下像点的转换关系，在联合标定的支持下，将原始聚类点云转换到图像像素坐标系下，与目标识别框中心像素坐标进行比较，得到目标聚类点云，完成目标识别与定位，在识别目标的同时对目标进行定位；
[0026]本专利技术不依赖辅助传感器，仅通过机器人主流传感器激光雷达与相机实现识别与定位功能；其次，本专利技术单帧目标处理识别与定位准确率高，在连续视频拆分为单帧进行处理时就能保证目标识别与定位的准确性。
[0027]2、本专利技术求解出目标点云聚类中与目标人员所对应的点的位置，能够避免目标人员与周围物体贴近时目标人员的位置出现极大偏差，提高定位的精确性。
[0028]3、本专利技术使用YOLOv3算法进行目标识别，该算法在识别速度上有着较大的优势，在硬件配置较低时也能基本满足实时性的需求。
[0029]4、现有的目标识别技术大都基于NVIDIA GPU进行图像处理运算，本算法使用搭载MLU100 D2芯片实现目标识别，实现了目标识别模块国产化。
附图说明
[0030]图1为本专利技术流程图。
[0031]图2为目标聚类点云的提取流程图。
[0032]图3为目标位置提取流程图。
[0033]图4为测试实验平台组成模块示意图。
[0034]图5为自主导航系统软件架构示意图。
[0035]图6为集成方案。
[0036]图7为实施例整体流程示意图。
具体实施方式
[0037]下面结合附图并举实施例，对本专利技术进行详细描述。
[0038]本专利技术提供了一种基于相机与激光雷达的目标识别与定位方法，如图1所示，方法步骤如下：
[0039]步骤1：通过激光雷达获取目标点云数据；
[0040]步骤2：对获取的点云数据进行目标聚类分割，得到原始聚类点云；
[0041]步骤3：通过相机获取目标的像素信息；
[0042]步骤4：基于深度学习算法对目标进行识别，获取目标的像素位置；本实施例中深度学习算法采用YOLOv3算法；
[0043]步骤5：通过激光雷达和相机联合标定，建立激光雷达坐标系下点云坐标点到图像像素坐标系下像点的转换关系；
[0044]步骤6：将所述原始聚类点云转换到图像像素坐标系下，与YOLOv3目标识别框中心像素坐标进行比较，得到目标聚类点云，完成目标识别与定位。
[0045]其中，如图2所示，得到目标聚类点云的具体方法如下：
[0046]步骤601，提取目标范围点云：通过将原始点云数据投影到图像像素坐标系下，投影点落在目标识别框(基于YOLOv3的目标识别标出的目标识别框)内部的三维坐标点组成可能包含目标位置的点云，作为目标范围点云；
[0047]步骤602，对点云数据进行聚类分割：利用欧式聚类算法将所述目标范围点云数据分割为多个聚类点云；
[0048]步骤603，求解最近聚类中心得出目标聚类点云：将多个聚类点云的中心点转换为图像坐标系下的像点，再依次计算所有聚类点云中心的像点与目标识别框中心像点的距离，得到距离最短的聚类点云中心像点，该聚类点云即为目标聚类点云。
[0049]在实际环境中，极有可能出现目标人员与周围物体贴近的情况，如实验室中，目标人员与桌子靠在一起，实车环境中，目标人员与周围草堆、巨石太近。在这种情况下，若以目标点云聚类的中心点三维坐标表示目标人员的位置则会出现极大地偏差，因此，还需要求解出目标点云聚类中与目标人员所对应的点的位置。如图3所示，将目标聚类点云中的所有点云数据通过坐标转换求出与之对应的图像像素坐标系中的像点，再依次计算所有像点与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机与激光雷达的目标识别与定位方法，其特征在于，方法步骤如下：步骤1：通过激光雷达获取目标点云数据；步骤2：对获取的点云数据进行目标聚类分割，得到原始聚类点云；步骤3：通过相机获取目标的像素信息；步骤4：基于深度学习算法对目标进行识别，获取目标的像素位置；步骤5：通过激光雷达和相机联合标定，建立激光雷达坐标系下点云坐标点到图像像素坐标系下像点的转换关系；步骤6：将所述原始聚类点云转换到图像像素坐标系下，与目标识别框中心像素坐标进行比较，得到目标聚类点云，完成目标识别与定位。2.如权利要求1所述的基于相机与激光雷达的目标识别与定位方法，其特征在于，步骤6中得到目标聚类点云的具体方法如下：将投影转换到图像像素坐标系下且位于目标识别框内的坐标点作为目标范围点云；利用欧式聚类算法将所述目标范围点云数据分割为多个聚类点云；将...

【专利技术属性】
技术研发人员：李兆冬，苏治宝，杨婷婷，安旭阳，赵熙俊，李宁，
申请(专利权)人：中国北方车辆研究所，
类型：发明
国别省市：