三维激光雷达点云和红外图像融合的目标检测及定位方法技术

本发明专利技术公开了一种三维激光点云和红外图像融合的目标检测及定位方法，建立红外相机与三维激光雷达的坐标转换关系；红外相机采集红外图像，获得红外图像目标候选区域；三维激光雷达采集雷达数据，获得雷达目标候选区域及其中心点坐标；利用坐标转换关系将雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将交并比达到设定门限的红外‑雷达公共区域作为最终目标区域保留下来；从最终目标区域中提取区域长宽比、最大温度和温度离散度组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果。使用本发明专利技术融合红外图像和三维激光雷达点云，能够实现夜间障碍物检测及定位。

Target detection and location method of 3D LIDAR point cloud and infrared image fusion

The invention discloses a target detection and positioning method of 3D laser point cloud and infrared image fusion, which establishes the coordinate conversion relationship between the infrared camera and 3D laser radar; the infrared camera collects the infrared image to obtain the infrared image target candidate area; the 3D laser radar collects the radar data to obtain the radar target candidate area and its center point coordinate; the coordinate conversion relationship is used The candidate area of radar target is projected into the infrared image to obtain the radar clustering target area; the common area of the infrared \u2011 radar whose intersection and parallel ratio reaches the set threshold is retained as the final target area; the area aspect ratio, maximum temperature and temperature dispersion are extracted from the final target area to form the aggregation multi feature input classifier to classify the infrared target, and the classification results are combined The target positioning information can obtain infrared target detection and positioning results. By using the infrared image and the 3D LIDAR point cloud, the obstacle detection and positioning at night can be realized.

【技术实现步骤摘要】
三维激光雷达点云和红外图像融合的目标检测及定位方法
本专利技术涉及无人运动平台自主导航
，尤其涉及一种三维激光雷达点云和红外图像融合的目标检测及定位方法。
技术介绍
无人运动平台在民用、军事、科研等各领域的应用前景日益广阔，想要实现自主运动离不开环境感知技术，夜间障碍物探测是无人平台全天候工作的重要组成部分。可见光相机受到光照的影响大，无法在夜间进行目标识别，而红外相机的被动感光特性使其不受光照等因素的影响，可用于夜间障碍物检测。然而仅依赖红外图像无法获得目标位置，进而为无人平台提供更丰富的环境信息。激光雷达点云可以反应位置信息，环境适应性强，因此融合红外图像和三维激光雷达点云有望实现夜间障碍物检测及定位。
技术实现思路
有鉴于此，本专利技术提供了一种三维激光点云和红外图像融合的目标检测及定位方法，融合红外图像和三维激光雷达点云，实现夜间障碍物探测。为了解决上述技术问题，本专利技术是这样实现的：一种三维激光点云和红外图像融合的目标检测及定位方法，包括：步骤一：建立红外相机与三维激光雷达的本文档来自技高网...

【技术保护点】
1.一种三维激光点云和红外图像融合的目标检测及定位方法，其特征在于，包括：/n步骤一：建立红外相机与三维激光雷达的坐标转换关系；/n步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；/n步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；/n步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚...

【技术特征摘要】
1.一种三维激光点云和红外图像融合的目标检测及定位方法，其特征在于，包括：
步骤一：建立红外相机与三维激光雷达的坐标转换关系；
步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；
步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；
步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚类目标区域的中心点坐标即为目标定位信息；
步骤五：从保留的最终目标区域中提取区域长宽比R、最大温度Tmax和温度离散度DFeature组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果；
所述最大温度Tmax为融合区域内像素值最大的n个点的平均像素值对应的相机温度Tmax，温度离散度DFeature为融合区域灰度直方图的方差DFeature。


2.如权利要求1所述的方法，其特征在于，所述步骤一为：以可见光相机作为标定的中间变量，分别标定红外相机与可见光相机、三维激光雷达与可见光相机，获得红外相机和可见光相机的坐标转换关系、三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系为：



其中，空间点在红外相机坐标系下的坐标为PCr＝(xCr，yCr，zCr)，在激光雷达坐标系下对应点的坐标为(xl,yl,zl)，RT为红外相机到可见光相机的旋转矩阵，TT红外相机到可见光相机的平移矩阵，Rc与Tc分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。

【专利技术属性】
技术研发人员：杨子木，王军政，李静，汪首坤，赵江波，马立玲，沈伟，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11