一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法技术方案

本发明专利技术涉及深度学习、图象处理以及三维点云处理的技术领域，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。本发明专利技术提出的基于事件触发相机数据和激光雷达数据融合的系统。通过YOLO3深度学习神经网络对图像进行通用物体检测。对被检测出物体的图像使用极小值滤波器融合激光雷达的深度信息，实现实时准确地检测图像中的物体及其深度信息的目的。

An Object Recognition and Registration Method Based on Event-triggered Camera and 3D Lidar Fusion System

The invention relates to the technical fields of in-depth learning, image processing and three-dimensional point cloud processing, and more specifically to an object recognition and registration method based on an event triggered camera and a three-dimensional lidar fusion system. The system is based on event trigger camera data and lidar data fusion. YOLO3 deep learning neural network is used to detect common objects in images. Minimum filter is used to fuse the depth information of lidar to detect the object and its depth information in real time and accurately.

【技术实现步骤摘要】
一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
本专利技术涉及深度学习、图象处理以及三维点云处理的
，更具体地，涉及一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法。
技术介绍
传统RGB相机和激光雷达都是自动驾驶车辆上常用的传感器。但是，RGB相机无法准确地获得深度信息，激光雷达的获得的点云数据会因距离越远而变得约稀疏。因此，通过将这两种传感器融合成一个系统，来弥补相互之间的缺点也是非常重要的。融合后的系统在对物体进行识别分类方面，普遍采用的是从三维激光雷达数据中找到感兴趣的区域，对该区域对应的另一传感器数据进行物体识别和分类并且获得该目标的距离等信息。如专利名称：基于激光雷达和双目相机的车前行人检测方法及系统，申请号：CN104573646A，专利技术人：赵祥模；徐志刚；闵海根；张立成；周经美；杨澜；康俊民；孟凡林；尚旭明；赵佳乐；刘慧琪；王振；该专利技术公开了一种基于激光雷达和双目相机的车前行人检测方法及系统。步骤如下：S1、分别用双目相机和激光雷达采集车辆前方数据；S2、对激光雷达数据使用K均值聚类算法检测疑似行人点簇{(xi,yi,ri)|i＝1,2,…,m}；S3、根据每一帧检测到的点簇的中心，得到疑似行人点簇的距离、方位角、速度以及疑似行人目标的区域；S4、结合激光雷达得到的疑似行人目标区域，采用SURF特征点检测双目相机得到的数据来判断是否存在行人及行人相对于车的距离、方位角和速度；S5、将激光雷达和双目相机找到的行人的距离、方位角和速度进行卡尔曼滤波数据处理，最终得到行人相对于车的相对位置、角度和速度。专利名称：一种融合雷达和CCD摄像机信号的车辆检测方法，申请号：CN103559791A，专利技术人：鲍泓；徐成；田仙仙；张璐璐；该专利技术公开了一种融合雷达和CCD摄像机信号的车辆检测方法。步骤如下：S1、CCD摄像机和激光雷达分别获得路平面图像信息和路平面障碍物信息；S2、对摄像头进行矫正，通过两者的信息得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；S3、提取激光雷达检测到的障碍物在视频图像中的感兴趣区域，将其输入到SVM中进行目标识别；S4、输出目标识别结果，利用激光雷达测出目标的距离。上述现有技术中，对图像进行目标识别的方法如SURF特征点检测、SVM，速度较慢，准确率较低。上述现有技术中，对于距离激光雷达较远的目标，其识别准确率较低。上述现有技术中，对图像目标识别采用的算法是SURF特征点检测以及SVM，相对于YOLO3来说，SVM在求解问题分类时,要求解函数的二次规划,需要大量的存储空间；SURF在求主方向阶段太过于依赖局部区域像素的梯度方向，有可能使得找到的主方向不准确，后面的特征向量提取以及匹配都严重依赖于主方向，即使不大偏差角度也可以造成后面特征匹配的放大误差，从而匹配不成功。上述现有技术中，都是先对激光雷达的数据进行目标识别，得到的感兴趣的区域。对该区域对应的相机的数据进行目标识别。因为激光雷达得到的点云数据，距离激光雷达越远点云就会越稀疏，这会导致无法识别到较远的目标，从而降低最终的目标识别的正确率。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，针对自主化的无人系统中，运动物体的种类识别以及它们的定位问题，提出一种基于事件触发相机与三维激光雷达融合系统的数据，利用YOLO3深度学习网络进行通用物体检测，再通过极小值滤波器融合三维激光雷达的深度信息，实现实时、准确的运动物体的分类和定位。本专利技术创造的目的是提供一种快速、准确、鲁棒、高性价比的物体分类与定位的方法。本专利技术将事件触发传感器以高频率提供的对环境光有高鲁棒性的图像与激光雷达得到的点云数据进行融合，再对融合后的数据进行物体分类与定位，避免了因为距离激光雷达较远的点云较为稀疏而无法准确识别分类物体的情况。使用根据事件触发传感器得到的数据微调的YOLO3深度学习网络，能够快速、准确地对不同的物体进行识别和分类。激光雷达获取的环境信息基本不会受环境光影响，且因为事件触发传感器由环境光线强度变化触发的，对环境光也有很强的鲁棒性。因此，该系统能够适应光强变化十分复杂或者光强较为极端的环境。本专利技术的技术方案是：一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其中，包括以下步骤：步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。进一步的，所述的步骤1中实现如下：通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合；实现从三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面的原理如下：将三维的点云的点[X,Y,Z,1]转化到二维平面上的点转换的公式如下：其中，P是事件触发相机的摄像头的内参矩阵：这里的f是事件触发相机的摄像头焦距，(ox,oy)是相机的中心点；C是两个传感器各自坐标系之间的外参矩阵：在该矩阵中(tx,ty,tz,rx,ry,rz)是两个传感器的六自由度6DoF；通过上述公式能够将三维激光雷达和事件触发传感器的数据融合；事件触发相机获得的图像对应一个深度矩阵D；D的行列数对应图像的行列，如果三维点云中的某一点根据上述公式对应到图像中的某一像素，那么矩阵D中的对应位置的值就为点云中该点的深度。进一步的，所述的步骤2中，YOLO3深度神经网络的基本原理如下：S1.YOLO3将输入的图像分为S×S个格子，如果某个物体的Groundtruth的中心位置的坐标处于某个格子之中，该物体就会被这个格子检测；S2.在S×S中的每个格子中，预测B个boundingbox以及它的置信度，也就是confidencescore，还会预测C个类别的概率；boundingbox的信息为其中x，y，w，h为物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化；为置信度，是反映是否包含物体及包含物体的情况下位置的准确性的；S3.对于每一个网格，它的预测类别的概率Ci＝Pr(Classi本文档来自技高网...

【技术保护点】
1.一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于，包括以下步骤：步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。...

【技术特征摘要】
1.一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于，包括以下步骤：步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准上述两个传感器得到的数据，使这两种数据融合；步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。2.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤1中实现如下：通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合；实现从三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面的原理如下：将三维的点云的点[X,Y,Z,1]转化到二维平面上的点转换的公式如下：其中，P是事件触发相机的摄像头的内参矩阵：这里的f是事件触发相机的摄像头焦距，(ox,oy)是相机的中心点；C是两个传感器各自坐标系之间的外参矩阵：在该矩阵中(tx,ty,tz,rx,ry,rz)是两个传感器的六自由度6DoF；通过上述公式能够将三维激光雷达和事件触发传感器的数据融合；事件触发相机获得的图像对应一个深度矩阵D；D的行列数对应图像的行列，如果三维点云中的某一点根据上述公式对应到图像中的某一像素，那么矩阵D中的对应位置的值就为...

【专利技术属性】
技术研发人员：黄凯，宋日辉，李洋灏，江志华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44