一种事件触发相机与三维激光雷达的配准方法技术

本发明专利技术涉及图像处理、点云处理以及传感器数据配准的技术领域，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过本发明专利技术提出的配准误差和基于边缘的价值函数对配准结果进行评价。

An Event-triggered Camera and Three-dimensional Lidar Registration Method

The invention relates to the technical field of image processing, point cloud processing and sensor data registration, and more specifically, to an event triggered camera registration method with a three-dimensional lidar. Step 1: Design a calibration object suitable for registration of event triggered camera and three-dimensional lidar; Step 2: Start the event triggered camera and three-dimensional lidar simultaneously to get the data of two sensors at the same time; Step 3: Use image processing methods such as edge extraction and specific pattern recognition to locate a point of the calibration object in the image; Step 4: Use the method based on the three-dimensional lidar. The point cloud segmentation method of RANSAC also locates the same point of the calibration object in the point cloud; Step 5: The transformation matrix of six degrees of freedom in space is deduced from the results obtained in steps 3 and 4; Step 6: The registration result is evaluated by the registration error and the value function based on edge proposed by the present invention.

【技术实现步骤摘要】
一种事件触发相机与三维激光雷达的配准方法
本专利技术涉及图像处理、点云处理以及传感器数据配准的
，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。
技术介绍
基于普通RGB相机的计算机视觉算法已经逐渐完善，并在自动驾驶，物体识别等领域得到应用。激光雷达通过激光束采集周围环境的3D空间信息，在自动驾驶的传感器方案中有不可取代的重要作用。仅有摄像头的视觉方案会受环境光照条件的影响，而只有激光雷达的方案在识别路标、红绿灯等平面环境信息时也无能为力。所以将相机和激光雷达的融合成为一个解决问题的关键思路。而在融合之前，应该完成的是将相机2D的图像数据和激光雷达的3D点云进行配准。现有技术中，专利名称：多线激光雷达与多路相机混合标定方法，申请号：CN108020826A，该专利技术公开了一种多线激光雷达与多路相机混合标定方法，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点本文档来自技高网...

【技术保护点】
1.一种事件触发相机与三维激光雷达的配准方法，其特征在于，包括以下步骤：步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过配准误差和基于边缘的价值函数对配准结果进行评价。

【技术特征摘要】
1.一种事件触发相机与三维激光雷达的配准方法，其特征在于，包括以下步骤：步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过配准误差和基于边缘的价值函数对配准结果进行评价。2.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤1中，使用电视屏幕显示通用的棋盘图由棋盘图得到的内参矩阵：其中，f是DVS相机的焦距，(ox,oy)是相机的中心点；通过这个转换矩阵，激光雷达点云中的3D点能够转换为2D平面上，为与事件触发相机生成的2D图像做配准提供前提。3.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤2中，同时采集的数据，只需要一帧的数据，所以不需要移动传感器或者标定物的位置进行多帧的数据采集；同时启动两个数据采集的节点，使用ROS平台下的同步机制将两个传感器的数据集记录在一个包里，为后面步骤使用两种数据的配准提供前提。4.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤3中，对于事件触发相机生成的图像的处理，具体过程为：首先，对于分辨率为768*640的黑白二值图像，由于事件触发相机的成像特性和触发阈值的设置问题，得到的图像往往存在较多的噪点，所以在进行后续的图像处理之前，先使用中值滤波对图像进行降噪处理；然后，对降噪后的二值图使用Sobel算子进行边缘提取；接着，使用Hough变换对上一步边缘提取后的图像进行圆的识别，因为我们已知圆的大小，所以直接使用Hough变换就能很好的将图像中的四个圆识别出来，并得到圆心位置。5.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤4中，对激光雷达采集的点云数据进行处理，具体过程为：首先，基于点云数据的深度信息，通过相邻点云点的深度比较，将边缘的点云点提取出来；在这里，将点与相邻点的深度信息转换为点的边...

【专利技术属性】
技术研发人员：黄凯，宋日辉，江志华，李洋灏，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44