一种事件触发相机与三维激光雷达的配准方法技术

本发明专利技术涉及图像处理、点云处理以及传感器数据配准的技术领域，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过本发明专利技术提出的配准误差和基于边缘的价值函数对配准结果进行评价。

An Event-triggered Camera and Three-dimensional Lidar Registration Method

The invention relates to the technical field of image processing, point cloud processing and sensor data registration, and more specifically, to an event triggered camera registration method with a three-dimensional lidar. Step 1: Design a calibration object suitable for registration of event triggered camera and three-dimensional lidar; Step 2: Start the event triggered camera and three-dimensional lidar simultaneously to get the data of two sensors at the same time; Step 3: Use image processing methods such as edge extraction and specific pattern recognition to locate a point of the calibration object in the image; Step 4: Use the method based on the three-dimensional lidar. The point cloud segmentation method of RANSAC also locates the same point of the calibration object in the point cloud; Step 5: The transformation matrix of six degrees of freedom in space is deduced from the results obtained in steps 3 and 4; Step 6: The registration result is evaluated by the registration error and the value function based on edge proposed by the present invention.

【技术实现步骤摘要】
一种事件触发相机与三维激光雷达的配准方法
本专利技术涉及图像处理、点云处理以及传感器数据配准的
，更具体地，涉及一种事件触发相机与三维激光雷达的配准方法。
技术介绍
基于普通RGB相机的计算机视觉算法已经逐渐完善，并在自动驾驶，物体识别等领域得到应用。激光雷达通过激光束采集周围环境的3D空间信息，在自动驾驶的传感器方案中有不可取代的重要作用。仅有摄像头的视觉方案会受环境光照条件的影响，而只有激光雷达的方案在识别路标、红绿灯等平面环境信息时也无能为力。所以将相机和激光雷达的融合成为一个解决问题的关键思路。而在融合之前，应该完成的是将相机2D的图像数据和激光雷达的3D点云进行配准。现有技术中，专利名称：多线激光雷达与多路相机混合标定方法，申请号：CN108020826A，该专利技术公开了一种多线激光雷达与多路相机混合标定方法，包括以下步骤：S1、多路相机的原始图像数据、多线激光雷达点云数据以及静态激光雷达点云数据的采集；S2、各相机内参模型的求解；S3、对各相机采集的图像进行去畸变,得到矫正后的图像；S4、将静态激光雷达点云数据配准到多线激光雷达点云坐标系中；S5、在S4配准好的点云数据中获取各相机在多线激光雷达点云坐标系中的位置(Xs,Ys,Zs)；S6、在各相机矫正后的图像中选取至少4个靶标的像素坐标(u,v)和相对应的以多线激光雷达为坐标原点的点云中靶标的三维坐标(Xp,Yp,Zp)；S7、根据各相机的内参模型、相机位置(Xs,Ys,Zs)及相机所对应的靶标的像素坐标(u,v)和三维坐标(Xp,Yp,Zp)，建立共线方程，求出各相机的姿态角元素和9个方向余弦，完成标定。另外，专利名称：一种结合激光雷达三维点云数据的相机自标定方法，申请号：CN107977997A，该专利技术涉及摄影测量与三维重建
，公开了一种结合激光雷达三维点云数据的相机自标定方法，通过对被测物体进行三维扫描并在不同视点采集同一场景图像，对采集到的多幅图像进行特征提取以得到特征点，利用任意两幅图像重叠区域中的特征点进行相应的最近点查找，并结合随机一致性算法得到匹配点对；利用所述匹配点对求解基本矩阵F,使得该基本矩阵F对高斯白噪声不敏感；结合基本矩阵与相机内参的关系建立关于相机内参的目标函数，并利用优化算法进行相机内参求解；优化算法所需的相机内参初始值基于激光雷达三维点云数据、小孔成像原理、CCD相机的像素尺寸和图像中心位置进行设置。本专利技术实现对相机内参的精确标定。上述现有技术的缺点是，没有一种能够使用静态的标志物适用于事件触发相机摄像头内参标定的方法；上述现有技术中，都是基于普通RGB摄像头开发的配准，缺少一种适用于事件触发相机和激光雷达自动配准的标志物；上述现有技术中，配准所使用的图像和点云都是多帧的，缺少使用单帧数据实现配准的方法；上述现有技术中，对于配准结果的评价没有一个较好的量化方案，无法评判配准的准确性与误差大小。导致上述缺点的原因是，上述现有技术中，适用的相机都是普通的RGB彩色相机，能够对静态的物体成像，而本专利技术使用到的事件触发相机对于普通的表面光强无变化的静态物体无法成像，所以通用的静态棋盘标定图无法使用；上述现有技术中，所使用的特征点对应方法依赖于主动成像的普通相机，这些方法对于事件触发相机而言无法得到可与点云匹配的特征点；上述现有技术中，使用的标志物在激光雷达点云和相机图像中的特征提取鲁棒性较低，需要提取从不同位置获取的多帧数据提高准确率；上述现有技术中，没有充分使用配准以后的转换结果做定量的误差统计。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种事件触发相机与三维激光雷达的配准方法，本专利技术针对事件触发相机的特性设计了一种可供事件触发相机进行内参标定的静态标定物以及一种可供事件触发相机和三维激光雷达进行自动数据配准的标志物，解决了传统静态标定或配准标志物在使用事件触发传感器的时候没有响应的问题。同时，本专利技术的专利技术只需基于单帧照片和点云，避免了上述现有技术需要多帧照片和点云才能配准。最后，还为检验配准的结果提出一种有意义的量化评估方法，用于评估配准效果。本专利技术的技术方案是：步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵。基于事件触发相机只对光照强度变化物体成像的特点，本专利技术设计了使用刷新率较低的电视屏幕作为事件触发相机的触发源，因为刷新率低，所以屏幕上的静态图案亮度就相当于一直在变化，所以事件触发相机能够获取到成像信息。使用电视屏幕显示用于内参标定的棋盘图，事件触发相机就能得到棋盘的成像图片，这样就可用于Matlab软件上通用的摄像头内参标定工具获得内参矩阵。而至于用于事件触发相机和激光雷达之间配准的标定物，本专利技术使用一块挖空四个圆，且四圆两行两列排列的亚克力板放置于电视屏幕前约20cm处，组合成为本专利技术使用的标定物。步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据。本专利技术使用基于ROS(机器人操作系统)搭建的同步数据采集平台。通过ROS同时启动两个传感器的数据采集节点，得到实时同步的事件触发相机数据和三维激光雷达的数据。步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点。使用Sobel算子对由事件触发相机生成的标定物的图像做边缘提取，由于我们对于标定物上的圆的半径大小都是已知的，所以采用Hough变换识别出图像中的四个圆。步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点。使用RANSAC(随机抽样一致)方法识别出点云中标定版的四个圆，并得到其半径大小和相对位置。步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵。步骤4得到的特征点云通过步骤1中得到的摄像头内参矩阵可以投影到一个二维的平面。由点云得到的投影图像再和事件触发相机捕获的图像做四个圆特征点的对应，可以得到两个传感器之间在世界坐标系下六个自由度的变换矩阵。步骤6：通过本专利技术提出的配准误差和基于边缘的价值函数对配准结果进行评价。基于步骤5得到的转换矩阵，原始点云可以被染上对应事件触发相机二值图的黑色或白色，所以我们通过染色的效果和基于点云深度信息的切割，提出一个配准误差的定义，并使用基于边缘的价值函数，从两个方面评估整个配准方法的准确度。进一步的，所述的步骤1中，使用电视屏幕显示通用的棋盘图由棋盘图得到的内参矩阵：其中，f是DVS相机的焦距，(ox,oy)是相机的中心点；通过这个转换矩阵，激光雷达点云中的3D点能够转换为2D平面上，为与事件触发相机生成的2D图像做配准提供前提。至于组合的标定板，电视屏幕直接显示全白界面，因为前面四个圆的标定板不透光，所以四个圆后面部分的全白电视屏幕能在事件触发相机中形成清晰的四个白色圆形。进一步的，所述的步骤2中，同时采集的数据，只需要一帧的数据，所以不需要移动传感器或者标定物的位置进行多帧的数据采集；同时启动两个数据采集的节点，使用ROS平台下的同步机制将两个传感器的数据集记录在一个包里，为后面步骤使用两种数据的配准提供前提。进一步的，所述的步骤3中，对于事件触发相机生成的图像的处理，具体过程为：首先，对于分辨率为768*640的黑白二值图像本文档来自技高网...

【技术保护点】
1.一种事件触发相机与三维激光雷达的配准方法，其特征在于，包括以下步骤：步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过配准误差和基于边缘的价值函数对配准结果进行评价。

【技术特征摘要】
1.一种事件触发相机与三维激光雷达的配准方法，其特征在于，包括以下步骤：步骤1：设计一种适用于事件触发相机与三维激光雷达配准的标定物，并得到事件触发相机的内参矩阵；步骤2：同时启动事件触发相机以及三维激光雷达，得到两种传感器在同一个时刻的数据；步骤3：使用边缘提取、特定图案识别等图象处理方法，在图象中定位到标定物的一个点；步骤4：使用基于RANSAC的点云分割等方法，在点云中也定位到标定物的同一个点；步骤5：通过步骤3和步骤4得到的结果推算出空间中六个自由度上的变换矩阵；步骤6：通过配准误差和基于边缘的价值函数对配准结果进行评价。2.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤1中，使用电视屏幕显示通用的棋盘图由棋盘图得到的内参矩阵：其中，f是DVS相机的焦距，(ox,oy)是相机的中心点；通过这个转换矩阵，激光雷达点云中的3D点能够转换为2D平面上，为与事件触发相机生成的2D图像做配准提供前提。3.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤2中，同时采集的数据，只需要一帧的数据，所以不需要移动传感器或者标定物的位置进行多帧的数据采集；同时启动两个数据采集的节点，使用ROS平台下的同步机制将两个传感器的数据集记录在一个包里，为后面步骤使用两种数据的配准提供前提。4.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤3中，对于事件触发相机生成的图像的处理，具体过程为：首先，对于分辨率为768*640的黑白二值图像，由于事件触发相机的成像特性和触发阈值的设置问题，得到的图像往往存在较多的噪点，所以在进行后续的图像处理之前，先使用中值滤波对图像进行降噪处理；然后，对降噪后的二值图使用Sobel算子进行边缘提取；接着，使用Hough变换对上一步边缘提取后的图像进行圆的识别，因为我们已知圆的大小，所以直接使用Hough变换就能很好的将图像中的四个圆识别出来，并得到圆心位置。5.根据权利要求1所述的一种事件触发相机与三维激光雷达的配准方法，其特征在于：所述的步骤4中，对激光雷达采集的点云数据进行处理，具体过程为：首先，基于点云数据的深度信息，通过相邻点云点的深度比较，将边缘的点云点提取出来；在这里，将点与相邻点的深度信息转换为点的边...

【专利技术属性】
技术研发人员：黄凯，宋日辉，江志华，李洋灏，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44