一种激光雷达与相机融合装置与标定方法制造方法及图纸

本发明专利技术公开一种激光雷达与相机融合装置与标定方法,包括竖直升降台和标定板支架；所述竖直升降台上的工作导轨上设有工作台，所述工作台上固定安装有相机和激光雷达；所述标定板支架上固定安装有标定板；所述激光雷达在所述标定板上扫描得到一条水平直线，找到此直线在标定板边界上的左右端点，然后多次移动相同间隔，便可以得到左右边线上的多组端点，拟合便可近似得到左右边界的直线方程进而得到标定板的端点；将相机图片上端点所在位置的像素点与端点对应便可以得到相机和雷达的位姿关系表达式；运用本激光雷达与相机融合标定方法能够获取雷达点云稀疏的场景下的特征,并能够解得内外参的联合表达式，不需要提前测得相机内参。

A Fusion Device and Calibration Method of Lidar and Camera

【技术实现步骤摘要】
一种激光雷达与相机融合装置与标定方法
本专利技术涉及到融合及标定
，具体涉及到一种激光雷达与相机融合装置与标定方法。
技术介绍
随着计算机技术的兴起，三维重建逐渐成为一个热门的话题，常用的三维重建传感器一般是用双目相机或者是激光雷达来完成物体的重建。对于双目相机来说，虽然具有了颜色信息，但是由于它比较复杂的图像之间的匹配会对整个系统带来计算上的复杂度而且只能够进稀疏点云三维重建。对于激光雷达来说，其结果精确可靠但是由于它没有彩色信息的获取所以对于三维重建的结果无法直观意义上的感受。所以单一传感器不可避免的存在局限性，为了提高系统的稳健性，且在保证精度的情况下融合彩色信息，多采取多传感器融合的方案，融合又包含不同传感器的时间同步和空间同步。激光雷达和相机的联合标定就属于空间同步范畴。现在用深度学习处理点云成为热点，在标注点云时，由于点云的稀疏性，单靠点云，很难判断目标和类别，如果有时间同步的图像，就可以判断出来，但是为了精确标注，还需要将点云投影到图像，观察是否重合，这里就需要做激光雷达和相机的联合标定。激光雷达和相机的联合标定可以用来实时重建物体的表面且获取具有彩色信息的纹理表面，通过联合标定将激光雷达的点云和相机像素的信息统一起来，是多传感器融合的重要组成。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种激光雷达与相机融合装置与标定方法。为实现上述目的，本专利技术采用的技术方案是：一种激光雷达与相机融合装置，包括竖直升降台和标定板支架；所述竖直升降台上设有平行的工作导轨，所述工作导轨之间设有工作台，所述工作台上固定安装有相机和激光雷达，所述激光雷达两侧设置有“T”形安装板，所述“T”形安装板上安装所述相机；所述标定板支架上固定安装有标定板，所述标定板位于所述相机视角及激光雷达扫描区域内。本激光雷达与相机融合装置能够确保激光雷达和相机同步上下移动，结构简单，精度高，相机与激光雷达位姿相对固定；所述标定板始终位于相机视角及二维激光雷达扫描区域内，保证能够获取全面的雷达点云和像素点。优选的，所述工作导轨之间设有滚珠丝杠，在所述滚珠丝杠上部设置所述工作台；所述滚珠丝杠端部连接有步进电机。通过步进电机配合滚珠丝杠能够精确控制工作台上升或下降的位移量，有利于提高激光雷达与相机的融合标定计算的准确性。优选的，所述标定板为三角形标定板或方形标定板。优选的，所述工作台上升一个行程的距离为4.82毫米，误差为10微米。此设置以确保融合和标定过程中高精度的要求。一种使用上述融合装置的激光雷达与相机融合标定方法，包括以下步骤:S1：将所述激光雷达与所述相机以固定位姿固定在竖直升降台的工作台上,确保所述竖直升降台竖直移动过程中,所述激光雷达与所述相机的相对位置固定；S2：将标定板设置在所述激光雷达及所述相机能够同时获取到的位置；S3：打开所述激光雷达，所述激光雷达在所述标定板上扫描得到一条水平直线，找到此直线在标定板边界上的左右端点，然后多次移动相同间隔，便可以得到所述标定板左右边线上的多组端点，拟合多组端点得到左右边界的直线方程，进而得到激光雷达扫描的标定板的角点；S4：将所述相机图片上标定板的角点所在位置的像素点与所述S3中得到的标定板的角点对应便得到所述相机和所述激光雷达的位姿关系表达式；S5：将标定板进行不同位姿的摆放可以得到多组点，进而连立方程可得到所述相机与所述激光雷达的位姿变化；所述激光雷达扫描的角点确定步骤具体如下：1)移动工作台，激光雷达扫描得到不同高度的扫描线段，基于RANSAC线性特征提取，获得不同点的雷达数据及多条扫描线段；假设螺旋升降仪上升高度为z，扫描的某点的雷达数据为r,θ，则扫描点在主坐标系下可表示为：(rcosθ,rsinθ,z)。对于每一组固定位姿的标定板，通过移动固定行程的工作台来对标定板形成高度不一的扫描线。且这些扫描线的竖直方向即z方向已知，即为工作台移动的行程。对于每一次扫描得到的线端，得到每一个点均可用上述的公式表达，记第i次测量得到的第j个点的雷达数据为rj,θj，螺旋仪的行程为zi，可以得到此点的三维坐标系表达式为(rjcosθj,rjsinθj,zi)。对于第i次扫描，假设已经扫描到了n个点，其中j∈(1,n)，可以利用RANSAC剔除噪声的雷达数据点，并且通过最小二乘进行拟合具体做法如下：对于第i次扫描，可以得到雷达数据的三维坐标点(rjcosθj,rjsinθj,zi)，其中j∈(1,n)，n为扫描得到的点的个数。每次选取任意的两点(racosθa,rasinθa,zi)，(rbcosθb,rbsinθb,zi)，可以得到直线方程如下：由于每一次扫描zi值相同，便可以舍弃zi，将直线变为二维坐标系下的点，简单记两点所产生的直线为y＝ax+b。由于舍弃了zi值，对于任意一点(rccosθc,rcsinθc)，可以求点到直线的距离：由雷达固定参数可得其精度误差为σ，若d≤σ，则此点为该次扫描的内点。从而得到此次内点的集合S1。重复上述过程，任意选取两点，重复上述过程次，便可以得到所有的内点集合，选取内点最大的集合为S。对每次扫描的内点进行最小二乘拟合得到一条具有两个端点的线段。其中最小二乘的拟合方法如下：对于直线y＝ax+b，对于每i个点存在误差：ei＝yi-axi-b(3)定义一个损失函数：调整a和b，使得Q达到最小，那么曲线拟合的误差也会最小。这里，Q是a，b的函数。Q的最小值点必然是其导数为0的点。令求解上述方程组，则可以解得a和b的值。即可得到一条具有两个端点的线段。对于每一次固定位姿的标定板，对于每一次行程扫描，重复上述过程，便可以得到对于一次固定位姿标定板的标定，得到一组平行的线段，且每一条线段端点均已知。2)利用RANSAC算法剔除得到的雷达数据中噪声数据点，通过最小二乘法进行曲面拟合得到一个拟合平面；对于得到的雷达数据点去除噪声点后，设有n个数据点Pi＝(xi，yi，zi)i∈(1，2，...，n).定义拟合平面方程为：AX+BY+CZ+D＝0(6)其中A、B、C、D为待定系数，A、B、C、不同时为0；数据点Pi到拟合平面AX+BY+CZ+D＝0的距离设为di，则：di2＝(AXi+BYi+CZi+D)2/(A2+B2+C2)(7)设误差项L为欲使L最小.L是关于(A、B、C、D)的函数，其中(Xi、Yi、Zi均已知)，当L取最小值时，可知：将公式(7)和(8)代入公式(9)中联立可得到四个等式，四个未知数的方程，利用线性代数联立即可求解得到最小二乘拟合得到的拟合平面方程。3)再将步骤1)中扫描线段的左右端点投影到所述拟合平面上；找到拟合的平面AX+BY+CZ+D＝0后，在此标定角度下，对于步骤1)中拟合得到的线段，令其端点为pk＝(Xk，Yk，Zk)k∈(1，2，...，n)，由于每次测量竖直工作台的量程都比较精确且每个数据点的z坐标就是工作台的行程高度，所以不优化z的数据，使得pk到拟合平面AX+BY+CZ+D＝0的距离最短，即将拟合得到的扫描线段的左右端点投影到拟合平面上。由于z坐标不变，只要将端点水平投影到平面，我们假设pk对应于平面上的点是Pkr＝(Xkr，Ykr，Zk)k∈(1，2，...，n)。对于任意一点，可得下面关系式本文档来自技高网...

【技术保护点】
1.一种激光雷达与相机融合装置，其特征在于，包括竖直升降台和标定板支架；所述竖直升降台上设有一对平行的竖直工作导轨，一对所述工作导轨之间设有工作台，所述工作台上固定安装有相机和激光雷达，所述激光雷达两侧设置有“T”形安装板，所述“T”形安装板上安装所述相机；所述标定板支架上固定安装有标定板，所述标定板位于所述相机视角及激光雷达扫描区域内。

【技术特征摘要】
1.一种激光雷达与相机融合装置，其特征在于，包括竖直升降台和标定板支架；所述竖直升降台上设有一对平行的竖直工作导轨，一对所述工作导轨之间设有工作台，所述工作台上固定安装有相机和激光雷达，所述激光雷达两侧设置有“T”形安装板，所述“T”形安装板上安装所述相机；所述标定板支架上固定安装有标定板，所述标定板位于所述相机视角及激光雷达扫描区域内。2.根据权利要求1所述的激光雷达与相机融合装置，其特征在于，所述工作导轨之间设有滚珠丝杠，在所述滚珠丝杠上部设置所述工作台；所述滚珠丝杠端部连接有步进电机。3.根据权利要求1所述的激光雷达与相机融合装置，其特征在于，所述标定板为三角形标定板或方形标定板。4.根据权利要求1所述的激光雷达与相机融合装置，其特征在于，所述工作台上升一个行程的距离为4.82毫米，误差为10微米。5.根据权利要求1所述的激光雷达与相机融合装置的激光雷达与相机融合标定方法，其特征在于，包括以下步骤:S1：将所述激光雷达与所述相机以固定位姿固定在竖直升降台的工作台上,确保所述工作台竖直移动过程中,所述激光雷达与所述相机的相对位置固定；S2：将标定板设置在所述激光雷达及所述相机能够同时获取到的位置；S3：打开所述激光雷达，所述激光雷达在所述标定板上扫描得到一条水平直线，找到此直线在标定板边界上的左右端点，然后多次移动相同间隔，便可以得到所述标定板左右边线上的多组端点，拟合多组端点得到左右边界的直线方程，进而...

【专利技术属性】
技术研发人员：徐孝彬，费仲文，骆敏舟，谭治英，张映桃，张敏，杨浩，李之豪，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32