一种基于移动标定板的激光雷达与相机联合标定方法技术

本发明专利技术公开了一种基于移动标定板的激光雷达与相机联合标定方法，首先通过对标定板不同位姿计算标定内参，之后对选取的对应激光雷达标定板点云数据拟合平面获取法向量，再通过解方程计算标定外参，最终完成标定,具体步骤包括：步骤1在相机视野下采集不同角度标定板的激光雷达和相机数据，作为标定数据和验证数据；步骤2对采集的相机数据使用张正友标定法获取相机内参标定结果；步骤3在对应的激光雷达数据上选取标定板位置点云；步骤4对步骤3获取的点云数据进行平面拟合并获取相应法向量；步骤5将步骤2获得的内参数据带入相应计算公式获得最终外参结果。本发明专利技术选取标定板平面数据，相较于选取单点的方法精准度更高，操作更为简单。

【技术实现步骤摘要】
一种基于移动标定板的激光雷达与相机联合标定方法
本专利技术属于智能汽车感知领域，具体指一种基于移动标定板的激光雷达与相机联合标定方法。
技术介绍
智能车是一个包含感知，规划，决策和控制在内的复杂系统，感知是其他部分的基础，获取的感知信息越丰富对于后续的子系统越有利。目前单一传感器难以满足智能车复杂的周围感知需求，多传感器融合算法成为目前主流算法，而融合算法的基础是各传感器之间的联合标定。联合标定可分为两个部分：内参标定与外参标定。内参标定是决定传感器内部的映射关系，主要包含摄像头焦距，光心，畸变系数等参数。外参是各传感器之间的外部坐标转换关系，外参主要由旋转矩阵和平移矩阵组成。外参标定较普遍的方法是在相机和激光雷达对应帧内选取同一物体，通过解方程的方法获得外参矩阵参数从而获得最终标定结果，但此方法对选点的要求很高，如果在选点阶段存在误差，之后的标定结果也会有较大偏差，使用平面标定的方法可以有效减少选点造成的误差。
技术实现思路
本专利技术的目的是为了解决在在做外参标定时，传统选点的方式对标定场地以及选点的要求过高且存在较大误差。提供了一种基于平面法线的联合标定方法，通过获取标定板平面，计算出标定板的法向量，再通过解方程的方法获得标定外参。为达到以上目的，本专利技术采用的技术方案是：基于移动标定板的激光雷达与相机联合标定方法，该方法包括以下步骤：步骤1在相机视野下采集不同角度标定板的激光雷达和相机数据，作为标定数据和验证数据；步骤2对采集的相机数据使用张正友标定法获取相机内参标定结果；步骤3在对应的激光雷达数据上选取标定板位置点云；步骤4对步骤3获取的点云数据进行平面拟合并获取相应法向量；步骤5将步骤2获得的内参数据带入相应计算公式获得最终外参结果。进一步，所述步骤1的具体过程包括如下：在室外较为空旷区域使用黑白棋盘格标定板同时录取激光雷达与相机数据，录取数据时，棋盘格应选取近点、适中点、远点三个纵向距离，相机视场角下的左边、中间、右边三个横向距离，共计九个站点，在每个站点分别左右上下摇摆以获得不同标定板位姿。进一步，所述步骤2的具体过程包括如下：相机内参标定引入单应性矩阵H(一般以平面标定板左上角的点为世界坐标系原点，世界坐标系的XOY平面与标定板平面重合，所有标定板角点的Z＝0)，使用透镜模型，各标定板角点对应像素点可表示为：其中H3*3＝A[r1r2t]＝[h1h2h3]＝[hi1hi2hi3]根据旋转矩阵的性质和||r1||＝||r2||＝1，对于每副图像，可以得到约束条件：当所取图像数目大于等于3时含有5个未知的内参数的矩阵A被唯一求解；令且B为对称矩阵，令b＝[B11B12B22B13B23B33]T，则式中将内参的约束条件转化为即V2n*6b6*1＝0，其中n是采集的图片数量，当n≥3时b有解，再求得内参矩阵A，进而求得相机坐标系下的外参矩阵即相应棋盘位置和法向量。进一步，所述步骤3中选取点云时应选择标定板中间位置。进一步，所述步骤4中的平面拟合为空间平面拟合，空间平面的表达式为Ax+By+Cz+D＝0，其平面法向量m＝(A,B,C)，对于空间中的离散点得到拟合平面，该过程是一个最优化的过程，即转化为求这些点到某平面距离最小和。进一步，所述步骤5的外部参数包括旋转矩阵和平移矩阵。进一步，所述旋转矩阵R的求解通过R*M＝N获得，其中M为通过堆叠激光雷达坐标中所有法线抓取棋盘形成的矩阵，N为通过在相机坐标中堆叠抓取的棋盘的所有法线形成的矩阵。进一步，所述平移矩阵的求解通过优化目标函数求解，所述优化目标函数为式中R为旋转矩阵，p为在相机坐标系下的棋盘格位置，T为平移向量，q为在激光雷达坐标系下的棋盘格位置，N为相机坐标系下的棋盘法向量。本专利技术的有益效果：1.本专利技术标定方法简易，仅需一块标定板，可以集成到机器人操作系统(RobotOperatingSystem)对采集的数据实时验证。2.本专利技术选取标定板平面数据，相较于选取单点的方法精准度更高，操作更为简单。附图说明图1为标定流程图；图2为相机坐标下棋盘格角点；图3为激光雷达坐标下标定板位置；图4为选取的棋盘点反投影至图像验证图；图5为整体点云投影效果图。具体实施方式下面结合附图对本专利技术作进一步说明。本专利技术提出的基于移动标定板的激光雷达与相机联合标定方案，首先通过对标定板不同位姿计算标定内参，之后对选取的对应激光雷达标定板点云数据拟合平面获取法向量，再通过解方程计算标定外参，最终完成标定。如图1所示，具体流程如下步骤1在室外较为空旷区域使用黑白棋盘格标定板同时录取激光雷达与相机数据，录取数据时，棋盘格应选取近点，适中点，远点三个纵向距离，相机视场角下的左边，中间，右边三个横向距离，共计九个站点，在每个站点分别左右上下摇摆以获得不同标定板位姿；步骤2相机内参标定引入单应性矩阵H(一般以平面标定板左上角的点为世界坐标系原点，世界坐标系的XOY平面与标定板平面重合，所有标定板角点的Z＝0)，使用透镜模型，各标定板角点对应像素点可表示为：其中H3*3＝A[r1r2t]＝[h1h2h3]＝[hi1hi2hi3]，s为尺度因子，A为所求的相机内参矩阵，R为旋转矩阵，t为平移矩阵，r1,r2,r3为旋转参量(可以是四元数或欧拉角表示)，h1,h2,h3表示H3*3的组成向量，hi1,hi2,hi3表示H3*3的第i行各元素。根据旋转矩阵的性质和||r1||＝||r2||＝1，对于每幅图像，可以得到约束条件：根据矩阵知识，当所取图像数目大于等于3时含有5个未知的内参数的矩阵A可以被唯一求解。令式中α,β,γ,v0,u0为相机内参矩阵参数。且B为对称矩阵，令b＝[B11B12B22B13B23B33]T，则式中将内参的约束条件转化为即V2n*6b6*1＝0，其中n是采集的图片数量，当n≥3时b有解，再求得内参矩阵A，进而求得相机坐标系下的外参矩阵即相应棋盘位置和法向量。相机坐标下棋盘格角点如图2所示。步骤3在与图像对应的激光雷达点云数据上选取相应标定板位置，在选点时应尽量选择标定板中间位置。激光雷达点云数据选点如图3所示。步骤4平面拟合，激光雷达点云数据存在于三维空间，空间平面方程的一般表达式为：Ax+By+Cz+D＝0，式中A,B,C,D为平面方程系数，其平面法向量m＝(A,B,C)，对于空间中的离散点得到拟合平面，该过程是一个最优化的过程，即转化为求这些点到某个平面距离最小和的问题。步骤5计算外参矩阵，外参矩阵主要包含旋转矩阵和平移矩阵，对于旋转矩阵的求解可通过R*M＝N获得，其中M为通过堆叠激光雷达坐标中所有法线抓取棋盘形成的矩阵，N为通过在相机坐标中本文档来自技高网...

【技术保护点】
1.一种基于移动标定板的激光雷达与相机联合标定方法，其特征在于，包括如下步骤：/n步骤1在相机视野下采集不同角度标定板的激光雷达和相机数据，作为标定数据和验证数据；/n步骤2对采集的相机数据使用张正友标定法获取相机内参标定结果；/n步骤3在对应的激光雷达数据上选取标定板位置点云；/n步骤4对步骤3获取的点云数据进行平面拟合并获取相应法向量；/n步骤5将步骤2获得的内参数据带入相应计算公式获得最终外部参数结果。/n

【技术特征摘要】
1.一种基于移动标定板的激光雷达与相机联合标定方法，其特征在于，包括如下步骤：
步骤1在相机视野下采集不同角度标定板的激光雷达和相机数据，作为标定数据和验证数据；
步骤2对采集的相机数据使用张正友标定法获取相机内参标定结果；
步骤3在对应的激光雷达数据上选取标定板位置点云；
步骤4对步骤3获取的点云数据进行平面拟合并获取相应法向量；
步骤5将步骤2获得的内参数据带入相应计算公式获得最终外部参数结果。


2.根据权利要求1所述的一种基于移动标定板的激光雷达与相机联合标定方法，其特征在于，所述步骤1的具体过程包括如下：
在室外较为空旷区域使用黑白棋盘格标定板同时录取激光雷达与相机数据，录取数据时，棋盘格应选取近点、适中点、远点三个纵向距离，相机视场角下的左边、中间、右边三个横向距离，共计九个站点，在每个站点分别左右上下摇摆以获得不同标定板位姿。


3.根据权利要求1所述的一种基于移动标定板的激光雷达与相机联合标定方法，其特征在于，所述步骤2的具体过程包括如下：
相机内参标定引入单应性矩阵H(一般以平面标定板左上角的点为世界坐标系原点，世界坐标系的XOY平面与标定板平面重合，所有标定板角点的Z＝0)，使用透镜模型，各标定板角点对应像素点可表示为：



其中H3*3＝A[r1r2t]＝[h1h2h3]＝[hi1hi2hi3]
根据旋转矩阵的性质r1Tr2＝0和||r1||＝||r2||＝1，对于每副图像，可以得到约束条件：






当所取图像数目大于等于3时含有5个未知的内参数的矩阵A被唯一求解；
令
且B为对称矩阵，令b＝[B11B12B22B13B23B33...

【专利技术属性】
技术研发人员：王海，刘明亮，蔡英凤，陈龙，李祎承，刘擎超，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32