利用相机提取棋盘格标定板特征点及对应的联合标定方法技术

本发明专利技术提供了一种利用相机提取棋盘格标定板特征点及对应的联合标定方法，属于多传感器联合标定领域。标定板特征点在像素坐标系下的二维坐标的计算过程包括：基于检测到的去畸变后的图像上棋盘格的角点坐标，找到最上、最下、最左和最右的角点作为a、b、c和d点，分别计算得到ac、cb、bd、ad所在的直线方程；分别计算ac、cb、bd、ad所在直线到边界L1、L3、L2、L4的距离d1、d3、d2、d4；将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4得到所述边界L1、L3、L2、L4的直线方程，根据所述边界L1、L3、L2、L4的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。本发明专利技术利用普通的棋盘格标定板即可完成联合标定。通的棋盘格标定板即可完成联合标定。通的棋盘格标定板即可完成联合标定。

【技术实现步骤摘要】
利用相机提取棋盘格标定板特征点及对应的联合标定方法


[0001]本专利技术涉及一种利用相机提取棋盘格标定板特征点及对应的联合标定方法，属于多传感器联合标定


技术介绍

[0002]在无人驾驶车辆中激光雷达和相机是两种很常见的传感器，它们分别有各自的优缺点，激光雷达可以准确感知周围环境的三维空间信息，相机可以准确获取周围环境的颜色和纹理信息，为了更好地对周围环境感知，通常会将激光雷达和相机进行信息融合，而激光雷达和相机的联合标定正是它们进行信息融合的前提。激光雷达和相机的联合标定就是要求解两者之间的旋转平移矩阵(即两者之间的外参)，其求解的方法一般是先寻找多组对应的空间特征点和平面特征点，然后再利用PNP算法求解出他们之间的旋转平移矩阵，其中，空间特征点是标定板特征点在激光雷达坐标系下的三维坐标，平面特征点是标定板特征点在像素坐标系下的二维坐标。
[0003]激光雷达和相机自动化联合标定技术对于建设无人化标定场站至关重要，可以节省大量人力物力，在现有的激光雷达和相机自动化联合标定中平面特征点提取的方法一般有两种：第一是直接利用棋盘格标定板的角点来作为要提取的平面特征，但由于激光雷达对颜色信息不敏感，无法直接提取出角点的空间特征，所以还需要对棋盘格标定板进行特殊的改造；第二是通过制作特殊的标定物来方便平面特征和空间特征的提取，如专利申请公布号为CN109978954 A的中国专利技术专利申请文件中公开的基于箱体的雷达和相机联合标定的方法。以上两种平面特征的提取方法虽然都能满足激光雷达和相机联合标定的需要，但其都需要制作特殊的标定板，操作流程较为复杂，不具有普适性。

技术实现思路

[0004]本专利技术的目的在于提供一种利用相机提取棋盘格标定板特征点及对应的联合标定方法，用以解决现有技术中直接将棋盘格标定板的角点作为平面特征用于激光雷达和相机的联合标定，需要对棋盘格标定板做特殊的改造，操作较为复杂、普适性不强的问题。
[0005]为了实现上述目的，本专利技术提供了一种利用相机提取棋盘格标定板特征点的方法，该方法包括以下步骤：
[0006]利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机能够感知到的区域，特征点为棋盘格标定板的顶点；
[0007]其中，所述特征点在像素坐标系下的二维坐标的计算过程包括：
[0008](1)对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；
[0009](2)对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标，并根据所有角点在像素坐标系下的坐标找到最上、最下、最左和最右的角点作为a点、b点、c点和d点，并根据a点、b点、c点和d点的坐标分别计算得到
ac、cb、bd、ad所在的直线方程；
[0010](3)分别计算ac、cb、bd、ad所在直线到边界L1、L3、L2、L4的距离d1、d3、d2、d4，所述边界L1、L3、L2、L4分别为ac、cb、bd、ad所在直线对应的所述去畸变后的图像中棋盘格标定板的边界；
[0011]其中，所述距离d1、d3、d2、d4分别根据ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离与比例系数计算得到，所述比例系数根据棋盘方格的真实边长与棋盘方格在所述去畸变后的图像中的边长确定；
[0012](4)将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4得到所述边界L1、L3、L2、L4的直线方程，根据所述边界L1、L3、L2、L4的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。
[0013]该利用相机提取棋盘格标定板特征点的方法的有益效果是：该方法将棋盘格标定板的顶点作为特征点，基于检测出的去畸变后的图像上棋盘格的角点在像素坐标系下的坐标，找到去畸变后的图像上最上、最下、最左和最右的角点(即a点、b点、c点和d点)，通过对ac、cb、bd、ad所在的直线方程进行平移得到去畸变后的图像中棋盘格标定板边界的直线方程，然后基于去畸变后的图像中棋盘格标定板边界的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。可以看出，该方法无需对棋盘格标定板进行特殊的改造即可提取出棋盘格标定板上各特征点在像素坐标系下的二维坐标，操作简单，普适性强。
[0014]进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，所述比例系数的计算公式为：r＝L
picture
/s0，式中，r为比例系数，L
picture
为棋盘方格在所述去畸变后的图像中的边长，s0为棋盘方格的真实边长；所述ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离＝ac、cb、bd、ad所在直线各自对应的棋盘格标定板边界到距其最近的棋盘方格的真实距离+棋盘方格的真实边长。
[0015]进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，所述棋盘格标定板的形状为矩形，所述倾斜放置为对角放置。
[0016]进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，利用张氏标定法对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像。
[0017]进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，利用Harris算法对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标。
[0018]本专利技术还提供了一种相机与激光雷达的联合标定方法，该方法包括以下步骤：
[0019]利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机与激光雷达同时能够感知到的区域，特征点为棋盘格标定板的顶点，特征点至少有3个；
[0020]利用激光雷达扫描棋盘格标定板，基于扫描得到的点云数据计算得到棋盘格标定板上的每个特征点在激光雷达坐标系下的三维坐标；
[0021]将每个特征点对应的二维坐标和三维坐标组成一组点对数据，利用得到的至少3组点对数据基于PNP方法求解得到相机与激光雷达之间的外参；
[0022]其中，所述特征点在像素坐标系下的二维坐标的计算过程包括：
[0023](1)对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；
[0024](2)对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标，并根据所有角点在像素坐标系下的坐标找到最上、最下、最左和最右的角点作为a点、b点、c点和d点，并根据a点、b点、c点和d点的坐标分别计算得到ac、cb、bd、ad所在的直线方程；
[0025](3)分别计算ac、cb、bd、ad所在直线到边界L1、L3、L2、L4的距离d1、d3、d2、d4，所述边界L1、L3、L2、L4分别为ac、cb、bd、ad所在直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用相机提取棋盘格标定板特征点的方法，其特征在于，该方法包括以下步骤：利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机能够感知到的区域，特征点为棋盘格标定板的顶点；其中，所述特征点在像素坐标系下的二维坐标的计算过程包括：(1)对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；(2)对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标，并根据所有角点在像素坐标系下的坐标找到最上、最下、最左和最右的角点作为a点、b点、c点和d点，并根据a点、b点、c点和d点的坐标分别计算得到ac、cb、bd、ad所在的直线方程；(3)分别计算ac、cb、bd、ad所在直线到边界L1、L3、L2、L4的距离d1、d3、d2、d4，所述边界L1、L3、L2、L4分别为ac、cb、bd、ad所在直线对应的所述去畸变后的图像中棋盘格标定板的边界；其中，所述距离d1、d3、d2、d4分别根据ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离与比例系数计算得到，所述比例系数根据棋盘方格的真实边长与棋盘方格在所述去畸变后的图像中的边长确定；(4)将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4得到所述边界L1、L3、L2、L4的直线方程，根据所述边界L1、L3、L2、L4的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。2.根据权利要求1所述的利用相机提取棋盘格标定板特征点的方法，其特征在于，所述比例系数的计算公式为：r＝L
picture
/s0，式中，r为比例系数，L
picture
为棋盘方格在所述去畸变后的图像中的边长，s0为棋盘方格的真实边长；所述ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离＝ac、cb、bd、ad所在直线各自对应的棋盘格标定板边界到距其最近的棋盘方格的真实距离+棋盘方格的真实边长。3.根据权利要求1或2所述的利用相机提取棋盘格标定板特征点的方法，其特征在于，所述棋盘格标定板的形状为矩形，所述倾斜放置为对角放置。4.根据权利要求3所述的利用相机提取棋盘格标定板特征点的方法，其特征在于，利用张氏标定法对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像。5.根据权利要求3所述的利用相机提取棋盘格标定板特征点的方法，其特征在于，利用Harris算法对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标。6.一种相机与激光雷达的联合标定方法，其特征在于，该方法包括以下步骤：利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机与激光雷达同时能够感知到的区域，特征点为棋...

【专利技术属性】
技术研发人员：任占奇，杨松超，姚贞辉，李海珠，张培，
申请(专利权)人：郑州宇通客车股份有限公司，
类型：发明
国别省市：