一种标定车载相机外参的处理方法和装置制造方法及图纸

本发明专利技术实施例涉及一种标定车载相机外参的处理方法和装置，所述方法包括：确认第一相机、第一雷达和第一标定板；调用第一相机进行图像拍摄得到第一图像；调用第一雷达进行扫描得到第一点云；对第一图像中标定板四个圆形区域中心点进行识别；对第一点云中标定板四个圆形区域中心点进行识别；生成四个匹配点对；根据四个匹配点对进行相机外参预估；对第一图像进行二值图转换生成第一校准二值图；将第一点云中处于标定板四个圆形区域作为第一校准点云；根据第一校准点云和第一校准二值图对第一外参矩阵进行外参矩阵微调；并将微调结果作为相机外参标定输出。通过本发明专利技术不用使用任何复杂标定器材就能完成标定，也无需将车辆送到固定场所。定场所。定场所。

【技术实现步骤摘要】
一种标定车载相机外参的处理方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种标定车载相机外参的处理方法和装置。

技术介绍

[0002]自动驾驶车辆需要定期对车载相机进行外参标定。目前常用的相机外参标定方案是基于手眼标定方式的技术方案，这种标定方式需要特殊的标定器材予以配合，这些标定器材都不属于便携设备，所以每次进行相机外参标定时还需将车辆送至指定场所才能完成标定。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种标定车载相机外参的处理方法、装置、电子设备及计算机可读存储介质；以一个简单的标定板为参考获得像素坐标系与激光雷达坐标系下的四对匹配点；基于四对匹配点对相机外参进行预估；再基于一个校准点云对预估的相机外参进行微调。通过本专利技术方法，不使用任何复杂标定器材就能完成外参标定；将标定板放在车上工作人员就能在任何位置进行自主标定，无需将车辆送到固定的标定场所。
[0004]在对相机和激光雷达的数据进行融合时就可避免发生图像数据与点云数据错位的问题。
[0005]为实现上述目的，本专利技术实施例第一方面提供了一种标定车载相机外参的处理方法，所述方法包括：
[0006]选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；
[0007]调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；
[0008]对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；
[0009]将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第
四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；
[0010]根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。
[0011]优选的，所述对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标，具体包括：
[0012]对所述第一图像进行二值图转换得到对应的第一二值图；所述第一二值图的大小与所述第一图像保持一致；所述第一二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色；
[0013]在所述第一二值图上对所述第一底板区域的四个顶点进行顺次连接得到一个对应的四边形区域记为第一四边形区域；所述第一四边形区域上包括所述第一、第二、第三和第四圆形区域对应的四个黑色圆形区域；
[0014]对所述第一四边形区域内四个黑色圆形区域的边沿点进行提取生成对应的第一、第二、第三和第四边沿点集合；
[0015]对所述第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理得到对应的四个圆形中心点记为第一、第二、第三和第四圆形中心点；并将所述第一、第二、第三和第四圆形中心点的像素坐标作为对应的所述第一、第二、第三和第四中心点像素坐标。
[0016]优选的，所述第一点云中各点均对应一个第一点云数据；所述第一点云数据包括第一激光雷达坐标和第一雷达反射强度；所述第一激光雷达坐标包括一个第一深度坐标分量。
[0017]优选的，所述对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标，具体包括：
[0018]将所述第一点云中所述第一雷达反射强度高于预设的高反射强度阈值的点记为对应的第一高返点；并从所述第一点云中提取所有所述第一高返点组成对应的第二点云；
[0019]对所述第二点云进行点云聚类得到四个聚类子点云；并按与所述第一标定板上左上、右上、右下和左下四个圆形图像区域的对应关系，将所述四个聚类子点云分别标记为对应的第一、第二、第三和第四子点云；并分别对所述第一、第二、第三和第四子点云进行边沿点云识别得到对应的第一、第二、第三和第四边沿点云；
[0020]通过对所述第一、第二、第三和第四边沿点云分别进行球面拟合得到对应的四个球面中心点记为第一、第二、第三和第四球面中心点；并将所述第一、第二、第三和第四球面中心点的激光雷达坐标作为对应的所述第一、第二、第三和第四中心点雷达坐标。
[0021]优选的，所述根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵，具体包括：
[0022]确定像素
‑
激光雷达坐标转换方程为
[0023][0024]其中，(x,y,z)为激光雷达坐标坐标系的三维坐标，(u,v)为像素坐标系的二维坐标，A为已知的相机内参矩阵，为待标定的相机外参矩阵，r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
、r
33
、t1、t2和t3为相机外参矩阵的矩阵参数；
[0025]将所述第一匹配点对的所述第一中心点像素坐标和所述第一中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第一方程式；并将所述第二匹配点对的所述第二中心点像素坐标和所述第二中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第二方程式；并将所述第三匹配点对的所述第三中心点像素坐标和所述第三中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第三方程式；并将所述第四匹配点对的所述第四中心点像素坐标和所述第四中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第四方程式；
[0026]基于PnP算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标定车载相机外参的处理方法，其特征在于，所述方法包括：选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。2.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标，具体包括：对所述第一图像进行二值图转换得到对应的第一二值图；所述第一二值图的大小与所述第一图像保持一致；所述第一二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色；在所述第一二值图上对所述第一底板区域的四个顶点进行顺次连接得到一个对应的四边形区域记为第一四边形区域；所述第一四边形区域上包括所述第一、第二、第三和第四圆形区域对应的四个黑色圆形区域；对所述第一四边形区域内四个黑色圆形区域的边沿点进行提取生成对应的第一、第二、第三和第四边沿点集合；对所述第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理得到对应的四个圆形中心点记为第一、第二、第三和第四圆形中心点；并将所述第一、第二、第三和第四圆形中心点的像素坐标作为对应的所述第一、第二、第三和第四中心点像素坐标。3.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述第一点云中各点均对应一个第一点云数据；所述第一点云数据包括第一激光雷达
坐标和第一雷达反射强度；所述第一激光雷达坐标包括一个第一深度坐标分量。4.根据权利要求3所述的标定车载相机外参的处理方法，其特征在于，所述对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标，具体包括：将所述第一点云中所述第一雷达反射强度高于预设的高反射强度阈值的点记为对应的第一高返点；并从所述第一点云中提取所有所述第一高返点组成对应的第二点云；对所述第二点云进行点云聚类得到四个聚类子点云；并按与所述第一标定板上左上、右上、右下和左下四个圆形图像区域的对应关系，将所述四个聚类子点云分别标记为对应的第一、第二、第三和第四子点云；并分别对所述第一、第二、第三和第四子点云进行边沿点云识别得到对应的第一、第二、第三和第四边沿点云；通过对所述第一、第二、第三和第四边沿点云分别进行球面拟合得到对应的四个球面中心点记为第一、第二、第三和第四球面中心点；并将所述第一、第二、第三和第四球面中心点的激光雷达坐标作为对应的所述第一、第二、第三和第四中心点雷达坐标。5.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵，具体包括：确定像素
‑
激光雷达坐标转换方程为其中，(x,y,z)为激光雷达坐标坐标系的三维坐标，(u,v)为像素坐标系的二维坐标，A为已知的相机内参矩阵，为待标定的相机外参矩阵，r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
、r
33
、t1、t2和t3为相机外参矩阵的矩阵参数；将所述第一匹配点对的所述第一中心点像素坐标和所述第一中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第一方程式；并将所述第二匹配点对的所述第二中心点像素坐标和所述第二中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第二方程式；并将所述第三匹配点对的所述第三中心点像素坐标和所述第三中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第三方程式；并将所述第四匹配点对的所述第四中心点像素坐标和所述第四中心点雷达坐标代入所述图像
‑
激光雷达坐标转换方程得到对应的第四方程式；基于PnP算法对所述第一、第二、第三和第四方程式进行求解得到相机外参矩阵十二个矩阵参数r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
、r
33
、t1、t2和t3的参数值，并将十二个矩阵参数的参数值代入所述相机外参矩阵得到对应的所述第一外参矩阵。6.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述第一校准二值图的大小与所述第一图像保持一致；所述第一校准二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色。
7.根据权利要求4所述的标定车载相机外参的处理方法，其特征在于，所述将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云，具体包括：由所述第一点云的所述第一、第二、第三和第四子点云组成对应的所述第一校准点云。8.根据权利要求6所述的标定车载相机外参的处理方法，其特征在于，所述根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵，具体包括：步骤81，确定相机坐标系中三轴欧拉角θ
x
、θ
y
、θ
z
与相机外参矩阵中的旋转矩阵的第一关系式和第二关系；所述第一关系式为：所述第二关系式为：步骤82，将所述第一外参矩阵的矩阵参数r
11
、r
21
、r
31
、r
32
、r
33
带入所述第一关系式进行计算，并将得到的三个欧拉角θ
x
、θ
y
、θ
z
的值作为对应的第一欧拉角第二欧拉角和第三欧拉角步骤83，根据预设的第一、第二和第三微调阈值a1、a2、a3...

【专利技术属性】
技术研发人员：孙振业，陈东，张雨，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：