【技术实现步骤摘要】
确定相机与激光雷达之间外参的方法和装置
本申请涉及计算机视觉
，特别涉及一种确定相机与激光雷达之间外参的方法和装置。
技术介绍
相机可以获取到目标物二维RGB(RedGreenBlue，红绿蓝)图像，该二维RGB图像包含有目标物的颜色信息，激光雷达可以获取目标物的三维点云图像，该三维点云图像包含有目标物的深度信息。实际应用中多将二者结合使用，例如在三维重建中使用相机获取场景颜色信息的RGB图像，使用激光雷达获取包含场景深度信息的三维点云图像。通过相机和激光雷达之间的外参可以将场景的深度信息和场景的颜色信息相结合，以得到带有颜色信息的场景三维图像，外参即为旋转矩阵和平移向量，基于该外参可以完成将某一点从激光雷达坐标系到相机坐标系下的转换，反之亦可。然而，在对场景的深度信息和场景的颜色信息相结合之前，需要预先对相机和激光雷达之间的外参进行标定。如果采用现有的相机和激光雷达之间外参标定的方法需要使用激光雷达获取的两帧图像进行特征点匹配，以确定激光雷达的相对外参，由于激光雷达成像上的点较为稀疏，以此方法得到的激光雷达的相对外参并不准确，那么，基于该激光雷达的相对外参进一步得到的相机和激光雷达之间的外参也就不准确。
技术实现思路
为了解决相关技术的问题，本申请实施例提供了一种确定相机与激光雷达之间外参的方法和装置。所述技术方案如下：第一方面，提供了一种确定相机与激光雷达之间外参的方法，所述方法包括：获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；基于每组标...
【技术保护点】
1.一种确定相机和激光雷达之间外参的方法，其特征在于，所述方法包括：/n获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；/n基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；/n基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；/n基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；/n基于所述非线性关系，确定相机和激光雷达之间的外参。/n
【技术特征摘要】 【专利技术属性】
1.一种确定相机和激光雷达之间外参的方法，其特征在于，所述方法包括：
获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
基于所述非线性关系，确定相机和激光雷达之间的外参。
2.根据权利要求1所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；
基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
3.根据权利要求2所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
4.根据权利要求3所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述基于所述非线性关系，确定相机和激光雷达之间的外参，包括：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
5.根据权利要求4所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数，包括：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
6.根据权利要求4所述的方法，其特征在于，所述对所述代价函数进行优化，确定相机和激光雷达之间的外参，包括：
使用非线性优化方法，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
8.一种确定相机和激光雷达之间外参的系统，其特征在于，所述系统包括：相机、激光雷达和计算机设备，其中：
所述相机，用于分别拍摄处于多个位姿的标定板的二维图像，将拍摄的二维图像发送至所述计算机设备；
技术研发人员：步青，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。