外参标定方法、装置及设备、存储介质制造方法及图纸

本申请提供一种外参标定方法、装置及设备、存储介质，涉及自动驾驶技术领域，主要用于场景分析中激光雷达与相机的标定。该方法包括：获取第0帧至第N帧的激光特征点云；将第1帧至第N

【技术实现步骤摘要】
外参标定方法、装置及设备、存储介质


[0001]本申请涉及自动驾驶
，尤其涉及一种外参标定方法、装置及设备、存储介质，可应用于港口、高速、物流、矿山、封闭园区或城市交通等场景。

技术介绍

[0002]在自动驾驶、机器人、三维场景重建等领域中，经常需要进行场景分析。场景分析越来越多使用的方案是：采用多相机传感器、多激光传感器捕获同一场景数据后，再融合不同来源的场景数据，通过融合后的场景数据来分析场景，以提升场景分析效果。例如自动驾驶汽车依靠各种传感器来感知环境，该各种传感器中，激光雷达用于进行障碍物测距，相机用于感知障碍物的颜色和纹理等信息，通过将激光雷达和相机进行融合使用可以实现传感器之间的取长补短，提高场景分析效果。
[0003]多个传感器的数据融合需要对传感器进行非常精确的外参标定，从而保证传感器对环境的感知数据能够在同一个坐标参考系中进行准确融合。目前非共视的激光雷达与相机外参标定的方案是先搭建标定所需的标定场景并制作先验特征，利用先验特征对不同坐标参考系的感知数据进行处理，以形成激光雷达与相机的共视区域。再利用两者共视区域内的特征配准进行外参标定。
[0004]但是这个外参标定的方案是以场景特征为媒介，容易引入间接误差从而影响外参标定的精度，同时搭建特定标定场景所需成本也较高。

技术实现思路

[0005]本申请提供一种外参标定方法、装置及设备、存储介质，用以在自动驾驶、机器人、三维场景重建等领域中，需要对激光雷达和相机进行外参标定时，实现在不搭建标定场景的情况下进行激光雷达和相机的外参标定，以降低外参标定成本和提高外参标定的精度。
[0006]一方面，本申请提供一种外参标定方法，包括：获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；根据第0帧激光特征点云的激光坐标，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。
[0007]本申请的实施例提供的外参标定方法，将所有历史帧激光特征点云（即第1帧至第
N
‑
1帧的激光特征点云）的坐标转换为当前帧激光特征点云坐标，再进行激光坐标和像素坐标之间的转换。等到以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时（即形成激光雷达和相机的共视区域时），得到所述激光坐标和所述像素坐标之间的外参矩阵。无需搭建外参标定所需的标定场景和制作先验特征，就可以形成激光雷达与相机的共视区域，进而得到所述激光坐标和所述像素坐标之间的外参矩阵。
[0008]因此，本申请的实施例提供的方法降低了激光雷达与相机的外参标定成本，提高了外参标定的精确度。
[0009]在一个可选的实施例中，所述根据第0帧激光特征点云的激光坐标，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标包括：获取每帧激光特征点云的线特征点云和面特征点云；基于第M帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云中的线特征点云和面特征点云，对所述第M帧的激光特征点云进行位姿估计，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系；其中，M为大于或等于1，且小于或等于N的整数，K为大于1的整数，所述K个激光特征点云的坐标系为第0帧激光特征点云的坐标系；根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，确定第1帧至第N
‑
1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系；根据第1帧至第N
‑
1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。
[0010]在一个可选的实施例中，所述获取每帧激光特征点云的线特征点云和面特征点云，包括：确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，获取每帧激光特征点云的线特征点云和面特征点云；其中，所述确定每帧激光特征点云中的每个激光特征点是否为线特征点云包括：构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，多个邻域点与任意一个激光特征点处于同一线束；所述第一向量是根据所述任意一个激光特征点与处于第一方向的多个领域点构建，所述第二向量根据所述任意一个激光特征点与处于第二方向的多个领域点构建；所述第一方向和所述第二方向是以所述任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向；根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点；其中，所述确定每帧激光特征点云中的每个激光特征点是否为面特征点云包括：对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点；以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集；对所述局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，所述第一特征值大于所述第二特征值；比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特
征点云集，且确定任意一个激光特征点是否为面特征点。
[0011]在一个可选的实施例中，所述根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点包括：获取所述第一向量和所述第二向量之间的向量夹角；当所述向量夹角在预设角度范围内时，确定任意一个激光特征点为线特征点，其中，所述预设角度范围的最大角度小于或等于120
°
，所述预设角度范围的最小角度大于或等于60
°
。
[0012]在一个可选的实施例中，所述比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点，包括：比较所述第二特征值和所述第三特征值，当所述第二特征值大于三倍的第三特征值时，确定所述局部区域点云集为面特征点云集，且任意一个激光特征点为面特征点。
[0013]在一个可选的实施例中，所述将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，再转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云，包括：获取第N帧的激光特征点云的激光时间戳；获取相机收集的每帧图像的图像时间戳；获取图像时间戳中与所述激光时间戳差值最小的基准图像时间戳，获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种外参标定方法，其特征在于，包括：获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；根据第0帧激光特征点云的激光坐标，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。2.根据权利要求1所述的方法，其特征在于，所述根据第0帧激光特征点云的激光坐标，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标包括：获取每帧激光特征点云的线特征点云和面特征点云；基于第M帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云中的线特征点云和面特征点云，对所述第M帧的激光特征点云进行位姿估计，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系；其中，M为大于或等于1，且小于或等于N的整数，K为大于1的整数，所述K个激光特征点云的坐标系为第0帧激光特征点云的坐标系；根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，确定第1帧至第N
‑
1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系；根据第1帧至第N
‑
1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N
‑
1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。3.根据权利要求2所述的方法，其特征在于，所述获取每帧激光特征点云的线特征点云和面特征点云，包括：确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，获取每帧激光特征点云的线特征点云和面特征点云；其中，所述确定每帧激光特征点云中的每个激光特征点是否为线特征点云包括：构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，多个邻域点与任意一个激光特征点处于同一线束；所述第一向量是根据所述任意一个激光特征点与处于第一方向的多个领域点构建，所述第二向量根据所述任意一个激光特征点与处于第二方向的多个领域点构建；所述第一方向和所述第二方向是以所述任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向；根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点；其中，所述确定每帧激光特征点云中的每个激光特征点是否为面特征点云包括：
对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点；以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集；对所述局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，所述第一特征值大于所述第二特征值；比较所述第二特征值和所述第三特征值后，...

【专利技术属性】
技术研发人员：张凯，王晓东，张天雷，
申请(专利权)人：北京主线科技有限公司，
类型：发明
国别省市：