一种用于自动驾驶车辆的多传感器标定方法及装置制造方法及图纸

本发明专利技术实施例公开一种用于自动驾驶车辆的多传感器标定方法及装置，能够根据各相机采集的相机图像进行场景重建，得到各相机图像的位姿以及各相机图像中所包括特征点对应的3D点坐标，场景重建结果即可反映各相机之间的位置关系，从而可以根据场景重建结果计算得到各相机的内参，以及各相机相对主相机的外参，整个标定方法不需要人工参与，不需要任何外在物体的辅助，结果客观准确，从而能够提高相机标定的准确性。并且，本实施例中的相机标定过程不需要建设标定场等固定的场地，从而可以减少资金投入，节省相机标定的成本。另外，本发明专利技术实施例的方案可以在自动驾驶车辆行驶至任意区域时进行相机标定，从而能够提高相机标定的便捷性。捷性。捷性。

【技术实现步骤摘要】
一种用于自动驾驶车辆的多传感器标定方法及装置


[0001]本专利技术涉及自动驾驶
，具体而言，涉及一种用于自动驾驶车辆的多传感器标定方法及装置。

技术介绍

[0002]在自动驾驶的多传感器方案中，如何方便而准确的标定传感器的内参，以及传感器之间的外参一直是一个富有挑战性的问题。
[0003]已知的多传感器标定方法，通常为需要手动操作的方法。例如，对自动驾驶车辆的多相机进行标定时，需要人工手持标定板使得被标定相机拍摄各个视角下的标定板。然而，这类操作往往需要富有经验的技术人员来操作，准确性较差。因此，为了提高多传感器标定的准确性，亟需一种多传感器标定方法。

技术实现思路

[0004]本专利技术提供了一种用于自动驾驶车辆的多传感器标定方法及装置，以提高多传感器标定的准确性。具体的技术方案如下。
[0005]第一方面，本专利技术实施例提供一种用于自动驾驶车辆的多传感器标定方法，所述自动驾驶车辆安装有多个相机，所述方法包括：
[0006]获取各所述相机采集的相机图像，以及各所述相机图像对应的采集时刻；根据各所述相机图像的采集时刻，对各所述相机图像进行同步，得到各图像集；每个图像集中包含每个所述相机所采集的一张相机图像，每个图像集中任两张相机图像的采集时刻之差小于预设时间阈值；
[0007]提取各所述相机图像中的特征点，并根据所提取的特征点对每两张相机图像进行特征匹配，得到各图像匹配对；
[0008]根据各图像匹配对进行场景重建，得到各所述相机图像的位姿，以及各所述相机图像中所包括特征点对应的世界系的3D点坐标；
[0009]确定各所述相机中的主相机，根据各图像集中所述主相机所采集相机图像的位姿，计算各图像集对应的主相机坐标系；针对每个其他相机，根据各图像集中该相机所采集相机图像的位姿，以及各图像集对应的主相机坐标系，计算该相机在各主相机坐标系中的恢复位姿，并根据各恢复位姿计算该相机相对所述主相机的初始外参；
[0010]根据所述主相机的坐标系、各其他相机相对所述主相机的初始外参以及各所述特征点对应的世界系的3D点坐标，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参。
[0011]可选的，所述根据各图像集中所述主相机所采集主相机图像的位姿，计算各图像集对应的主相机坐标系；针对每个其他相机，根据各图像集中该相机所采集相机图像的位姿，以及各图像集对应的主相机坐标系，计算该相机在各主相机坐标系中的恢复位姿，并根据各恢复位姿计算该相机相对所述主相机的初始外参的步骤包括：
[0012]针对每个图像集，确定该图像集对应的主相机坐标系为该图像集中所述主相机所采集相机图像的位姿；
[0013]针对每个其他相机，确定该相机在任一主相机坐标系中的恢复位姿为，该主相机坐标系对应图像集中该相机所采集相机图像的位姿，与该主相机坐标系的逆的乘积；确定该相机相对所述主相机的初始外参为该相机在各主相机坐标系中的恢复位姿的平均值。
[0014]可选的，所述根据所述主相机的坐标系、各其他相机相对所述主相机的初始外参以及各所述特征点对应的世界系的3D点坐标，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参的步骤包括：
[0015]根据以下公式对各相机的内参和各相机相对所述主相机的外参进行优化：
[0016][0017]表示j时刻主相机h的坐标系，表示相机i相对于主相机h的外参，θ
i
表示相机i的内参，I表示所有相机集合，J表示所有采集时刻集合，p
w
为世界系的3D点坐标，u为与3D点匹配的相机图像中的像素点坐标，是由相机内参θ
i
决定的相机的投影模型。
[0018]可选的，所述方法还包括：
[0019]根据各所述相机图像，各所述相机的内参，以及各所述其他相机相对于所述主相机的外参，计算各相邻主相机图像之间的相对位姿；
[0020]针对每帧所述主相机图像，确定从该主相机图像的采集时刻到上一帧主相机图像的采集时刻之间的时间为积分时间；
[0021]获取轮速编码器输出的脉冲，根据输入的车轮半径依次对所述脉冲进行各所述积分时间的积分得到所述无人驾驶车辆的各帧间位姿；
[0022]根据各相邻主相机图像之间的相对位姿，以及所述各帧间位姿，估计得到所述多个相机组成的多相机模组相对于轮速的外参初值；所述外参初值包括：俯仰角、滚转角、偏航角、尺度、横向平移以及纵向平移；
[0023]对所述车轮半径进行优化，得到优化车轮半径；
[0024]根据所述优化车轮半径依次对所述脉冲进行各所述积分时间的积分得到所述无人驾驶车辆车轮的各帧间优化位姿；根据各相邻主相机图像之间的相对位姿，以及所述各帧间优化位姿，计算得到所述多相机模组相对于轮速的外参。
[0025]可选的，所述根据各相邻主相机图像之间的相对位姿，以及所述各帧间位姿，估计得到所述多个相机组成的多相机模组相对于轮速的外参初值的步骤包括：
[0026]在每个所述帧间位姿中识别出旋转分量，根据所述旋转分量通过欧拉角分解得到该帧间位姿对应的偏航角，并根据所述偏航角计算角速度；
[0027]将角速度大于预设阈值的帧间位姿作为目标帧间位姿，以及与该帧间位姿对应时刻的相对位姿作为目标相对位姿；
[0028]求解俯仰角和滚转角，并基于所述目标帧间位姿和目标相对位姿，通过奇异值分解SVD得到相机系到轮速系外参的初步结果将各所述目标相对位姿左乘作为更新后的目标相对位姿，再次进行SVD分解得到相机系到轮速系外参，直到外参结果变化值小
于预设变化阈值时，得到偏航角、尺度、横向平移以及纵向平移。
[0029]可选的，所述求解俯仰角和滚转角的步骤包括：
[0030]获取在各所述主相机图像采集时刻范围内的激光雷达Lidar点云，并对所述Lidar点云进行平面拟合，得到Lidar系中的地平面法向量v
l
，获取Lidar系和相机系的外参，根据所述Lidar系和相机系的外参计算所述v
l
在相机系中的地平面法向量v
c
，计算v
c
与轮速系中地平面法向量v
o
的角度，得到俯仰角和滚转角；或
[0031]将各主相机图像相对第一帧主相机图像的位姿进行平面拟合，得到在相机系中的地平面法向量v
c
，计算v
c
与轮速系中地平面法向量v
o
的角度，得到俯仰角和滚转角；或
[0032]在所述各相邻主相机图像之间的相对位姿和各帧间位姿中，识别出旋转分量，基于识别出的旋转分量构建包含俯仰角和滚转角的关系式，并对所述关系式进行SVD分解得到俯仰角和滚转角。
[0033]可选的，所述对所述车轮半径进行优化，得到优化车轮半径的步骤包括：
[0034]通过以下公式，对车轮半径r进行优化：
[0035][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶车辆的多传感器标定方法，其特征在于，所述自动驾驶车辆安装有多个相机，所述方法包括：获取各所述相机采集的相机图像，以及各所述相机图像对应的采集时刻；根据各所述相机图像的采集时刻，对各所述相机图像进行同步，得到各图像集；每个图像集中包含每个所述相机所采集的一张相机图像，每个图像集中任两张相机图像的采集时刻之差小于预设时间阈值；提取各所述相机图像中的特征点，并根据所提取的特征点对每两张相机图像进行特征匹配，得到各图像匹配对；根据各图像匹配对进行场景重建，得到各所述相机图像的位姿，以及各所述相机图像中所包括特征点对应的世界系的3D点坐标；确定各所述相机中的主相机，根据各图像集中所述主相机所采集相机图像的位姿，计算各图像集对应的主相机坐标系；针对每个其他相机，根据各图像集中该相机所采集相机图像的位姿，以及各图像集对应的主相机坐标系，计算该相机在各主相机坐标系中的恢复位姿，并根据各恢复位姿计算该相机相对所述主相机的初始外参；根据所述主相机的坐标系、各其他相机相对所述主相机的初始外参以及各所述特征点对应的世界系的3D点坐标，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参。2.根据权利要求1所述的方法，其特征在于，所述根据各图像集中所述主相机所采集主相机图像的位姿，计算各图像集对应的主相机坐标系；针对每个其他相机，根据各图像集中该相机所采集相机图像的位姿，以及各图像集对应的主相机坐标系，计算该相机在各主相机坐标系中的恢复位姿，并根据各恢复位姿计算该相机相对所述主相机的初始外参的步骤包括：针对每个图像集，确定该图像集对应的主相机坐标系为该图像集中所述主相机所采集相机图像的位姿；针对每个其他相机，确定该相机在任一主相机坐标系中的恢复位姿为，该主相机坐标系对应图像集中该相机所采集相机图像的位姿，与该主相机坐标系的逆的乘积；确定该相机相对所述主相机的初始外参为该相机在各主相机坐标系中的恢复位姿的平均值。3.根据权利要求1所述的方法，其特征在于，所述根据所述主相机的坐标系、各其他相机相对所述主相机的初始外参以及各所述特征点对应的世界系的3D点坐标，对预设优化函数进行优化，得到各所述相机的内参以及各所述其他相机相对于所述主相机的外参的步骤包括：根据以下公式对各相机的内参和各相机相对所述主相机的外参进行优化：根据以下公式对各相机的内参和各相机相对所述主相机的外参进行优化：表示j时刻主相机h的坐标系，表示相机i相对于主相机h的外参，θ
i
表示相机i的内参，I表示所有相机集合，J表示所有采集时刻集合，p
w
为世界系的3D点坐标，u为与3D点匹配的相机图像中的像素点坐标，是由相机内参θ
i
决定的相机的投影模型。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据各所述相机图像，各所述相机的内参，以及各所述其他相机相对于所述主相机的外参，计算各相邻主相机图像之间的相对位姿；针对每帧所述主相机图像，确定从该主相机图像的采集时刻到上一帧主相机图像的采集时刻之间的时间为积分时间；获取轮速编码器输出的脉冲，根据输入的车轮半径依次对所述脉冲进行各所述积分时间的积分得到所述无人驾驶车辆的各帧间位姿；根据各相邻主相机图像之间的相对位姿，以及所述各帧间位姿，估计得到所述多个相机组成的多相机模组相对于轮速的外参初值；所述外参初值包括：俯仰角、滚转角、偏航角、尺度、横向平移以及纵向平移；对所述车轮半径进行优化，得到优化车轮半径；根据所述优化车轮半径依次对所述脉冲进行各所述积分时间的积分得到所述无人驾驶车辆车轮的各帧间优化位姿；根据各相邻主相机图像之间的相对位姿，以及所述各帧间优化位姿，计算得到所述多相机模组相对于轮速的外参。5.根据权利要求4所述的方法，其特征在于，所述根据各相邻主相机图像之间的相对位姿，以及所述各帧间位姿，估计得到所述多个相机组成的多相机模组相对于轮速的外参初值的步骤包括：在每个所述帧间位姿中识别出旋转分量，根据所述旋转分量通过欧拉角分解得到该帧间位姿对应的偏航角，并根据所述偏航角计算角速度；将角速度大于预设阈值的帧间位姿作为目标帧间位姿，以及与该帧间位姿对应时刻的相对位姿作为目标相对位姿；求解俯仰角和滚转角，并基于所述目标帧间位姿和目标相对位姿，通过奇异值分解SVD得到相机系到轮速系外参的初步结果将各所述...

【专利技术属性】
技术研发人员：童哲航，王宇桐，蔡之奡，刘一龙，李天威，穆北鹏，
申请(专利权)人：北京魔门塔科技有限公司，
类型：发明
国别省市：