一种相机与车辆外参在线标定的优化方法及相关设备技术

本发明专利技术公开了一种相机与车辆外参在线标定的优化方法及相关设备

【技术实现步骤摘要】
一种相机与车辆外参在线标定的优化方法及相关设备


[0001]本专利技术涉及车辆外参
，特别涉及一种相机与车辆外参在线标定的优化方法及相关设备
。

技术介绍

[0002]在自动驾驶等领域，无论是建图与定位，还是感知检测，都需要用到多传感器的原始数据，包括但不限于多摄像头
、
激光雷达
LiDAR、
实时动态全球定位系统
RTK GPS、
惯性测量单位
IMU
等等
。
每个传感器又有各自的优缺点，因此多传感器的融合显得尤为重要，能够扬长避短，将多个传感器的优点利用起来，达到自动驾驶中各个模块算法的目的
。
而融合的根本，就是需要知道每个传感器之间的外参关系，否则便是各自为政，达不到融合的目的
。
[0003]其中，车辆周视多相机之间以及多相机与车辆之间的外参是最重要的参数之一
。
周视相机之间的外参标定算法和方式，有很多种，比如：
1)factory
出厂标定，指的是有特定的标定车间，车辆在标定车间中，周围或者地面可以布置对应的棋盘格或者其他类型的标定板，完成标定；
2)
在线标定，即车辆在运行过程中，传感器实时采集外部环境数据，并实时进行标定
。
[0004]出厂标定，一般精度较高，但是出厂标定是一次性的，自动驾驶用户在路上自动驾驶车辆时，难免会出现车辆多次颠簸等原因，导致车辆上的传感器产生位姿偏差，这时候会导致传感器之间的外参不准，从而大大影响自动驾驶算法的输出精度
。
这种情况下，在线标定尤为重要，一来可以实时监测外参是否准确或者有大的变动；二来，可以更新外参，在发现外参已经坏掉的情况下
。
[0005]然而，在线标定依靠实时采集外部环境数据，如果外部环境数据提供的约束不够，会导致标定结果精度偏差大
。
而且目前的在线标定技术往往提取不到足够多的消失点，约束不够，容易导致在线标定失败
。
因此，急需一种车辆外参在线标定的优化方法，确保在线标定的顺利进行
。
[0006]因此，现有技术还有待改进和提高
。

技术实现思路

[0007]针对现有技术的上述缺陷，提供一种相机与车辆外参在线标定的优化方法及相关设备，旨在解决现有技术中车辆外参在线标定方法不够完善，标定结果精度偏差大的问题
。
[0008]本专利技术的第一方面，提供一种相机与车辆外参在线标定的优化方法，包括：
[0009]获取目标图像，提取所述目标图像中的消失点，所述目标图像为目标车辆在直线行走时周视相机拍摄到的图像，所述目标图像中的消失点包括第一消失点
、
第二消失点和第三消失点，所述周视相机置于所述目标车辆的车顶中间位置；
[0010]获取满足第一条件的所述第一消失点和所述第二消失点，分别加入至第一约束集和第二约束集；
[0011]重新执行获取目标图像的步骤，直至所述第一约束集和所述第二约束集中的消失
点数量达到预设阈值，得到目标第一约束集和目标第二约束集；
[0012]根据所述目标第一约束集和所述目标第二约束集对所述目标车辆的旋转外参进行优化
。
[0013]所述的相机与车辆外参在线标定的优化方法，其中，所述获取目标图像，包括：
[0014]获取初始图像，所述初始图像为所述目标车辆的周视相机每帧对应的图像；
[0015]获取第一图像并对所述第一图像进行去畸变处理，得到所述目标图像，所述第一图像为所述初始图像中满足第二条件的图像
。
[0016]所述的相机与车辆外参在线标定的优化方法，其中，所述第二条件为：
[0017]当所述初始图像拍摄时间对应的所述目标车辆的位姿为直行时，输出所述初始图像为所述第一图像
。
[0018]所述的相机与车辆外参在线标定的优化方法，其中，所述提取所述目标图像中的消失点，包括：
[0019]提取所述目标图像中的直线段，对所述目标图像中的直线段进行聚类并计算交点，得到所述目标图像中的消失点
。
[0020]所述的相机与车辆外参在线标定的优化方法，其中，所述获取满足第一条件的所述第一消失点和所述第二消失点，分别加入至第一约束集和第二约束集，包括：
[0021]获取目标代价函数，根据所述目标代价函数将所述消失点分为所述第一消失点
、
所述第二消失点和所述第三消失点，所述第一消失点为地面上平行于所述目标车辆行驶方向的车道线对应的消失点，所述第二消失点为地面上垂直于所述目标车辆行驶方向的车道线对应的消失点，所述第三消失点为垂直于地面的直线段对应的消失点；
[0022]提取满足所述第一条件的所述第一消失点加入至所述第一约束集；
[0023]提取满足所述第一条件的所述第二消失点加入至所述第二约束集
。
[0024]所述的相机与车辆外参在线标定的优化方法，其中，所述目标代价函数为：
[0025][0026]其中，
e
为残差，
K1为所述周视相机的内参矩阵，
vp
i
为所述目标图像中消失点的位置，
p
vehicle
为世界坐标系下消失点对应的齐次坐标，为所述旋转外参
。
[0027]所述的相机与车辆外参在线标定的优化方法，其中，所述第一条件为所述残差小于等于
0.02。
[0028]本专利技术的第二方面，提供一种相机与车辆外参在线标定的优化装置，包括：
[0029]图像获取模块，所述图像获取模块用于获取目标图像，提取所述目标图像中的消失点，所述目标图像为目标车辆在直线行走时周视相机拍摄到的图像，所述目标图像中的消失点包括第一消失点
、
第二消失点和第三消失点，所述周视相机置于所述目标车辆的车顶中间位置；
[0030]收集模块，所述收集模块用于获取满足第一条件的所述第一消失点和所述第二消失点，分别加入至第一约束集和第二约束集；
[0031]检测模块，所述检测模块用于重新执行获取目标图像的步骤，直至所述第一约束集和所述第二约束集中的消失点数量达到预设阈值，得到目标第一约束集和目标第二约束集；
[0032]优化模块，所述优化模块用于根据所述目标第一约束集和所述目标第二约束集对所述目标车辆的旋转外参进行优化
。
[0033]本专利技术的第三方面，提供一种终端，包括：处理器
、
与处理器通信连接的存储介质，存储介质适于存储多条指令，处理器适于调用存储介质中的指令，以执行实现上述任一项所述的相机与车辆外参在线标定的优化方法的步骤
。
[0034]本专利技术的第四方面，提供一种存储介质，其中，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于相机与车辆外参在线标定的优化方法，其特征在于，包括：获取目标图像，提取所述目标图像中的消失点，所述目标图像为目标车辆在直线行走时周视相机拍摄到的图像，所述目标图像中的消失点包括第一消失点
、
第二消失点和第三消失点，所述周视相机置于所述目标车辆的车顶中间位置；获取满足第一条件的所述第一消失点和所述第二消失点，分别加入至第一约束集和第二约束集；重新执行获取目标图像的步骤，直至所述第一约束集和所述第二约束集中的消失点数量达到预设阈值，得到目标第一约束集和目标第二约束集；根据所述目标第一约束集和所述目标第二约束集对所述目标车辆的旋转外参进行优化
。2.
根据权利要求1所述的相机与车辆外参在线标定的优化方法，其特征在于，所述获取目标图像，包括：获取初始图像，所述初始图像为所述目标车辆的周视相机每帧对应的图像；获取第一图像并对所述第一图像进行去畸变处理，得到所述目标图像，所述第一图像为所述初始图像中满足第二条件的图像
。3.
根据权利要求2所述的相机与车辆外参在线标定的优化方法，其特征在于，所述第二条件为：当所述初始图像拍摄时间对应的所述目标车辆的位姿为直行时，输出所述初始图像为所述第一图像
。4.
根据权利要求1所述的相机与车辆外参在线标定的优化方法，其特征在于，所述提取所述目标图像中的消失点，包括：提取所述目标图像中的直线段，对所述目标图像中的直线段进行聚类并计算交点，得到所述目标图像中的消失点
。5.
根据权利要求1所述的相机与车辆外参在线标定的优化方法，其特征在于，所述获取满足第一条件的所述第一消失点和所述第二消失点，分别加入至第一约束集和第二约束集，包括：获取目标代价函数，根据所述目标代价函数将所述消失点分为所述第一消失点
、
所述第二消失点和所述第三消失点，所述第一消失点为地面上平行于所述目标车辆行驶方向的车道线对应的消失点，所述第二消失点为地面上垂直于所述目标车辆行驶方向的车道线对应的消失点，所述第三消失点为垂直于地面的直线段对应的消失点；提取满足所述第一条件的所述第一消失点...

【专利技术属性】
技术研发人员：何鹏，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：