一种基于视觉里程计的车载摄像头在线标定方法技术

本发明专利技术涉及一种基于视觉里程计的车载摄像头在线标定方法，其包括以下步骤：步骤1、车载摄像头的自标定启动后，实时采集当前帧图像，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，估计当前帧图像的视觉里程计信息，若当前帧图像的视觉里程计信息满足设定条件时，进入下一步骤；否则，返回步骤1，继续进行图像采集；步骤3、基于里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。本发明专利技术能够实现自动标定，提高标定灵活性。提高标定灵活性。提高标定灵活性。

【技术实现步骤摘要】
一种基于视觉里程计的车载摄像头在线标定方法


[0001]本专利技术涉及车载摄像头标定
，具体涉及一种基于视觉里程计的车载摄像头在线标定方法。

技术介绍

[0002]目前，计算机视觉技术已经被广泛应用到了各类先进驾驶辅助系统 (ADAS)中。通过视觉技术感知车辆周围的道路信息、路况信息，可以为ADAS系统提供决策所需要的基础数据。为了提高行车环境的感知准确性和可靠性，对车载摄像头的准确标定是车辆定位准确的重要基础。
[0003]传统车载摄像头标定算法一般采用固定场地标定的方式。在车辆静 止状态下，预先放置黑白棋盘格等高对比度的标靶，对摄像头各类参数进行离线标定。传统标定技术存在以下几个问题：（1）场地精度要求高，需要投入场地建设费用，且场地需要定期维护。
[0004]（2）标定流程需要人工参与，大大增加了标定的复杂度。
[0005]（3）当摄像头状态发生改变，如摄像头后视镜更换等，车辆须返回售后点进行标定，增加了售后的人力和材料费用。
[0006]（4）随着时间的推移，摄像头支架会不可避免的出现振动、老化等问题，造成摄像头姿态的变化，如果不能及时对摄像头重新标定参数，ADAS系统无法做出正确决策，就会对行车安全造成极大的隐患。
[0007](5)在车辆静止状态下进行标定，图像内特征点(线)较少，且只能利用单帧图像信息, 标定精度不高。
[0008]由于存在上述问题，现有车载摄像头标定技术无法满足未来无人驾驶的需求。

技术实现思路

[0009]针对现有技术存在的问题，本专利技术的目的在于提供一种基于视觉里程计的车载摄像头在线标定方法，其能够实现自动标定，提高标定灵活性。
[0010]为实现上述目的，本专利技术采用的技术方案是：一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：包括以下步骤：步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，若匹配满足设定条件时，根据特征点匹配关系，使用多视图集合理论中的对极约束，恢复出两帧之间的位姿，当摄像头的所有帧的图像均处理完成，所有帧之间的位姿关系组成视觉里程计，并进入下一步骤；否则，返回步骤1，继续进行图像采集；步骤3、基于视觉里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；
步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。
[0011]所述步骤3中，同时获取四路摄像机的外参信息：获取直线行驶段视觉里程计的方向向量，获取视觉里程计平面的法向量，根据方向向量和法向量求得车身位姿；最后融合车身位姿与摄像机位姿，获得出四路摄像机外参。
[0012]所述步骤3具体如下：（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。
[0013]所述步骤3中，使用里程计先获取两路摄像机的外参信息，剩余两路摄像机的外参信息使用光度误差法获取；具体地，获得前、后视VO轨迹直线段方向向量、VO平面的法向量，求解出前、后视摄像机的外参；左、右视与前、后视存在重叠区域，在该重叠区域使用最小化其光度误差的方法，分别求解前左视、前右视、后左视、后右视位姿关系；最后，求解出左、右视摄像机的外参。
[0014]所述步骤3具体如下：首先，对前、后两路摄像机进行如下处理，获取前、后两路摄像机的外参信息；（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ；然后，利用使用光度误差法获取左、右两路摄像机的外参信息。
[0015]所述步骤3中，基于视觉里程计结合IMU获取四路摄像机外参信息，具体如下：（a）采集IMU数据，获得每一帧图像的位置与姿态；（b）通过步骤2得到的视觉里程计以及上述IMU数据，构建手眼标定关系AX=XB，并进行求解，获得摄像机与IMU之间的姿态关系矩阵X，其中，A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用IMU来表示对应视觉里程计中两帧之间的姿态关系矩阵；（c）摄像机与IMU之间的姿态关系矩阵X，构建惯性视觉里程计（VIO）因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
[0016]所述步骤3中，基于视觉里程计结合IMU、轮式计标定，获得四路摄像机外参信息，具体如下：（a）分别采集IMU数据和轮式计数据，获得每一帧图像的位置与姿态；（b）通过步骤2得到的视觉里程计以及上述IMU数据、轮式计数据，构建手眼标定关系AX=XB，AY=YD，并进行求解，获取摄像机与IMU之间的姿态关系矩阵X、摄像机与轮式计之间的姿态关系矩阵Y，其中A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵，D使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵；（c）通过摄像头与轮式计、IMU的位姿关系，构建轮式计惯性视觉里程计因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛。
[0017]（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
[0018]采用上述方案后，本专利技术能够基于视觉里程计进行自动在线标定，提高标定灵活性。
附图说明
[0019]图1为本专利技术的流程图；图2为汽车行驶轨迹示意图；图3为汽车车身坐标系与相机坐标系示意图；图4为根据前后位姿计算左右位姿示意图。
具体实施方式
[0020]如图1所示，本专利技术揭示了一种基于视觉里程计的车载摄像头在线标定方法，其包括以下步骤：步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：包括以下步骤：步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，若匹配满足设定条件时，根据特征点匹配关系，使用多视图集合理论中的对极约束，恢复出两帧之间的位姿，当摄像头的所有帧的图像均处理完成，所有帧之间的位姿关系组成视觉里程计，并进入下一步骤；否则，返回步骤1，继续进行图像采集；步骤3、基于视觉里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。2.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，同时获取四路摄像机的外参信息：获取直线行驶段视觉里程计的方向向量，获取视觉里程计平面的法向量，根据方向向量和法向量求得车身位姿；最后融合车身位姿与摄像机位姿，获得出四路摄像机外参。3.根据权利要求2所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3具体如下：（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。4.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，使用里程计先获取两路摄像机的外参信息，剩余两路摄像机的外参信息使用光度误差法获取；具体地，获得前、后视VO轨迹直线段方向向量、VO平面的法向量，求解出前、后视摄像机的外参；左、右视与前、后视存在重叠区域，在该重叠区域使用最小化其光度误差的方法，分别求解前左视、前右视、后左视、后右视位姿关系；最后，求解出左、右视摄像机的外参。5.根据权利要求4所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3具体如下：首先，对前、后两路摄像机进...

【专利技术属性】
技术研发人员：王恒洲，徐建双，刘永红，林财明，
申请(专利权)人：同致电子科技厦门有限公司，
类型：发明
国别省市：