基于关键点的车载单目相机外参自动标定系统及标定方法技术方案

本发明专利技术公开了一种基于关键点的车载单目相机外参自动标定系统及标定方法，该系统包括特征点提取匹配模块，用于提取连续帧图像中的特征点并对其进行匹配；相对运动解算模块基于特征点对，采用对极几何方法求解连续帧之间的相对运动；单应性求解模块根据单应性关系筛选出匹配高的路面特征点；外参求解模块求解相机外参；结果输出模块在达到固定量后求取均值并最终输出。该方法包括：初始值设定；特征点提取匹配；求解相对运动；路面特征点提取匹配；单应性求解；外参解算；累积输出。本发明专利技术无需依赖标定物，车道线或其他信息和人工参与，即可修正由于车辆震动或安装偏差导致的相机小幅度偏转，同时还适用于侧视相机标定。同时还适用于侧视相机标定。同时还适用于侧视相机标定。

【技术实现步骤摘要】
基于关键点的车载单目相机外参自动标定系统及标定方法


[0001]本专利技术涉及智能汽车
，具体涉及一种基于关键点的车载单目相机外参自动标定系统及标定方法。

技术介绍

[0002]车载相机是车载视觉系统的重要传感器，可为车辆提供行车环境感知能力，为辅助驾驶系统提供决策所需的基础数据。车载视觉系统的有效发挥依赖于车载相机的准确标定，而相机在工作周期中会因为车身震动或车辆维护而发生偏转，影响视觉系统的准确性。因此，需要一种简洁高效的相机外参标定方法。
[0003]当前基于纯视觉算法的相机的标定方法主要包括传统标定法和自动标定法。
[0004]传统标定方法如申请号为CN202110511210.7一种简易标定环境下的车载环视相机标定方法的专利技术专利申请中，通过使用尺寸已知的标定物如标定板等，在固定场地通过建立标定物上坐标已知的点与其图像像素点的对应关系，利用一定的方法获取相机外参。虽然这种方法的标定精度较高，但是其操作较为复杂，同时需要高精度的标定物人工参与，且无法对运动中的车载相机进行参数标定修正。
[0005]而目前常用的自动标定法大部分基于相机图像中的一些平行或正交的信息，如申请号为CN202011551440.8一种车载相机的在线标定方法和车载信息娱乐系统的专利技术专利申请中利用规则平直的车道线进行车载相机的外参标定，通过车载相机采集车道线图像并基于采集的图像进行车道线检测得出车道线的世界坐标直线方程后，以车载相机的外参当前值为初始值且以车道线的世界坐标直线方程的平直性为优化目标对车载相机的外参当前值进行优化，实现对车载相机的外参标定。此类标定方法虽然计算速度较快，但仅适用于前视与后视相机，而对于无车道线信息的路段或侧视相机则无法进行标定。

技术实现思路

[0006]针对现有技术存在的上述不足，本专利技术要解决的技术问题是：如何提供一种无需依赖标定物，车道线或其他信息和人工参与，即可修正由于车辆震动或安装偏差导致的相机小幅度偏转，同时还适用于侧视相机标定的基于关键点的车载单目相机外参自动标定系统及标定方法。
[0007]为了解决上述技术问题，本专利技术采用如下技术方案：
[0008]基于关键点的车载单目相机外参自动标定系统，包括：
[0009]特征点提取匹配模块，用于提取连续帧图像中的特征点并对其进行匹配；
[0010]相对运动解算模块，用于基于特征点对，采用对极几何方法求解连续帧之间的相对运动；
[0011]单应性求解模块，用于提取位于路面的特征点，并根据单应性关系筛选出匹配高的路面特征点；
[0012]外参求解模块，用于基于连续帧相对运动与路面特征点对，求解相机外参；
[0013]结果输出模块，用于累积外参求解模块获得的结果，并在达到固定量后求取均值并最终输出。
[0014]一种基于关键点的车载单目相机外参自动标定方法，采用上述基于关键点的车载单目相机外参自动标定系统，包括以下步骤：
[0015]步骤1)初始值设定；
[0016]步骤2)特征点提取匹配，所述特征点提取匹配模块提取连续帧图像中的特征点并对其进行匹配；
[0017]步骤3)求解相对运动，所述相对运动解算模块基于特征点对，采用对极几何方法求解连续帧之间的相对运动；
[0018]步骤4)路面特征点提取匹配，所述单应性求解模块对路面特征点进行提取与匹配；
[0019]步骤5)单应性求解，所述单应性求解模块进行单应性求解；
[0020]步骤6)外参解算，所述外参求解模块基于连续帧相对运动与路面特征点对，求解相机外参；
[0021]步骤7)累积输出，所述结果输出模块累积外参求解模块获得的结果，并在达到固定量后求取均值并最终输出。
[0022]优选的，步骤1)中初始值的设定包括相机安装位置世界坐标的设定和相机欧拉角初始值的设定；
[0023]相机安装位置的设定方法为：以车辆后轴中心下方地面为世界坐标系的原点，车辆前向为世界坐标系X轴的正方向，垂直于地面向上的方向为世界坐标系Z轴的正方向建立世界坐标系，并根据建立的世界坐标系确定相机安装位置的世界坐标；
[0024]相机欧拉角初始值的设定方法为：采用上一次相机欧拉角的已知状态值作为相机欧拉角的初始值。
[0025]优选的，步骤1)中的初始值设定还包括相机的连续帧图像Im1与Im2、车身速度与车身角速度，连续帧图像均带时间戳，通过两帧连续帧图像的时间戳计算得到两帧相机图像之间的时间差，并通过求解两帧相机图像之间的对极约束确定其相对运动；
[0026]当车身角速度大于1度/秒时，认为车辆未进行直线运动，则退出计算。
[0027]优选的，步骤2)中，所述特征点提取匹配模块在提取连续帧图像中的特征点并对其进行匹配时，先对输入的两帧图像进行角点检测，然后提取出图像中的角点与其特征向量，再基于特征向量间的汉明距离对特征点进行匹配，最后保留所有匹配成功的特征点对。
[0028]优选的，步骤2)中，采用ORB角点检测法对连续帧图像中的特征点进行提取，且每帧图像提取的特征点数小于等于3000个；
[0029]基于特征向量间的汉明距离对特征点进行匹配，并选取匹配度最高的前30％作为最终的匹配结果。
[0030]优选的，步骤3)中求解相对运动时，首先筛选出步骤2)中匹配度高的特征点对，然后基于该特征点对求解两帧图像之间的本质矩阵，最后基于本质矩阵求解两帧图像之间的相对旋转矩阵与相对位移向量。
[0031]优选的，步骤3)中，若提取到的特征点对小于8对时，则退出计算，若提取到的特征点对大于等于8对时，则采用五点法求解两帧图像之间的本质矩阵，完成本质矩阵计算后，
基于本质矩阵计算出两帧图像之间的相对旋转矩阵和相对平移向量。
[0032]优选的，步骤3)中还需判断相机的相对运动状态估计是否正确，若正确则执行步骤4)，若不正确则退出计算；
[0033]判断相机的相对运动状态估计是否正确的方法为：
[0034]1)基于初始欧拉角[ω0,θ0,τ0]计算其初始旋转矩阵R
e0
：
[0035][0036]2)计算基于初始值的相对平移向量tc0；对于平动状态的车辆，其连续两帧图像之间的归一化平移向量为t
car
＝[
‑
1,0,0]，则根据坐标系旋转平移变换关系，相机的相对
[0037]平移向量tc0为：
[0038]t
c0
＝R
e0
*t
car
；
[0039]3)比较估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离，设定阈值，若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离大于阈值，则退出计算，若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离小于等于阈值，则执行步骤4)。
[0040]优选的，步骤4)中在对路面特征点进行提取与匹配时，采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于关键点的车载单目相机外参自动标定系统，其特征在于，包括：特征点提取匹配模块，用于提取连续帧图像中的特征点并对其进行匹配；相对运动解算模块，用于基于特征点对，采用对极几何方法求解连续帧之间的相对运动；单应性求解模块，用于提取位于路面的特征点，并根据单应性关系筛选出匹配高的路面特征点；外参求解模块，用于基于连续帧相对运动与路面特征点对，求解相机外参；结果输出模块，用于累积外参求解模块获得的结果，并在达到固定量后求取均值并最终输出。2.一种基于关键点的车载单目相机外参自动标定方法，其特征在于，采用如权利要求1所述的基于关键点的车载单目相机外参自动标定系统，包括以下步骤：步骤1)初始值设定；步骤2)特征点提取匹配，所述特征点提取匹配模块提取连续帧图像中的特征点并对其进行匹配；步骤3)求解相对运动，所述相对运动解算模块基于特征点对，采用对极几何方法求解连续帧之间的相对运动；步骤4)路面特征点提取匹配，所述单应性求解模块对路面特征点进行提取与匹配；步骤5)单应性求解，所述单应性求解模块进行单应性求解；步骤6)外参解算，所述外参求解模块基于连续帧相对运动与路面特征点对，求解相机外参；步骤7)累积输出，所述结果输出模块累积外参求解模块获得的结果，并在达到固定量后求取均值并最终输出。3.根据权利要求2所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤1)中初始值的设定包括相机安装位置世界坐标的设定和相机欧拉角初始值的设定；相机安装位置的设定方法为：以车辆后轴中心下方地面为世界坐标系的原点，车辆前向为世界坐标系X轴的正方向，垂直于地面向上的方向为世界坐标系Z轴的正方向建立世界坐标系，并根据建立的世界坐标系确定相机安装位置的世界坐标；相机欧拉角初始值的设定方法为：采用上一次相机欧拉角的已知状态值作为相机欧拉角的初始值。4.根据权利要求3所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤1)中的初始值设定还包括相机的连续帧图像Im1与Im2、车身速度与车身角速度，连续帧图像均带时间戳，通过两帧连续帧图像的时间戳计算得到两帧相机图像之间的时间差，并通过求解两帧相机图像之间的对极约束确定其相对运动；当车身角速度大于1度/秒时，认为车辆未进行直线运动，则退出计算。5.根据权利要求4所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤2)中，所述特征点提取匹配模块在提取连续帧图像中的特征点并对其进行匹配时，先对输入的两帧图像进行角点检测，然后提取出图像中的角点与其特征向量，再基于特征向量间的汉明距离对特征点进行匹配，最后保留所有匹配成功的特征点对。6.根据权利要求5所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，
步骤2)中，采用ORB角点检测法对连续帧图像中的特征点进行提取，且每帧图像提取的特征点数小于等于3000个；基于特征向量间的汉明距离对特征点进行匹配，并选取匹配度最高的前30％作为最终的匹配结果。7.根据权利要求6所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤3)中求解相对运动时，首先筛选出步骤2)中匹配度高的特征点对，然后基于该特征点对求解两帧图像之间的本质矩阵，最后基于本质矩阵求解两帧图像之间的相对旋转矩阵与相对位移向量。8.根据权利要求7所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤3)中，若提取到的特征点对小于8对时，则退出计算，若提取到的特征点对大于等于8对时，则采用五点法求解两帧图像之间的本质矩阵，完成本质矩阵计算后，基于本质矩阵计算出两帧图像之间的相对旋转矩阵和相对平移向量。9.根据权利要求8所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤3)中还需判断相机的相对运动状态估计是否正确，若正确则执行步骤4)，若不正确则退出计算；判断相机的相对运动状态估计是否正确的方法为：1)基于初始欧拉角[ω0,θ0,τ0]计算其初始旋转矩阵R
e0
：2)计算基于初始值的相对平移向量tc0；对于平动状态的车辆，其连续两帧图像之间的归一化平移向量为t
car
＝[
‑
1,0,0]，则根据坐标系旋转平移变换关系，相机的相对平移向量tc0为：t
c0
＝R
e0
*t
car
；3)比较估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离，设定阈值，若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离大于阈值，则退出计算，若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离小于等于阈值，则执行步骤4)。10.根据权利要求9所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤4)中在对路面特征点进行提取与匹配时，采用限制特征点提取区域的方法减少非路面特征点的数量，并基于车身运动信息和局部图像信息进行特征点的匹配。11.根据权利要求10所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，设定相机画面的宽度为W，高度为H，则前视相机和后视相机的特征点提取区域为侧视相机的特征点提取区域为12.根据权利要求11所述的基于关键点的车载单目相机外参自动标定方法，其特征在于，步骤4)中基于车身运动信息和局部图像信息进...

【专利技术属性】
技术研发人员：张德泽，单玉梅，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：