一种基于虚车道线的车载相机自动标定方法技术

本发明专利技术公开了一种基于虚车道线的车载相机自动标定方法，包括步骤：在车辆后轴中心垂直向下与地面交点处建立世界坐标系，车辆正前方为Z轴，前进方向右侧为X轴，竖直向下为Y轴；建立相机坐标系；用相机在车辆正前方车道中心拍摄单张照片，测量车道宽度，在世界坐标系的俯视视角下，选取两侧虚车道线所形成的矩形框作为标定图形，根据矩形性质得到矩形四个特征点与车道宽度的关系，再由正交矩阵性质和相机坐标系和世界坐标系之间的坐标变换关系得出基于相机坐标系的旋转矩阵方程；利用相机内参把相机坐标转换为像素坐标，再从图像中获取四个特征点的像素坐标后，求出关于相机外参的旋转矩阵和平移矩阵的ψ、θ、φ和h四个参数。

【技术实现步骤摘要】
一种基于虚车道线的车载相机自动标定方法
本专利技术属于交通领域，具体涉及一种基于虚车道线的车载相机自动标定方法。
技术介绍
到目前为止，交通领域(包括车载相机和交通监控相机等)的自动标定算法依据标识物大致可以分为基于车道线等静态目标的标定算法和基于车辆行人等运动目标的标定算法。相对于基于静态目标的标定算法来说，基于运动目标的算法要复杂得多，它不仅要求画面中出现车辆或行人等目标，还需要对一个视频序列进行分析获取移动轨迹进而得到消失点，部分算法甚至对移动的方向和速度还有要求，因此这种方法更适合于静止不动的交通监控相机。对于车载相机来说，场景中可能会有大量车辆出现，但由于车辆之间复杂的相对运动，难以找到一个合适的目标进行轨迹分析，而车道线作为静止物，更适合用来作为车载相机自动标定的标识物。在相机成像过程中，三维世界中某点转化为二维图像中的像素点，可以使用几何方法建立模型描述该过程，相机参数即几何模型中涉及到的一些参数。相机内参包括焦距、光心位置、畸变系数等；相机外参包括旋转矩阵和平移矩阵。相机标定的目的就是得到相机参数，而标定精度将直接影响自动驾驶车辆的视觉感知与定位。传统的相机标定方法需要利用标定板上的特定点来确定相机参数，因此这种方法只适用于静态条件下，一般用于标定相机内参。而车载相机在车辆行驶过程中，其外部参数可能会由于各种因素例如道路颠簸、车体振动等发生变化(相机内参不变)，这时则需要对外参进行重新标定。而车道线在行车场景中普遍存在，可以利用车道线的平行性以及车道宽度已知等特征对相机外参进行自动标定。>
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提供了一种基于虚车道线的车载相机自动标定方法。本专利技术采用如下技术方案来实现的：一种基于虚车道线的车载相机自动标定方法，包括以下步骤：1)在车辆后轴中心垂直向下与地面交点处建立世界坐标系，车辆正前方为Z轴，前进方向右侧为X轴，竖直向下为Y轴；建立相机坐标系，相机坐标系原点在世界坐标系中的坐标为(d,h,l)；2)用相机在车辆正前方车道中心拍摄单张照片，测量车道宽度，在世界坐标系的俯视视角下，选取两侧虚车道线所形成的矩形框作为标定图形，根据矩形性质得到矩形四个特征点与车道宽度的关系，再由正交矩阵性质和相机坐标系和世界坐标系之间的坐标变换关系得出基于相机坐标系的旋转矩阵方程；3)由车辆行驶过程中相机内参不变，利用相机内参把相机坐标转换为像素坐标，再从图像中获取四个特征点的像素坐标后，求出关于相机外参的旋转矩阵和平移矩阵的ψ、θ、φ和h四个参数。本专利技术进一步的改进在于，步骤2)的具体实现方法如下：101)引入世界坐标系W与相机坐标系C之间的变换模型如下式Pc＝R·Pw+T其中R表示旋转矩阵，T表示平移矩阵；由于旋转矩阵R为正交矩阵，根据正交矩阵的性质将公式改写为下式：Pw＝R-1Pc-R-1T＝RTPc-RTT式中，-RTT的实际意义就是相机坐标系原点在世界坐标系中的坐标；为了便于理解和计算，这里使用rmn表示旋转矩阵R中的元素，将公式改写为矩阵形式，如下式：102)设矩形四个点分别为ABCD，A、C，B、D分别在同一条虚车道线上，沿Y轴分布，车道宽度为width，根据矩形的性质得到下式：103)由于世界坐标是未知的，将(1)中式子代入到(2)中，这一过程将世界坐标转化为相机坐标，如下式此时，方程中不再含有各点的世界坐标，只剩下各点的相机坐标，而车辆行驶过程中内参不变，在这里认为相机内参已知，因此利用相机内参再把相机坐标转换为像素坐标。本专利技术进一步的改进在于，步骤3)的具体实现方法如下：201)引入经典像素坐标系与世界坐标系之间的变换模型，如下式：式中，fx＝f/dx；fy＝f/dy，分别称为x轴与y轴的归一化焦距，dx、dy分别表示一个像素点在x、y轴方向的物理尺寸，f是相机焦距，(u0,v0)表示图像坐标系原点在像素坐标系下的坐标，R表示相机旋转矩阵，T表示相机平移矩阵；202)由世界坐标系与相机坐标系之间的转换模型结合像素坐标系与世界坐标系之间的变换模型，得出相机坐标系与像素坐标系的变换模型，如下式：展开可得下式：式中，fx、fy、u0和v0都为已知参数；将上式代入①中最后一个方程可得下式：203)求解外参矩阵R，T；将公式②和③代入到公式①中消去各点的相机坐标，只剩下与像素坐标相关的参数，而像素坐标从图像中直接获取；方程简化为下式：式中只包含ψ、θ、φ和h四个未知数，因此联立求解可得下式：式中，FAC＝(mC-mA)+tanφmAmC(nA-nC)；GAC＝sinφ(mC-mA)+cosφmAmC(nA-nC)；FBD＝(mD-mB)+tanφmBmD(nB-nD)；GBD＝sinφ(mD-mB)+cosφmBmD(nB-nD)由此相机外参的旋转矩阵R和平移矩阵T的ψ、θ、φ和h四个参数被求解出来。本专利技术至少具有如下有益的技术效果：本专利技术提供的一种基于虚车道线的车载相机自动标定方法，该方法根据车载相机实时获得的图像中两侧虚车道线所形成的矩形为标定物，利用常见行车场景中车道线的平行性以及已知车道宽度等特征对相机外参进行自动标定即可一次性完成相机的标定工作。由于所选取的车道线参数已知，且常见道路上均有车道线，本专利技术提出的标定方法能够针对车辆行驶过程中因道路颠簸、车体振动等造成的相机外参变化，实现实时的自动标定，具有操作简单，测量便捷，实时性好等优点。进一步，由于引入的未知变量仅有车道宽度width，而所选取虚车道矩形四个点的坐标通过相机坐标系和世界坐标系之间的转换关系，转换为相机坐标系下的坐标，所以本专利技术选取的标定参数少，测量便捷。在权利要求3中，由相机的内参将相机坐标系下所得的四点坐标转换到像素坐标系中，此时四点的坐标转换为能从图像中直接获取的图像中像素坐标系下的像素坐标，此时关于相机外参旋转矩阵R和平移矩阵T的ψ、θ、φ和h四个参数的方程转换为仅关于车道宽度width的方程，联立求解即可得到相机的外参。因此本专利技术提出的基于虚车道线的车载相机自动标定方法操作简单、所用的标定参数少，测量便捷、普适性优良、实时性好。附图说明图1为世界坐标系到相机坐标系示意图。图2为世界坐标系中点绕X轴旋转ψ角示意图。图3为相机坐标系到图像坐标系示意图。图4为图像坐标系到像素坐标系示意图。图5为车辆与相机的位置关系示意图，其中图5(a)为主视图，图5(b)为侧视图，图5(c)为俯视图。图6为两侧虚车道线所形成的矩形示意图。图7为本专利技术实施例所采用的实际道路场景经Opencv标定后的图像。图8为经本专利技术方法所标定后的图像。具体实施方式以下结合附图和实施例对本专利技术做出进一步的说明。<本文档来自技高网...

【技术保护点】
1.一种基于虚车道线的车载相机自动标定方法，其特征在于，包括以下步骤：/n1)在车辆后轴中心垂直向下与地面交点处建立世界坐标系，车辆正前方为Z轴，前进方向右侧为X轴，竖直向下为Y轴；建立相机坐标系，相机坐标系原点在世界坐标系中的坐标为(d，h，l)；/n2)用相机在车辆正前方车道中心拍摄单张照片，测量车道宽度，在世界坐标系的俯视视角下，选取两侧虚车道线所形成的矩形框作为标定图形，根据矩形性质得到矩形四个特征点与车道宽度的关系，再由正交矩阵性质和相机坐标系和世界坐标系之间的坐标变换关系得出基于相机坐标系的旋转矩阵方程；/n3)由车辆行驶过程中相机内参不变，利用相机内参把相机坐标转换为像素坐标，再从图像中获取四个特征点的像素坐标后，求出关于相机外参的旋转矩阵和平移矩阵的ψ、θ、φ和h四个参数。/n

【技术特征摘要】
1.一种基于虚车道线的车载相机自动标定方法，其特征在于，包括以下步骤：
1)在车辆后轴中心垂直向下与地面交点处建立世界坐标系，车辆正前方为Z轴，前进方向右侧为X轴，竖直向下为Y轴；建立相机坐标系，相机坐标系原点在世界坐标系中的坐标为(d，h，l)；
2)用相机在车辆正前方车道中心拍摄单张照片，测量车道宽度，在世界坐标系的俯视视角下，选取两侧虚车道线所形成的矩形框作为标定图形，根据矩形性质得到矩形四个特征点与车道宽度的关系，再由正交矩阵性质和相机坐标系和世界坐标系之间的坐标变换关系得出基于相机坐标系的旋转矩阵方程；
3)由车辆行驶过程中相机内参不变，利用相机内参把相机坐标转换为像素坐标，再从图像中获取四个特征点的像素坐标后，求出关于相机外参的旋转矩阵和平移矩阵的ψ、θ、φ和h四个参数。


2.根据权利要求1所述的一种基于虚车道线的车载相机自动标定方法，其特征在于，步骤2)的具体实现方法如下：
101)引入世界坐标系W与相机坐标系C之间的变换模型如下式
Pc＝R·Pw+T
其中R表示旋转矩阵，T表示平移矩阵；
由于旋转矩阵R为正交矩阵，根据正交矩阵的性质将公式改写为下式：
Pw＝R-1Pc-R-1T＝RTPc-RTT
式中，-RTT的实际意义就是相机坐标系原点在世界坐标系中的坐标；
为了便于理解和计算，这里使用rmn表示旋转矩阵R中的元素，将公式改写为矩阵形式，如下式：



102)设矩形四个点分别为ABCD，A、C，B、D分别在同一条虚车道线上，沿Y轴分布，车道宽度为width，根据矩形的性质得到下式：



103)由于世界坐标是未知的，将(1)中式子代入到(2)中，这一过程将世界坐标转化为相机坐标，如下式

【专利技术属性】
技术研发人员：陈俊龙，魏宇豪，曾科，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61