一种车载前向摄像头的位姿实时计算方法技术

本发明专利技术提供一种车载前向摄像头的位姿实时计算方法，通过对车载前向摄像头采集的图像，语义分割对所述图像做初步分类，判断当前图像中的车道状态，若检测出的左右侧车道线，分别进行车道线为直角线或曲线时摄像头位姿的计算。若未能检测出左右侧车道线时，通过筛选出正确的光流点，计算当前时刻的摄像头位姿，进一步的，还可以通过两帧之间车辆运动关系，计算出两帧图像之间车辆运动量，不需要借助车身imu/GPS等信号计算车辆在两帧图像之间的运动量。的运动量。的运动量。

【技术实现步骤摘要】
一种车载前向摄像头的位姿实时计算方法


[0001]本专利技术涉及车载摄像头轨迹线
，尤其是涉及一种车载前向摄像头的位姿实时计算方法。

技术介绍

[0002]智能驾驶感知系统在车辆运行过程中，摄像头位姿会随着车辆运动发生偏移，如不能准确知道摄像头的偏移量，对摄像头测距会造成严重错误，所以实时计算摄像头的位姿极，即摄像头位姿较准的过程至关重要。目前常用方法为通过车道线的灭点计算摄像头位姿，而灭点法需要完全依赖于直线车道线场景，如车辆在行驶过程中，遇到车道线被其他车辆遮挡等情况，会导致车道线灭点无法计算，进而无从计算摄像头位姿。而且灭点法无法计算车辆在两帧图像之间的运动关系，需要借助车身imu/GPS等信号计算车辆在两帧图像之间的运动量。

技术实现思路

[0003]针对上述问题，本专利提出了一种车载前向摄像头的位姿实时计算方法，至少包括：本方案提出结合车道线灭点和光流跟踪的摄像头位姿计算方案，扩展计算摄像头位姿的适用场景，完善自动驾驶感知算法的稳定性。
[0004]具体的，一种车载前向摄像头的位姿实时计算方法，包括以下步骤：S1：获取车载前向摄像头采集的图像，语义分割对所述图像做初步分类，判断当前图像中的车道状态；S2：若检测出的左右侧车道线，则判断所述左右侧车道线是否为直线；若为直线，则采用灭点法计算俯仰角，进而计算得摄像头位姿；若为曲线，则利用初始外参的旋转R和平移T将所述曲线上Y坐标值相同的像素点坐标投影到世界坐标系上，计算左右侧曲线的像素点在世界坐标系中水平方向的差值，并作为车道的宽度值，通过迭代计算得最终的俯仰角，进而计算得摄像头位姿；S3：若未能检测出左右侧车道线时，则自适应选择光流点，匹配出当前图像中的位置，通过筛选出正确的光流点，计算当前时刻的摄像头位姿，进而通过两帧之间车辆运动关系，计算出两帧图像之间车辆运动量。
[0005]其中，所述S1还包括：设置车道区域为1，设置非车道区域为0，设置所述车道上任意一点的灰度值高于左右侧车道线的灰度值，采用二值化计算公式判断当前图像中的车道状态：，式中： 为图像中任意一点的像素值，为当前像素的左侧一个车道线的像素值，为当前像素的右侧一个车道线的像素值，为语义分割结果。
[0006]进一步的，所述S2中判断所述左右侧车道线是否为直线，还包括：标记左侧车道线为L1，标记右侧车道线为L2，对检测出的每条车道线通过最小二乘法进行拟合得曲线方程：，式中：为均拟合系数，x 为车道线像素在垂直方向上的坐标， y为车道线像素在水平方向上的坐标；计算拟合曲线的曲率，公式为：若曲率R≤阈值T，则当前车道线为直线；否则，为曲线。
[0007]进一步的，所述S2中还包括，采用灭点法计算俯仰角：将所述L1和L2经过透视投影成像后，得：，计算出灭点V的图像坐标（X
V
，Y
V
）；计算出俯仰角pitch为：，计算出当前直线车道线的摄像头位姿：T=[pitch,yaw,roll,Tx,Ty,Tz],其中，pitch为俯仰角，yaw为偏转角，roll为旋转角，为摄像头距离世界中心的横向距离，为摄像头距离世界中心的纵向距离，为摄像头的安装高度；为摄像头的在垂直方向上的光心坐标，H为图像高度，为相机的垂直视场角。
[0008]所述S2还包括：若当前车道线为曲线时，则从L1和L2中取出所有像素点，分别将L1和L2中的点分别记为：和；找出Y值相同的坐标，记为：，利用摄像头的安装角度初始外参的旋转R和摄像头的安装位置坐标平移矩阵T将Y
值相同的坐标投影到世界坐标系，得：，，，式中，为roll角的旋转矩阵，为yaw角的旋转矩阵，为pitch角度的旋转矩阵；则旋转矩阵为：；平移矩阵为：；得世界坐标点：W = R*I +T，优化得：。
[0009]进一步的，将每一组点世界坐标系中水平方向的差值作为L1与L2间的宽度值：；两组点的宽度差为：，利用宽度的平均值和旋转R矩阵的偏导数迭代更新外参，外参更新过程只将pitch作为变量，循环迭代至d = 0，得到最终的pitch角度的值；计算当前曲线车道线的摄像头的高度：其中，为当前时刻摄像头高度，为上一时刻摄像头高度，为当前时刻的车道宽度，为上一时刻的车道线宽度。
[0010]其中，所述S3还包括：设置光流点的过程为：在车辆前方左右侧5m范围内每间隔1m设置一个光流点，每行10个光流点，在车辆前向30m范围内，每向前间隔1m，设置一行光流点，共30行，共设置300个点作为流光点，记
作：，映射到上一帧图像，上一时刻的光流图像点记作：；匹配出在当前图像中的位置，记为：，匹配过程为：先建立运动关系：；；上式中，为窗口权重函数：。
[0011]进一步的，所述S3还包括，筛选出正确的光流点：将利用上一时刻的旋转矩阵R和平移矩阵T映射到当前时刻，记为：，，结合车速信息预估上下两时刻的运动量: 其中，为预估运动量，v为车速，为上下两时刻图像的时间间隔；当和的误差超过0.5m的点则认为是误匹配点。
[0012]进一步的，所述S3还包括，中计算当前时刻的摄像头位姿：利用筛选后的当前时刻光流匹配点和上一时刻的世界坐标点，求解摄像头位姿：。
[0013]进一步的，所述S3还包括，计算两帧图像之间车辆运动量：根据摄像头位姿的平移矩阵，已知上一时刻的摄像头位姿，则就是两帧图像之间车辆在横向和纵向运动量。
[0014]综上所述，本专利技术提供一种车载前向摄像头的位姿实时计算方法，通过对车载前向摄像头采集的图像，语义分割对所述图像做初步分类，判断当前图像中的车道状态，若检测出的左右侧车道线，分别进行车道线为直角线或曲线时摄像头位姿的计算。若未能检测出左右侧车道线时，通过筛选出正确的光流点，计算当前时刻的摄像头位姿，进一步的，还可以通过两帧之间车辆运动关系，计算出两帧图像之间车辆运动量，不需要借助车身imu/GPS等信号计算车辆在两帧图像之间的运动量。
附图说明
[0015]图1 为本专利技术所述的车载前向摄像头的位姿实时计算方法原理图。
具体实施方式
[0016]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]如图1所示，为本专利技术提出的车载前向摄像头的位姿实时计算方法，可在两条直车道线情况下，或在两条弯车道线情况下，或可在单条车道线或者无车道线的情况下，用于跟踪校准摄像头位姿，具体包括以下步骤：S1：获取车载前向摄像头采集的图像，语义分割对所述图像做初步分类，判断当前图像中的车道状态；具体的：设置车道区域为1，设置非车道区域为0，设置所述车道上任意一点的灰度值高于左右侧车道线的灰度值，采用二值化计算公式判断当前图像中的车道状态：，式中： 为图像中任意一点的像素值，为当前像素的左侧一个车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载前向摄像头的位姿实时计算方法，其特征在于，包括以下步骤：S1：获取车载前向摄像头采集的图像，语义分割对所述图像做初步分类，判断当前图像中的车道状态；S2：若检测出的左右侧车道线，则判断所述左右侧车道线是否为直线；若为直线，则采用灭点法计算俯仰角，进而计算得摄像头位姿；若为曲线，则利用初始外参的旋转R和平移T将所述曲线上Y坐标值相同的像素点坐标投影到世界坐标系上，计算左右侧曲线的像素点在世界坐标系中水平方向的差值，并作为车道的宽度值，通过迭代计算得最终的俯仰角，进而计算得摄像头位姿；S3：若未能检测出左右侧车道线时，则自适应选择光流点，匹配出当前图像中的位置，通过筛选出正确的光流点，计算当前时刻的摄像头位姿，进而通过两帧之间车辆运动关系，计算出两帧图像之间车辆运动量。2.根据权利要求1所述的车载前向摄像头的位姿实时计算方法，其特征在于，所述S1还包括：设置车道区域为1，设置非车道区域为0，设置所述车道上任意一点的灰度值高于左右侧车道线的灰度值，采用二值化计算公式判断当前图像中的车道状态：，式中： 为图像中任意一点的像素值，为当前像素的左侧一个车道线的像素值，为当前像素的右侧一个车道线的像素值，为语义分割结果。3.根据权利要求1所述的车载前向摄像头的位姿实时计算方法，其特征在于，所述S2中判断所述左右侧车道线是否为直线，还包括：标记左侧车道线为L1，标记右侧车道线为L2，对检测出的每条车道线通过最小二乘法进行拟合得曲线方程：，式中：为均拟合系数，x 为车道线像素在垂直方向上的坐标， y为车道线像素在水平方向上的坐标；计算拟合曲线的曲率，公式为：若曲率R≤阈值T，则当前车道线为直线；否则，为曲线。4.根据权利要求3所述的车载前向摄像头的位姿实时计算方法，其特征在于，所述S2中还包括，采用灭点法计算俯仰角：将所述L1和L2经过透视投影成像后，得：
，计算出灭点V的图像坐标（X
V
，Y
V
）；计算出俯仰角pitch为：，计算出当前直线车道线的摄像头位姿：T=[pitch,yaw,roll,Tx,Ty,Tz],其中，pitch为俯仰角，yaw为偏转角，roll为旋转角，为摄像头距离世界中心的横向距离，为摄像头距离世界中心的纵向距离，为摄像头的安装高度；为摄像头的在垂直方向上的光心坐标，H为图像高度，为相机的垂直视场角。5.根据权利要求4所述的车载前向摄像头的...

【专利技术属性】
技术研发人员：冉友廷，卢金波，郑敏鹏，陈君立，魏以彬，
申请(专利权)人：惠州市德赛西威智能交通技术研究院有限公司，
类型：发明
国别省市：