一种汽车鸟瞰全景图生成方法技术

本发明专利技术公开了一种汽车鸟瞰全景图生成方法，具体为：选择标定区域，在标定区域内用线激光器打上标记线，组成矩形激光器区域；在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置安装相机，8个相机总的视野范围覆盖车身周围360度，相邻两个相机的视野范围存在重叠；将汽车移动到激光器区域中心，建立车辆坐标系；在相机的视野范围内摆放棋盘格，采集相机视野范围内的棋盘格图像，计算棋盘格上角点在车辆坐标系下的坐标；计算图像坐标系下角点的坐标；计算棋盘格图像对应的投影变换矩阵，将棋盘格图像转换为鸟瞰图像；将所有的鸟瞰图像拼接得到汽车鸟瞰全景图。本发明专利技术克服传统方法中存在盲区的问题，同时大大提高计算速度。度。度。

【技术实现步骤摘要】
一种汽车鸟瞰全景图生成方法


[0001]本专利技术涉及一种汽车鸟瞰全景图生成方法，属于智能驾驶


技术介绍

[0002]传统的全景拼接图一般都是通过测量地平面上棋盘格的坐标和相机图像上棋盘格的坐标，由矩阵直接求解法得到H单映性矩阵。这种直接求解的方式不可逆，即不能由H矩阵得到相机间的R和t。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种汽车鸟瞰全景图生成方法，采用将相机图像投影到地面的方法，大大提高了计算速度和精度。
[0004]本专利技术为解决上述技术问题采用以下技术方案：
[0005]一种汽车鸟瞰全景图生成方法，包括如下步骤：
[0006]步骤1，选择一标定区域，在该标定区域内用多个线激光器打上5条标记线，其中4条组成一矩形激光器区域，另外1条为该矩形激光器区域长边的中心线；
[0007]步骤2，在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置，每个位置安装1个相机，8个相机总的视野范围覆盖车身周围360度，且相邻两个相机的视野范围存在重叠部分；
[0008]步骤3，将汽车移动到矩形激光器区域的中心，建立车辆坐标系，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标；
[0009]步骤4，在每个相机的视野范围内摆放棋盘格，并采集各相机视野范围内的棋盘格图像，计算棋盘格上各角点在车辆坐标系下的坐标；
[0010]步骤5，根据采集的棋盘格图像，计算图像坐标系下各角点的坐标；
[0011]步骤6，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；
[0012]步骤7，将所有的鸟瞰图像拼接起来得到汽车鸟瞰全景图。
[0013]作为本专利技术的一种优选方案，所述步骤3的具体过程如下：
[0014]步骤3.1，将汽车移动到矩形激光器区域的中心，并确保车头中心与矩形激光器区域其中一条长边的中点对齐，车尾中心与矩形激光器区域另一条长边的中点对齐；
[0015]步骤3.2，以汽车中心点为车辆坐标系的中心，汽车中心点往右为X轴正方向，汽车中心点往上为Y轴正方向，建立车辆坐标系；
[0016]步骤3.3，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标。
[0017]作为本专利技术的一种优选方案，所述步骤4的具体过程如下：
[0018]步骤4.1，在每个相机的视野范围内摆放一3*4的棋盘格，并确保棋盘格的长边与矩形激光器区域的长边平行；
[0019]步骤4.2，采集每个相机视野范围内的棋盘格图像，并测量各棋盘格图像左上角在车辆坐标系下的坐标；
[0020]步骤4.3，根据棋盘格的实际尺寸，推算得到棋盘格各角点在车辆坐标系下的坐标。
[0021]作为本专利技术的一种优选方案，所述步骤5的具体过程如下：
[0022]步骤5.1，对采集的棋盘格图像进行畸变矫正；
[0023]步骤5.2，利用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()，提取畸变矫正后的图像中的棋盘格角点坐标。
[0024]作为本专利技术的一种优选方案，所述步骤6的具体过程如下：
[0025]步骤6.1，在汽车正上方设置一虚拟相机，其光轴垂直于地平面π，通过虚拟相机拍摄得到车身周围的虚拟鸟瞰图，设定虚拟相机满足针孔投影模型，则其内参矩阵K1如下：
[0026][0027]其中，u0＝(W
‑
1)*0.5，v0＝(H
‑
1)*0.5，f
x
＝(w0*d)/W，f
y
＝(w1*d)/H，u0、v0分别为X、Y方向平移的距离，f
x
、f
y
分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w0、w1分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度；
[0028]步骤6.2，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；具体为：
[0029]Step1，当棋盘格图像为安装在汽车右前位置的相机所采集的图像时，通过pnp算法计算地平面π相对于虚拟相机的旋转矩阵R1和平移向量t1，以及地平面π相对于右前相机的旋转矩阵R2和平移向量t2；
[0030]Step2，计算虚拟相机与右前相机的转换关系：
[0031]X1＝R1*X
w
+t1[0032]X2＝R2*X
w
+t2[0033]则X2＝R2*R1‑1*X1+t2‑
R2*R1‑1*t1，其中，X1、X2分别为虚拟相机、右前相机坐标系下的棋盘格角点坐标，X
w
为车辆坐标系下的棋盘格角点坐标；
[0034]Step3，设定地平面π在虚拟相机坐标系下的单位法向量为N，则
[0035][0036]已知X2＝RX1+T，R＝R2*R1‑1，T＝t2‑
R2*R1‑1*t1，则地平面π在虚拟相机和右前相机坐标系下的位置关系为：
[0037][0038]其中，
[0039]Step4，已知x1＝K1X1，x2＝K2X2，其中，K2为右前相机内参矩阵，x1、x2分别为虚拟相机、右前相机图像坐标系下的棋盘格角点坐标，则
[0040][0041]则投影变换矩阵为根据投影变换矩阵将棋盘格图像转换为鸟瞰图像P
r
＝HP
L
，其中，P
r
为鸟瞰图像坐标系下的棋盘格角点坐标，P
L
为右前相机图像坐标系下的棋盘格角点坐标。
[0042]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0043]1、为了感知汽车周围360
°
场景问题，本专利技术提出一种适用于汽车平台的鸟瞰全景图生成方法，可作为智能汽车环境感知的有效手段。将8个相机安装于汽车车身，可获得近距离道路环境的图像；采用一种相机图像投影到地面的方法，克服传统方法中存在盲区的问题，同时大大提高计算速度。
[0044]2、自动驾驶算法中经常用到相机之间的关系，相机之间的位姿关系在自动驾驶中很重要。本专利技术采用打激光线的方法测量地平面的棋盘格坐标，简单快捷，由相机之间的R和t计算H矩阵的方法，更加满足自动驾驶场景的需要。
附图说明
[0045]图1是本专利技术一种汽车鸟瞰全景图生成方法的流程图。
[0046]图2是建立车辆坐标系示意图。
[0047]图3是在矩形激光器区域内摆放棋盘格示意图。
[0048]图4是经畸变矫正后的棋盘格图像。
[0049]图5是虚拟相机成像模型图。
[0050]图6是虚拟鸟瞰示意图。
[0051]图7是安装在车辆右前位置的相机与虚拟相机间的示意图。
[0052]图8本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汽车鸟瞰全景图生成方法，其特征在于，包括如下步骤：步骤1，选择一标定区域，在该标定区域内用多个线激光器打上5条标记线，其中4条组成一矩形激光器区域，另外1条为该矩形激光器区域长边的中心线；步骤2，在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置，每个位置安装1个相机，8个相机总的视野范围覆盖车身周围360度，且相邻两个相机的视野范围存在重叠部分；步骤3，将汽车移动到矩形激光器区域的中心，建立车辆坐标系，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标；步骤4，在每个相机的视野范围内摆放棋盘格，并采集各相机视野范围内的棋盘格图像，计算棋盘格上各角点在车辆坐标系下的坐标；步骤5，根据采集的棋盘格图像，计算图像坐标系下各角点的坐标；步骤6，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；步骤7，将所有的鸟瞰图像拼接起来得到汽车鸟瞰全景图。2.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤3的具体过程如下：步骤3.1，将汽车移动到矩形激光器区域的中心，并确保车头中心与矩形激光器区域其中一条长边的中点对齐，车尾中心与矩形激光器区域另一条长边的中点对齐；步骤3.2，以汽车中心点为车辆坐标系的中心，汽车中心点往右为X轴正方向，汽车中心点往上为Y轴正方向，建立车辆坐标系；步骤3.3，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标。3.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤4的具体过程如下：步骤4.1，在每个相机的视野范围内摆放一3*4的棋盘格，并确保棋盘格的长边与矩形激光器区域的长边平行；步骤4.2，采集每个相机视野范围内的棋盘格图像，并测量各棋盘格图像左上角在车辆坐标系下的坐标；步骤4.3，根据棋盘格的实际尺寸，推算得到棋盘格各角点在车辆坐标系下的坐标。4.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤5的具体过程如下：步骤5.1，对采集的棋盘格图像进行畸变矫正；步骤5.2，利用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()，提取畸变矫正后的图像中的棋盘格角点坐标。5.根据权利要求1所述汽车鸟瞰全景图...

【专利技术属性】
技术研发人员：赵杰，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：