无人驾驶方程式赛车环境感知和导航方法及转向控制方法技术

本发明专利技术涉及一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法，其包括：对预先建立的单应性矩阵H进行标定求解；对彩色图像上的锥桶进行识别，获取锥桶在彩色图像上的位置坐标；通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中，获取对应深度图像中锥桶的中心位置和覆盖范围；对覆盖范围内所有像素的空间三维坐标值求均值，作为此颜色锥桶的空间三维坐标，进而实现各色锥桶的识别和空间定位，获得赛车行进路径。本发明专利技术能实现彩色目标和深度数据的快速融合，计算量小、准确度高；可以广泛在无人驾驶技术领域中应用。可以广泛在无人驾驶技术领域中应用。可以广泛在无人驾驶技术领域中应用。

【技术实现步骤摘要】
无人驾驶方程式赛车环境感知和导航方法及转向控制方法


[0001]本专利技术涉及一种无人驾驶
，特别是关于一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法。

技术介绍

[0002]在无人驾驶方程式大赛的比赛中，一系列红色和蓝色交通锥桶分别标识了行进路径的两个边界，无人驾驶赛车在两边界中间的有限道路范围内自动行进，完成比赛规定的跑动路程，如图1所示。因此，赛车需要依靠搭载的各种传感器识别道路两侧的锥桶，并规划出行进路线。在此基础上，控制系统实时制定赛车转向的最佳指令，控制车辆按照路线前进，即赛车导航。赛车的传感系统需要从复杂的环境中感知交通锥桶、区分道路两侧的红色和蓝色锥桶，并且获得锥桶在三维空间中的准确的位置信息，才可进一步规划出有效的行进路线，并做出正确的转向控制。
[0003]目前，在无人驾驶方程式比赛中，最为常用的感知和控制部分由雷达组感知、摄像头感知和导航定位构成的环境感知模块、规划决策上位机(车载计算机)和底层控制块组成，车载计算机接收激光雷达和摄像头的数据，综合分析得到周围环境信息，进而规划路径并对转向、油门、制动等底层模块发送指令。其中，激光雷达通过水平扫描获取环境中物体的三维点云数据，如图2所示。摄像头拍摄赛车前方环境的图像，计算机通过对图像进行分析，识别并区分不同颜色的锥桶。计算机通过将激光雷达的三维数据和摄像头的二维数据结合，获得红色和蓝色锥桶的空间位置。激光雷达扫描线在竖直方向具有一定的分辨率，且随着探测距离增加，其空间分辨率急剧下降，甚至低于交通锥桶的高度，可能导致交通锥的点云数据量不足甚至丢失数据，造成较大定位误差甚至是漏检。为了提高分辨率，需要增加激光雷达的线数，然而其成本也会急剧增加。而且，由于激光雷达的扫描机制，当车速较快时，同一帧点云数据之间存在时序上的偏差，导致点云畸变，影响定位精度。
[0004]在图像中锥桶识别方面，目前最常用的是机器学习的方法，通过大量正负样本图像提前训练学习网络，进而利用网络在比赛时的图像中识别锥桶。由于锥桶形状和姿态单一，容易出现网络过拟合从而训练失败的问题。同时，前期训练网络的过程复杂，耗费时间和精力。在三维点云数据和二维图像数据融合方面，常用的方法是将摄像头采集到的图像投影到新的观看平面，进而将图像空间中的物体投影到激光雷达坐标系中，从而实现三维点云数据和二维图像数据的匹配。
[0005]在无人驾驶方程式比赛中，利用激光雷达获取环境的三维信息，由于受到纵向分辨率、扫描时间的影响，存在锥桶定位误差较大、漏检及成本高等缺陷。在锥桶图像识别方面，机器学习的目标检测方法存在训练过程复杂、模型过拟合及硬件资源要求高等问题。

技术实现思路

[0006]针对上述问题，本专利技术的目的是提供一种无人驾驶方程式赛车环境感知和导航方法及转向控制方法，其能实现彩色目标和深度数据的快速融合，计算量小、准确度高。
[0007]为实现上述目的，本专利技术采取以下技术方案：一种无人驾驶方程式赛车的环境感知和导航方法，其包括以下步骤：对预先建立的单应性矩阵H进行标定求解；对彩色图像上的锥桶进行识别，获取锥桶在彩色图像上的位置坐标；通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中，获取对应深度图像中锥桶的中心位置和覆盖范围；对覆盖范围内所有像素的空间三维坐标值求均值，作为此颜色锥桶的空间三维坐标，进而实现各色锥桶的识别和空间定位，获得赛车行进路径。
[0008]进一步，所述单应性矩阵的建立方法包括以下步骤：
[0009]1.1)将空间三维景物投影到二维像面上的成像过程简化为仿射变换；
[0010]1.2)确定某个锥桶在地面坐标系中的坐标X
i
与其在深度图像中的图像坐标u
di
满足的仿射变换：
[0011]u
di
＝H
d
X
i
[0012]其中，X
i
＝[X
i Y
i 1]T
是第i个锥桶的齐次平面坐标，u
di
＝[u
di v
di 1]T
是这个点在深度图像上的齐次坐标值，H
d
是地面与深度图像之间的单应性矩阵；
[0013]1.3)确定该锥桶在地面坐标系中的坐标X
i
与其在彩色图像中的坐标u
ci
满足的仿射变换：
[0014]u
ci
＝H
c
X
i
[0015]其中，u
ci
＝[u
ci v
ci 1]T
是这个点在彩色图像上的齐次坐标值，H
c
是地面与彩色图像之间的单应性矩阵；
[0016]1.4)由步骤1.2)和步骤1.3)推知，锥桶在深度和彩色图像上的坐标u
di
和u
ci
满足如下仿射变换：
[0017][0018]进而得到单应性矩阵H。
[0019]进一步，所述单应性矩阵H的标定求解方法为：采用立体视觉系统和彩色相机采集标定场图像，并提取各锥桶在两个图像中的坐标值；利用仿射变换，通过svd分解法求解单应性矩阵H中的元素，完成对单应性矩阵H的标定求解。
[0020]进一步，对彩色图像上锥桶的识别方法包括以下步骤：
[0021]2.1)利用不同颜色锥桶成像RGB分量值之间具有的比例差别，分别获取黄色目标图、红色目标图和蓝色目标图；
[0022]2.2)在各色目标图像上，通过二值化和连通区域分析，获得颜色块；
[0023]2.3)通过约束条件对各个颜色块进行处理，确定这个颜色块外观是否符合锥桶形状，从而获得其是否是锥桶及其颜色的判定。
[0024]进一步，对Yellow，Red和Blue数组进行处理，通过面积、形状、位置约束条件剔除干扰目标，保留真正的锥桶目标；对Yellow数组进行连通区域分析，为每个连通的色块进行标识；处理方法包括以下步骤：
[0025]2.3.1)遍历第m个连通区域，求解此连通区域的面积iSizeTar，即有多少个像素值为1；判断该连通区域的面积是否小于第一预设值，若小于则不是锥桶，反之，则进入下一步；
[0026]2.3.2)根据此连通区域包络矩形的左上角点纵向坐标iUp、右下角点纵向坐标iDown、包络矩形的高度iRowSize和宽度iColSize，求解包络矩形的形状比；
[0027]2.3.3)判断包络矩形的形状比是否小于第二预设值，若小于第二预设值则不是锥桶，继续判断下一个连通区域；若大于第二预设值，则可能是锥桶目标，则求解此色块目标的上边缘和下边缘对应的成像放大率；
[0028]2.3.4)分别求解在上边缘和下边缘对应的成像放大率下的锥桶有色区域的成像面积iS1和iS2；
[0029]2.3.5)根据两个成像放大率下的锥桶有色区域的成像面积iS1和iS2，以及此连通区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人驾驶方程式赛车的环境感知和导航方法，其特征在于，包括以下步骤：对预先建立的单应性矩阵H进行标定求解；对彩色图像上的锥桶进行识别，获取锥桶在彩色图像上的位置坐标；通过标定后的单应性矩阵H将各彩色锥桶的位置坐标和图像上锥桶包络矩形的四个顶点映射至深度图像中，获取对应深度图像中锥桶的中心位置和覆盖范围；对覆盖范围内所有像素的空间三维坐标值求均值，作为此颜色锥桶的空间三维坐标，进而实现各色锥桶的识别和空间定位，获得赛车行进路径。2.如权利要求1所述环境感知和导航方法，其特征在于，所述单应性矩阵的建立方法包括以下步骤：1.1)将空间三维景物投影到二维像面上的成像过程简化为仿射变换；1.2)确定某个锥桶在地面坐标系中的坐标X
i
与其在深度图像中的图像坐标u
di
满足的仿射变换：u
di
＝H
d
X
i
其中，X
i
＝[X
i Y
i 1]
T
是第i个锥桶的齐次平面坐标，u
di
＝[u
di v
di 1]
T
是这个点在深度图像上的齐次坐标值，H
d
是地面与深度图像之间的单应性矩阵；1.3)确定该锥桶在地面坐标系中的坐标X
i
与其在彩色图像中的坐标u
ci
满足的仿射变换：u
ci
＝H
c
X
i
其中，u
ci
＝[u
ci v
ci 1]
T
是这个点在彩色图像上的齐次坐标值，H
c
是地面与彩色图像之间的单应性矩阵；1.4)由步骤1.2)和步骤1.3)推知，锥桶在深度和彩色图像上的坐标u
di
和u
ci
满足如下仿射变换：进而得到单应性矩阵H。3.如权利要求1所述环境感知和导航方法，其特征在于，所述单应性矩阵H的标定求解方法为：采用立体视觉系统和彩色相机采集标定场图像，并提取各锥桶在两个图像中的坐标值；利用仿射变换，通过svd分解法求解单应性矩阵H中的元素，完成对单应性矩阵H的标定求解。4.如权利要求1所述环境感知和导航方法，其特征在于，对彩色图像上锥桶的识别方法包括以下步骤：2.1)利用不同颜色锥桶成像RGB分量值之间具有的比例差别，分别获取黄色目标图、红色目标图和蓝色目标图；2.2)在各色目标图像上，通过二值化和连通区域分析，获得颜色块；2.3)通过约束条件对各个颜色块进行处理，确定这个颜色块外观是否符合锥桶形状，从而获得其是否是锥桶及其颜色的判定。5.如权利要求4所述环境感知和导航方法，其特征在于，对Yellow，Red和Blue数组进行处理，通过面积、形状、位置约束条件剔除干扰目标，保留真正的锥桶目标；对Yellow数组进行连通区域分析，为每个连通的色块进行标识；处理方法包括以下步骤：2.3.1)遍历第m个连通区域，求解此连通区域的面积iSizeTar，即有多少个像素值为1；
判断该连通区域的面积是否小于第一预设值，若小于则不是锥桶，反之，则进入下一步；2.3.2)根据此连通区域包络矩形的左上角点纵向坐标iUp、右下角点纵向坐标iDown、包络矩形的高度iRowSize和宽度iColSize，求解包络矩形的形状比；2.3.3)判断包络矩形的形状比是否小于第二预设值，若小于第二预设值则不是锥桶，继续判断下一个连通区域；若大于第二预设值，则可能是锥桶目标，则求解此色块目标的上边缘和下边缘对应的成像放大率；2.3.4)分别求解在上边缘和下...

【专利技术属性】
技术研发人员：王立勇，孙鹏，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：