一种基于视觉认知地图的智能网联汽车定位系统及方法技术方案

本发明专利技术涉及一种基于视觉认知地图的智能网联汽车定位系统及方法。本发明专利技术利用装有摄像头，高精度GPS，IMU传感器的地图采集车，采集道路上相关数据，可以实现基于视觉的认知地图的构建及基于认知地图的智能车定位功能，解决无人驾驶领域高精度地图数据量大，使用成本高等问题。本发明专利技术以视觉为主构建智能车的认知地图，并实现智能车只使用摄像头即可完成车辆定位的系统；避免了激光雷达的使用，减小了智能车的硬件成本并且地图数据量少，系统实时处理数据少，减小计算使用成本。减小计算使用成本。减小计算使用成本。

【技术实现步骤摘要】
一种基于视觉认知地图的智能网联汽车定位系统及方法


[0001]本专利技术涉及智能汽车领域，尤其是涉及一种基于视觉认知地图的智能网联汽车定位系统及方法。

技术介绍

[0002]无人驾驶系统中的关键技术：环境感知、规划决策、车辆控制。规划决策建立在环境感知之上，所以环境感知技术的研究尤为重要，环境感知包括车用地图、车辆定位。地图是车体定位的基础，地图的定位精度至少分米级才能满足智能车的驾驶需求。目前看来，地图对于无人驾驶的意义主要有以下几点：第一，降低车辆定位计算量；一般智能车完成定位通过图像查询或激光点云的配准来实现，计算量大，也提高了智能车的硬件成本，而GPS定位会在信号不好的路段失效，引发交通事故。认知地图的使用，可以只提供车辆所在位置的局部地图就可以完成智能车的定位，实现简单、数据量小、计算量小，更适合智能车的定位需求。第二，是智能车驾驶过程中的平滑性；智能车的服务对象是人类，其目的就是做出比人的判断更敏感的决策，并且控制平滑，不会出现剧烈的震动感，地图给智能车提供的就是预知能力，它可以使智能车提前知道，将要到哪里，使得智能车提前做出下一步的计划；第三，在恶劣环境中对环境位置的感知；比如在冬季路面积雪的时候，视觉以及雷达传感器都无法准确的识别到路面信息，通过已建立的地图，智能车就可以知道，当前的环境是什么，自己有身在何处；第四，智能车在交叉路口的决策；在交通路口尤其易发生车辆碰撞事故，原因是彼此不知道对方的车辆何时何方向驶入交叉路口，如果有地图，那智能车之间通过交还位置信息，来实现车辆的路线分配，避免车辆碰撞事故。
[0003]GPS+IMU的融合定位方案，IMU是一种准确度很高的实时定位技术，但其在运动过程中可能存在位移误差、比例误差及背景白噪声，且随着时间的推移误差会不断累计。而GPS在长时间的定位上不会出现误差累积。GPS+IMU的组合方案实现优势互补，为车辆定位提供即准确又足够实时的位置更新。
[0004]现有技术的不足之处:其中普通的GPS设备定位精度差(2
‑
5m)，高精度的GPS设备硬件投入成本高，基于卫星定位的导航系统都存在信号依赖的问题，即但在信号被遮挡的路段，无法完成系统定位；激光雷达定位能够通过点云配准完成高精度的定位，但是其造价高、数据量大、计算量大等缺点使得激光雷达不适用于下一代的智能车发展；图像匹配定位依赖于图像数据库，图像数据库的存储需要巨大的存储空间，图像在数据库中的搜索匹配过程计算量巨大，不适用于大规模建图与定位。

技术实现思路

[0005]鉴于以上现有技术的不足，本专利技术提供了一种基于视觉认知地图的智能网联汽车定位系统及方法，可以实现基于视觉的认知地图的构建及基于认知地图的智能车定位功能，解决无人驾驶领域高精度地图数据量大，使用成本高等问题。
[0006]为实现上述目的及其他相关目的，本专利技术提供的技术方案如下：一种基于视觉认
知地图的智能网联汽车定位方法，包括以下步骤：
[0007]A1.数据收集：基于装有摄像头、高精度GPS、IMU传感器的地图采集车，采集预设道路上的相关数据；
[0008]A2.数据处理：基于张正友相机标定方法对图像进行校正，并得到相机内参，再将高精度GPS接收机位置的GPS坐标转换为局部坐标系下直角坐标，并根据传感器间相对位置关系，统一所有坐标至相机坐标系；
[0009]A2:在相机坐标系下，基于深度学习SSD算法检测图像中的路标信息：检测结果为路标类型及在图像中的位置，用两个像素点表达路标在图像的位置RECT(T1,T2,B1,B2)；
[0010]A3:对检测到的路标区域提取ORB特征点：基于光流法进行特征点跟踪，有特征在某一帧中出现在路标检测框外，则删除该特征点；
[0011]A4:对具有有效特征点的路标进行定位：从t时刻到t+N时刻连续(N+1)张图像中同一三维路标点的成像点即为路标点；
[0012]A5:根据相机小孔成像原理从图像可知路标点到相机中心向量的两个角度(θ,φ)，结合GNSS，得出坐标系变换关系：
[0013]x0＝zsinθ1cosφ1[0014]y0＝zsinθ1sinφ1[0015]z0＝zcosθ1[0016]其中，(x0,y0,z0)表示路标位置,利用多个图像帧观测到的同一个路标点即可计算出此路标点的位置,对同一个路标提取多个特征点进行跟踪，最终取平均值来表达此路标的位置；
[0017]A6:根据获取到的路标定位信息，利用DBoW库提供的算法提取路标的图像特征用于检索匹配，并在数据库中存储相关路标的类型，位置及路标特征；
[0018]A7：通过摄像头实时检测道路上路标，当有三个以上的路标和地图中的路标匹配时就能获得车辆的位姿信息，即需要至少三对3D
‑
2D的匹配点才能求解车辆位姿：
[0019][0020]其中，(u,v)表示路标的图像像素坐标，(X,Y,Z)表示路标的三维坐标,利用g2o库提供的非线性优化方法即可求解得到车辆位姿Pi(x
i
,y
i
,z
i
,α
i
,β
i
,γ
i
)，其中(x
i
,y
i
,z
i
)表示车辆位置，(α
i
,β
i
,γ
i
)表示车辆姿态。
[0021]进一步的，在步骤A2中，还包括单目图像基于深度学习SSD算法检测图像中的路标信息，再与认知地图中的路标进行匹配。
[0022]进一步的，在步骤A3中，所述光流法，包括以下步骤：
[0023]A31:定义同一目标出现在连续两帧图像I、J中；
[0024]A32：所述图像I、J在局部窗口W中，则：
[0025]I(x,y,t)＝J(x
′
,y
′
,t+Δ)；
[0026]A33:建立最小化方程：
[0027][0028]其中W
x
和W
y
分别表示W窗口的1/2，Ux和Uy分别表示带匹配点的图像坐标；
[0029]A34:令上述方程导数为零，求取极小值，解得d，即d为跟踪的偏移量。
[0030]为了实现上述目的及其他相关目的，本专利技术还提供了一种基于视觉认知地图的智能网联汽车定位系统，所述系统包括图像采集系统、训练数据集模块、数据处理模块，其中：
[0031]图像采集系统，用于采集目标道路的图像信息，对所采集的图像信息进行预处理，供训练数据集模块调用；实时采集目标道路图像，对所采集的图像进行预处理；实时检测前方道路区域，得到图像种每个像素属于道路或非道路类别的概率，所述预处理的结果或所述概率供数据处理模块调用；
[0032]训练数据集模块，获取图像信息，构建成真实训练数据集；获取在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉认知地图的智能网联汽车定位方法，其特征在于，包括以下步骤：A1.数据收集：基于装有摄像头、高精度GPS、IMU传感器的地图采集车，采集预设道路上的相关数据；A2.数据处理：基于张正友相机标定方法对图像进行校正，并得到相机内参，再将高精度GPS接收机位置的GPS坐标转换为局部坐标系下直角坐标，并根据传感器间相对位置关系，统一所有坐标至相机坐标系；A2:在相机坐标系中，基于深度学习SSD算法检测图像中的路标信息：检测结果为路标类型及在图像中的位置，用两个像素点表达路标在图像的位置RECT(T1,T2,B1,B2)；A3:对检测到的路标区域提取ORB特征点：基于光流法进行特征点跟踪，有特征在某一帧中出现在路标检测框外，则删除该特征点；A4:对具有有效特征点的路标进行定位：从t时刻到t+N时刻连续(N+1)张图像中同一三维路标点的成像点即为路标点；A5:根据相机小孔成像原理从图像可知路标点到相机中心向量的两个角度(θ,φ)，结合GNSS，得出坐标系变换关系：x0＝zsinθ1cosφ1y0＝zsinθ1sinφ1z0＝zcosθ1其中，(x0,y0,z0)表示路标位置,利用多个图像帧观测到的同一个路标点即可计算出此路标点的位置,对同一个路标提取多个特征点进行跟踪，最终取平均值来表达此路标的位置；A6:根据获取到的路标定位信息，利用DBoW库提供的算法提取路标的图像特征用于检索匹配，并在数据库中存储相关路标的类型，位置及路标特征；A7：通过摄像头实时检测道路上路标，当有三个以上的路标和认知地图中的路标匹配时就能获得车辆的位姿信息，即需要至少三对3D
‑
2D的匹配点才能求解车辆位姿：其中，(u,v)表示路标的图像像素坐标，(X,Y,Z)表示路标的三维坐标,利用g2o库提供的非线性优化方法即可求解得到车辆位姿Pi(x
i
,y
i
,z
i
,α
i
,β
i
,γ
i
)，其中(x
i
,...

【专利技术属性】
技术研发人员：张卿，曹恺，蔡营，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：