自动驾驶车辆城市结构化场景纯视觉定位方法及装置制造方法及图纸

本发明专利技术公开了一种自动驾驶车辆城市结构化场景纯视觉定位方法及装置，该方法包括：设置并行的两线程：视觉SLAM定位线程，其用于采用基于局部地图的ORB特征点法实时获取车辆当前位姿；离线语义地图匹配定位线程，其包括：1)训练并检测相机获取的原始图像中的结构化语义标志物；2)根据地面先验，获取标志物在图像坐标系的二维信息；3)对标志物进行时域跟踪，当同一帧检测获取标志物数量不少于预设数时，构建车辆与标志物的二维拓扑图，其拓扑边权重由当前帧所关联的标志物可信度确定；4)根据车辆当前位置，依据二维拓扑图进行地图搜索匹配，恢复车辆当前二维位姿；5)将运行轨迹的信息和标志物信息上传至云端，更新离线地图语义信息库。信息库。信息库。

【技术实现步骤摘要】
自动驾驶车辆城市结构化场景纯视觉定位方法及装置


[0001]本专利技术涉及自动驾驶
，特别是关于一种基于先验地图的自动驾驶车辆城市结构化场景纯视觉定位方法及装置。

技术介绍

[0002]AV(Autonomous vehicles；自动驾驶车辆)能够通过车载传感器解算自身位姿，并结合位姿信息进行自主规划及横纵向控制，其中必然使用定位方法。定位方法大体分为基于GNSS(Global Navigation Satellite System；全球导航卫星系统)的绝对定位和基于相机、激光雷达、IMU(Inertial Measurement Unit；惯性测量单元)等环境感知传感器的相对定位。
[0003]绝对定位通常依赖于GNSS的可用性，GNSS包含诸如GPS(Global Position System；全球定位系统)、Glonass(global navigation satellite system；格洛纳斯系统)、北斗卫星导航系统和Galileo(Galileo satellite navigation system；伽利略定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，包括：设置并行的两线程：一所述线程为视觉SLAM定位线程，其用于采用基于局部地图的ORB特征点法实时获取车辆当前位姿；另一所述线程为离线语义地图匹配定位线程，其用于通过地面先验，恢复所述视觉SLAM定位线程所获取的特征点的尺度，其具体包括：1)训练并检测相机获取的原始图像中的结构化语义标志物；2)根据地面先验，获取所述标志物在图像坐标系的二维信息；3)对所述标志物进行时域跟踪，当同一帧检测获取所述标志物数量不少于预设数目时，构建车辆与标志物的二维拓扑图，且其拓扑边权重由当前帧所关联的所述标志物可信度确定；4)根据车辆当前位置，依据所述二维拓扑图进行地图搜索匹配，以恢复车辆当前二维位姿；5)由连续时刻车辆二维位姿信息构建运行轨迹，将所述运行轨迹的信息和所述标志物信息上传至云端，更新离线地图语义信息库。2.如权利要求1所述的自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，所述步骤2)具体包括：2.1)在同步运行的视觉SLAM定位线程中，提取ORB特征点，再采取三角化不断恢复无尺度约束的三维特征点的三维信息；2.2)在每个标志物识别框内选择所需的标志物；2.3)将步骤2.1)得到的三维特征点反投影到相机帧中，估计相关地平面参数并利用几何约束细化选取近地特征点；2.4)使用滑动窗口策略跟踪连续多帧近地特征点，依照步骤2.3)选取的近地特征点策略再次使用RANSAC平面拟合法，获取最优地面点集并拟合地平面参数；2.5)基于地面假设模型恢复2.4)获得的近地特征点的真实空间坐标，进而得到步骤2.1)获得的所有无尺度特征点的真实尺度，依此获取各标志物的三维信息。3.如权利要求2所述的自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，所述步骤2.2)具体包括：2.21)计算每个标志物识别框内所述三维特征点到相机中心距离的均值d及标准差σ
d
；2.22)剔除满足如下条件之一的所述三维特征点：a.所述三维特征点到相机中心距离大于所述均值预设倍数的远点；b.所述三维特征点到相机中心距离与所述均值的差值最大的点；2.23)返回步骤2.21)，直至识别框内的所述三维特征点的标准差σ
d
小于预设距离值，最后丢弃三维特征点的数量小于预设数的标志物。4.如权利要求2所述的自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，所述步骤2.3)具体包括：2.31)采用Hesse形式参数化表示地平面；2.32)构建平面匹配模型使用RANSAC算法拟合地平面；其中，
表示平面单位法向量，n
π1
,n
π2
,n
π3
分别为单位法向量在三轴的分量，X
i
表示第i个所述三维特征点的三维空间坐标，d表示平面距离坐标系原点的距离；2.33)计算步骤2.1)得到的三维特征点X
i
到平面距离到平面距离判断d
i
是否小于距离阈值d
threshold
，如果是，则判定该三维特征点为近地特征点。5.如权利要求1
‑
4中任一项所述的自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，所述步骤3)具体包括：3.1)根据γ
l
＝γ
d
÷
d，判断当前帧所关联标志物位置可信度γ
l
，其中，γ
d
表示根据YOLO
‑
v5检测时网络直接输出的标志物检测置信度，d表示由步骤2)获得的各标志物的三维信息获取的标志物到当前帧之间的距离标志物距离；3.2)保留当前帧所关联标志物的γ
l
超过阈值γ
threshold
的标志物，其余标志物进行时域跟踪，即后续连续时刻重复上述步骤3.1)到3.2)，直到该标志物满足γ
l
>γ
threshold
，期间，若该标志物连续三帧丢失，则丢弃该标志物；3.3)当前帧所检测到的可信标志物数量超过预设数时，连接车辆位姿节点及标志物节点，构建二维拓扑图，并依据位置可信度赋予连接边权重，构建标志物拓扑连接图。6.如权利要求5所述的自动驾驶车辆城市结构化场景纯视觉定位方法，其特征在于，所述步骤4)具体包括：4.1)使用下式提供的匀速车辆模型获取当前时刻i车辆初始位姿T
i
：T
i
＝T
i
‑
12
/T
i
‑2式中，T
i
‑2、T
i
‑1分别表示i
‑
2、i

【专利技术属性】
技术研发人员：秦晓辉，李建中，周云水，胡满江，谢国涛，王晓伟，秦兆博，边有钢，秦洪懋，徐彪，丁荣军，
申请(专利权)人：江苏集萃清联智控科技有限公司，
类型：发明
国别省市：