停车库建图与定位方法、系统及车辆技术方案

本发明专利技术公开了一种停车库建图与定位方法、系统及车辆，该系统包括：环视标定拼接模块、语义提取模块、特征点提取模块、车轮编码器、融合里程计、语义地图模块、语义特征融合定位模块、滤波输出位姿模块；对环视图像进行标定拼接，然后在拼接图上提取语义信息；车轮编码器输出的里程计信息与环视图像提取的特征点信息融合输出更加精准的动态航迹位姿，在动态航迹位姿下构建语义地图；利用语义地图，结合环视语义信息和里程计信息，在停车场内高精度定位。本发明专利技术提供一种新型建图和定位框架，不额外增加整车传感器，有效利用摄像头及自车车辆状态里程计计算，实现低成本室内停车库建图与定位，可以实现量产。可以实现量产。可以实现量产。

【技术实现步骤摘要】
停车库建图与定位方法、系统及车辆


[0001]本专利技术属于建图与定位
，具体涉及一种停车库建图与定位方法、系统及车辆。

技术介绍

[0002]随着智能驾驶系统的升级，为了解决车辆在无源环境下认识到自身在哪里、周围环境是怎么样的问题，并为后续的规划决策做准备，引入了SLAM实时定位与建图的技术。SLAM(simultaneous localization and mapping)，也称为CML(Concurrent Mapping and Localization)，即时定位与地图构建或并发建图与定位。在智能驾驶场景中运用描述为：智能驾驶车辆进入未知环境中的未知位置，一边移动一边逐步描绘出此环境的地图和确认自车的位置。
[0003]传统的SLAM多是基于视觉特征点的方案进行建图与定位，特征点是一种具有尺度不变性、旋转不变性、光照不变性、速度快的一种特征信息，视觉寻找特征点对周边环境的纹理信息要求很高，特征点匹配鲁棒性不够好，难以进行车辆量产；另一种方法是单独采用鲁棒的语义信息进行建图与定位，图像语义信息表示颜色、纹理和形状等特征信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种停车库建图与定位方法，其特征在于，包括以下步骤：利用车辆上的环视摄像头采集停车库图像，并进行摄像头标定和环视图像拼接；对环视拼接图像进行语义分割提取语义信息，语义信息包括车库位线及库位箭头信息；对环视摄像头原始图像进行直方图处理，调用ORB特征提取库进行特征提取，并进行畸变矫正，对特征点深度进行评估然后放入追踪函数进行追踪；对环视摄像头输入的每一帧提取的特征点信息进行追踪输出相机轨迹位姿点信息；左右车轮编码器输出左右车轮脉冲信息，根据阿克曼转向原理，后轴两轮的速度瞬心相同，建立运动模型推算出车辆相对于起始位置的位姿，实现车辆位姿里程推算；将相机轨迹位姿点信息与车辆位姿里程推算进行加权融合，输出动态航迹位姿；在动态航迹位姿下实时构建语义地图：以车辆坐标系初始点的位置作为原点进行局部建图并进行定位初始化，特定距离建立的局部图像进行语义特征的回环检测，局部图像进行拼接成为全局地图；利用全局地图，结合环视语义信息和动态航迹位姿，在停车库进行高精度定位：先使用动态航迹位姿得出车辆当前位置的粗定位，然后在地图中车辆一定半径范围内搜索所有语义结果，并与车辆实时感知语义结果做匹配，得到车辆周围每一个感知语义和地图语义信息的位姿差，该位姿差包含角度旋转值的差δ
R
和距离差δ
t
，则对于t时刻的位姿可以表示为X*
t
＝X
t
+C
R
Σδ
R
+C
t
Σδ
t
；其中，C
R
和C
t
为系数，X*
t
是融合定位后t时刻的位姿，X
t
是粗定位的位姿；滤波输出位姿，滤波分为预测和更新：预测是从上一个地图匹配的时间t
‑
1得到的地图匹配位姿结果[x，y，head]，结合t时刻的运动模型，得到t时刻的运动模型的预测结果；更新是根据粗定位结果和环境观测值，得到精确定位。2.根据权利要求1所述的停车库建图与定位方法，其特征在于，摄像头标定包括：内参标定、角点提取、世界坐标系获取、计算RT变化矩阵；内参标定采用输入基准内参的方式，在后续外参标定中结合棋盘格的角点对内参进行矫正；角点提取会先对图像进行透视变换，对透视变换后的图像进行白边处理和自适应阈值调整找到黑白分界线和角点，然后再反透视变换角点，返回角点信息；世界坐标系获取是将角点坐标转换进实际标定场景地图并获得在场景地图坐标；计算RT变化矩阵是通过PnP匹配求解出角点在图像坐标系到世界坐标系的变化矩阵，其中R是旋转，T是平移；环视图像拼接是对同一时刻采集到的环视图像进行权重处理，以保证拼接缝处的平滑。3.根据权利要求1所述的停车库建图与定位方法，其特征在于，建立运动模型推算车辆相对于起始位置的位姿，包括位置x和y，以及航向角heading；运动模型如下：X
i
＝X
i
‑1+
△
S
i
*sin(heading)；Y
i
＝Y
i
‑1+
△
S
i
*cos(heading)；heading＝Σ
△
θ；其中，X
i
是i时刻的X坐标，Y
i
是i时刻的Y坐标，X
i
‑1是i
‑
1时刻的X坐标，Y
i
‑1是i
‑
1时刻的Y坐标，heading是航向角，
△
S
i
是脉冲区间的行驶距离增量，
△
θ是脉冲区间的航向角增量。4.根据权利要求1所述的停车库建图与定位方法，其特征在于，在建图过程中，表征车
辆位姿变换的控制向量u
1:t
和对环境观测向量z
1:t
已知，需要求解准确的地图信息m和准确的车辆位姿信息x
t
；建立后验概率P(x
t
，m|z
1:t
，u
1:t
)，该后验概率表示在t时刻车辆当前位姿x
t
和地图m的最大概率；对该概率采用图优化的理论进行解答：车辆位姿x
1：t
和局部地图m被描述成节点优化变量v
i
，v
i
∈V，V表示节点优化变量集合；将环境观测向量和辆位姿变换的控制向量用约束边表示，则构成了一张优化变量与约束的图，用公式J(V)＝Σe[z
ij
‑
z*
ij
(v
i
，v
j
)]
T
Ω
ij
e[z
ij
‑
z*
ij
(v
i
，v
j
)]表示；其中，e[z
ij
‑
z*
ij
(v
i
，v
j
)]是损失函数，描述观测值z
ij
与预测值z*
ij
的差异性，此差异性用信息矩阵Ω
ij
来衡量；该图优化问题用高斯牛顿法来求解，最优的解V*＝argminJ(V)，即求得的V*为最终的估计环境局部地图和车辆位姿。5.根据权利要求1所述的停车库建图与定位方法，其特征在于，利用深度学习网络uNet对拼接后的环视图像进行语义分割。6.一种停车库建图与定位系统，其特征在于，包括：环视标定拼接模...

【专利技术属性】
技术研发人员：舒丽，严义雄，胡铭旭，赖锋，庹新娟，
申请(专利权)人：东风汽车集团股份有限公司，
类型：发明
国别省市：