一种自动泊车的系统及方法技术方案

本发明专利技术涉及一种智能驾驶领域，具体涉及一种自动停车系统及自动停车方法。其通过待检测图像输入到所述道路图像模型中，得到道路图像的语义信息，并根据其中的语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。此外，为了进一步实用定位高精度，采用在同一时刻拍摄到的多张目标图像，以得到俯视拼接图的方法。并识别俯视拼接图中的图像语义特征；基于所述图像语义特征和轮速计进行定位。该方法采用环视拼接图的直接法并融合轮速计，在保证算法鲁棒性的同时能够有效提升定位精度。

An automatic parking system and method

【技术实现步骤摘要】
一种自动泊车的系统及方法
本专利技术涉及一种智能驾驶领域，具体涉及一种自动泊车辅助检测系统、自动停车、定位的系统及方法。
技术介绍
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分，汽车工业界对发展自动泊车系统的兴趣也在逐渐提升。事实上，智能泊车辅助系统最早在2003年就在一些车辆上得到应用，近年来相关技术在不断发展。具体的，车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境，采用停车位检测技术对传感器获取的车辆周围环境信息进行处理，可以获取附近的空白停车位的位置信息，进而自动规划泊车路线进行停车。对这样的系统而言，怎样精准有效地检测、定位车辆附近的停车位是一个关键的问题，仍有待于进一步的研究。现有的泊车系统，有一类是基于超声波传感器的，这类方法通常在离车位很近之后利用超声波传感器进行空车位检测及定位，然后规划路径进行泊车。此类方法，由于超声波定位的局限性，仅能处理垂直车位或水平车位，同时需要驾驶员将车辆停到车位旁，然后借助超声波进行粗略定位，从而实现泊车。此外，还有一些基于车辆上摄像头拍摄的图像的方法，对车辆附近地面图像进行分析，从中提取停车位，来对泊车过程进行指导，这种方法依赖于停车位检测算法。对于通用的停车位检测算法，一类通常利用底层边缘及角特征，基于人工构造规则来提取车位框，其特征表达能力较弱，基于规则的方法很难延伸到多样的停车位形态；另一类方法基于目标检测技术，使用一个方框来检测、提取车位，这类方法无法处理斜向停车位，而且对停车位边界框的定位也很不精确；还有一类方法通过整合停车位分隔点和分隔线的检测信息找到停车位的位置，这类方法不能直接提供一个车位的完整结构信息且较难给出车位是否可停的信息。另外，在定位过程中发现：目前流行的基于环视图像的车辆定位技术因其定位精度高、成本低廉等优点，具有很大的应用前景。基于环视图像的定位技术主要分为两类：1)基于特征点匹配的方法；2)基于环视拼接图的直接法。方法1)的优点是定位精度高，主要的问题在于特征点的提取及特征点的匹配非常依赖应用场景，算法鲁棒性差；方法2)的优点是对场景更鲁棒，缺点是常常会得到局部最优的结果导致定位精度较低。定位存在的上述问题会导致在泊车过程的精度。
技术实现思路
有鉴于此，本申请提出了一种基于多源传感器融合的自动泊车辅助系统。本专利技术利用环视俯瞰图，使用深度学习方法对其进行语义特征提取，并根据语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。本专利技术的一个方面是提供了一种自动停车系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配并进行定位；所述定位模块包括拼接子单元，识别子单元和定位子单元；所述拼接子单元用于拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；所述识别子单元用于识别所述俯视拼接图中的图像语义特征；所述定位子单元用于基于所述图像语义特征和轮速计进行定位。优选地，所述语义信息包括车道线、车位线、障碍物。优选地，所述神经网络是RefineNet。优选地，所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。优选地，所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：其中，Pi为i时刻的车辆位姿，为i时刻的观测到的视觉特征的位置，Xj为i时刻观测数据在地图中的位置。本专利技术的另一方面，还提供了一种自动停车系统进行自动停车的方法，其特征在于所述方法包括以下步骤：步骤S1：获取当前实时道路图像；步骤S2：将所述当前实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；步骤S3：对不同时刻的所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；步骤S4：根据当前观测的所述语义信息与地图匹配进行定位；步骤S5：判断车位空闲状况，规划路径自动泊车；其中步骤S4中所述根据当前观测的所述语义信息与地图匹配进行定位具体包括以下步骤：S401、拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；S402、识别所述俯视拼接图中的图像语义特征；S403、基于所述图像语义特征和轮速计进行定位。优选的，所述步骤S402识别所述俯视拼接图中的图像语义特征具体包括，通过深度学习的神经网络模型识别所述图像语义特征，并且预先对所述神经网络模型进行训练。所述训练采用交叉熵来衡量网络的预测值与实际值的差异，所述交叉熵的公式如下：其中y为图像元素的标记值，n为图像的像素总数，x为输入，a为神经元的输出。优选的，所述步骤S4语义信息进行跟踪具体表示为：不同时刻满足以下关系：其中，Pi为i时刻的车辆位姿，为i时刻的观测到的视觉特征的位置，Xj为i时刻观测数据在地图中的位置。优选的，在所述步骤S403中，所述定位的估计方法由以下公式定义：pi+1,λi＝argmin(||pi*Ai-pi+1*Ai+1||2+||pi+λiΔpi-pi+1||2)；其中，Pi和Pi+1分别为i和i+1时刻的车辆位姿；λi为轮速计与图像之间的尺度比例系数；Ai和Ai+1分别为i和i+1时刻图像上的语义特征；ΔPi为从i到i+1时刻轮速计位姿增量；argmin(f(x))表示在f(x)取最小值时，自变量x的集合。本专利技术的专利技术点在于以下几个方面，但也不限于下述的几个方面：(1)基于深度卷积神经网络，利用预先训练好的道路图像语义信息检测模型，对车辆摄像头实时获取的道路图像进行语义分割识别，提取实时道路图像中的车道线、车位线、障碍物等信息。这里的语义分割是指从像素级别对图像进行分割并识别其内容，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。语义的可解释性即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。所述的道路图像语义信息检测模型能够以端到端的方式提取实时道路图像语义特征并进行学习，可以最大程度上发挥大数据的效用；(2)充分利用视觉以及其他多源传感器，可以实现实时建图及高精度匹配定位以及处理任意角度的车位；现有的建图方案有利用多源传感器的，但并没有与本申请中视觉图像信息结合使用，更没有将多源传感器的信息与视觉图像语义信息相匹配使用。本专利技术中使用语义信息跟踪，由得到观测数据在地图中的位置，再由该得到的位置结合多源传感器例如轮速计等进行匹配定位。(3)采用RefineNe本文档来自技高网...

【技术保护点】
1.一种自动停车系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；/n所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；/n所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；/n所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配并进行定位；所述定位模块包括拼接子单元，识别子单元和定位子单元；所述拼接子单元用于拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；所述识别子单元用于识别所述俯视拼接图中的图像语义特征；所述定位子单元用于基于所述图像语义特征和轮速计进行定位。/n

【技术特征摘要】
1.一种自动停车系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；
所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；
所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；
所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配并进行定位；所述定位模块包括拼接子单元，识别子单元和定位子单元；所述拼接子单元用于拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；所述识别子单元用于识别所述俯视拼接图中的图像语义特征；所述定位子单元用于基于所述图像语义特征和轮速计进行定位。


2.根据权利要求1所述的系统，其特征在于：所述语义信息包括车道线、车位线、障碍物。


3.根据权利要求1-2中任一项所述的系统，其特征在于：所述神经网络是RefineNet。


4.根据权利要求1-3中任一项所述的系统，其特征在于：所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。


5.根据权利要求1-4中任一项所述的系统，其特征在于：所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：



其中，Pi为i时刻的车辆位姿，为i时刻的观测到的视觉特征的位置，Xj为i时刻观测数据在地图中的位置。


6.利用权利要求1-5任一项所述的自动停车系统进行自动停车的方法，其特征在于所述方法包括以下步骤：
步骤S1：获取当前实时道路图像；
步骤S2：将所述当前实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；
步骤S3：对不同时刻的所述语义信息进行跟踪，...

【专利技术属性】
技术研发人员：张家旺，汪路超，谢国富，邵艳艳，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11