一种基于摄像头的车辆定位、建图的方法和装置制造方法及图纸

一种基于摄像头的车辆定位、建图的方法和装置，该方法包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，该方法和装置还包括基于所述俯视感知图进行定位，从而确定关键帧；所述关键帧生成地图点，从而形成局部建图。其中实施本发明专利技术实施例，能够在卫星定位信号缺失或者较弱的情况下，只利用摄像头提供的视觉信息，完成车辆定位，从而可以提高自动驾驶时车辆定位的精度。

A Method and Device for Vehicle Location and Mapping Based on Camera

【技术实现步骤摘要】
一种基于摄像头的车辆定位、建图的方法和装置
本专利技术涉及自动驾驶
，具体涉及一种基于车载环视系统的车辆定位方法及车载终端。
技术介绍
在自动驾驶导航过程中，需要对车辆位置进行实时定位，当前市面上提供的车辆实时定位方案有：基于卫星导航系统的车辆定位方案。利用卫星导航系统给出的卫星定位信息，结合惯性测量单元等传感器的测量数据，可以得到较为准确的车辆定位位置。然而，在实践中发现，在上述基于卫星导航的车辆定位方案中，当车辆驶入地下车库等特殊环境时，难以接收到卫星定位信号；并且，如果只依靠惯性测量单元的测量数据进行定位计算，容易产生累积误差，此时车辆定位的精度较低，难以满足自动驾驶对定位精度的要求。
技术实现思路
本专利技术实施例公开了一种基于车载环视系统的车辆定位方法及车载终端，能够提高自动驾驶时车辆定位的精度。本专利技术实施例第一方面公开一种基于车载环视系统的车辆定位方法，其特征在于，包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；其中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：获取所述多个摄像头在当前时刻拍摄到的多张目标图像；对所述多张目标图像进行拼接，得到俯视拼接图；将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部建图；该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；判断所述第一误差是否小于指定阈值；当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；判断所述第二误差是否小于指定阈值；当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。作为一种可选的实施方式，在本专利技术实施例第一方面中，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：以所述预估位姿的取值作为所述估计位姿的初值；根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：以所述预估位姿的取值作为所述估计位姿的初值；根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。本专利技术实施例第二方面公开一种车载终端，包括：一种车载终端，其特征在于，包括：识别单元，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；匹配单元，用于从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；确定单元，用于根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；其中所述识别单元包括：获取子单元，用于获取所述多个摄像头在当前时刻拍摄到的多张目标图像；拼接子单元，用于对所述多张目标图像进行拼接，得到俯视拼接图；识别子单元，用于将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；该车载终端还包括判断子单元，所述判断子单元还包括根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述确定单元，包括：第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自本文档来自技高网...

【技术保护点】
1.一种基于车载环视系统的车辆定位方法，其特征在于，包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；其中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：获取所述多个摄像头在当前时刻拍摄到的多张目标图像；对所述多张目标图像进行拼接，得到俯视拼接图；将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部建图；该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：||pk‑pi||+λ||θk‑θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是

【技术特征摘要】
1.一种基于车载环视系统的车辆定位方法，其特征在于，包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；其中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：获取所述多个摄像头在当前时刻拍摄到的多张目标图像；对所述多张目标图像进行拼接，得到俯视拼接图；将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部建图；该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。2.根据权利要求1所述的车辆定位方法，其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。3.根据权利要求1或2所述的基于车载环视系统的车辆定位方法，其特征在于，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；判断所述第一误差是否小于指定阈值；当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；判断所述第二误差是否小于指定阈值；当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。4.根据权利要求1-3任一项所述的基于车载环视系统的车辆定位方法，其特征在于，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：以所述预估位姿的取值作为所述估计位姿的初值；根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：以所述预估位姿的取值作为所述估计位姿的初值；根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。5.根据权利要求1-4任一项所述的基于车载环视系统的车辆定位方...

【专利技术属性】
技术研发人员：李天威，童哲航，谢国富，胡缓，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京,11