一种基于俯视拼接图的建图方法及车载终端技术

一种基于俯视拼接图的建图方法及车载终端，其包括：获取多个图像采集装置在同一时刻拍摄到的多张目标图像；对多张目标图像进行拼接，以得到俯视拼接图；识别俯视拼接图中的图像语义特征，以得到俯视感知图；基于俯视感知图进行定位，从而确定关键帧；根据关键帧生成地图点，从而形成局部建图。实施本发明专利技术实施例，能够建出稠密而准确的地库地面元素，并且更为鲁棒，精确。

A Mapping Method Based on Overlooking Mosaic and Vehicle Terminal

【技术实现步骤摘要】
一种基于俯视拼接图的建图方法及车载终端
本专利技术涉及自动驾驶
，具体涉及一种基于俯视拼接图的建图方法及车载终端。
技术介绍
在地下地库的定位方案中，定位的结果是需要基于全局的，但是由于地下车库没有全球卫星导航系统(GlobalPositioningSystem，GPS)信号，无法依靠GPS实时获得一个全局的位置信息。只是依靠里程计的方案，例如视觉里程计、基于编码器或者IMU的里程计，无论精度做的多高，累计误差都是无可避免的，因此在室内定位，特别是在地库的定位需求中，高精度地图都是占据着一个非常重要的位置。车辆可以持续的依靠自己的观测和高精度地图进行匹配，来获得一个自己在地库中的全局位置。在利用视觉建图的方案中，前视的建图方案也是非常先进的一种。然而基于前视的建图方案有着高精度地图元素较为稀疏，对于里程计和匹配算法要求比较高，容易受遮挡影响的缺点。
技术实现思路
本专利技术实施例公开了一种基于俯视拼接图的建图方法及车载终端，将现实的3D世界降维度，建出稠密而准确的地库地面元素，在地面平整的地库场景非常切合，并且更为鲁棒，精确，能够给予之后的定位更多观测。本专利技术实施例第一方面公开了一种基于俯视拼接图的建图方法，所述方法包括步骤：获取多个图像采集装置在同一时刻拍摄到的多张目标图像；对多张目标图像进行拼接，以得到俯视拼接图；识别俯视拼接图中的图像语义特征，以得到俯视感知图；基于俯视感知图进行定位，从而确定关键帧；根据关键帧生成地图点，从而形成局部建图。作为一种可选的实施例，在本专利技术实施例第一方面中，所述方法还包括步骤：在局部建图过程中进行回环检测；回环检测成功后进行全局优化。作为一种可选的实施例，在本专利技术实施例第一方面中，将得到的俯视拼接图输入至一神经网络模型，基于所述神经网络模型识别出俯视拼接图中的图像语义特征。作为一种可选的实施例，在本专利技术实施例第一方面中，所述定位融合环视VO、环视VIO、环视VIO和轮速中的一种或多种。作为一种可选的实施例，在本专利技术实施例第一方面中，当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧。本专利技术实施例第二方面，公开了一种基于俯视拼接图的建图方法，所述方法包括步骤：获取多个图像采集装置在同一时刻拍摄到的多张目标图像；对多张目标图像进行拼接，以得到俯视拼接图；识别俯视拼接图中的图像语义特征，以得到俯视感知图；基于俯视感知图进行定位，从而确定关键帧；根据关键帧生成地图点，从而形成局部建图；还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为关键帧，根据空间关系的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是一个设定的阈值。本专利技术实施例第三方面，公开了一种车载终端，包括：获取子单元，用于获取多个摄像头在同一时刻拍摄到的多张目标图像；拼接子单元，用于对所述获取子单元获取到的多张目标图像进行拼接，以得到俯视拼接图；感知子单元，用于识别所述拼接子单元拼接得到的俯视拼接图中的图像语义特征，以得到俯视感知图；定位子单元，用于对所述感知子单元获得的俯视感知图进行定位，从而确定关键帧；构建子单元，用于根据所述定位子单元的关键帧生成地图点，从而形成局部建图。作为一种可选的实施方式，在本专利技术实施例第二方面中，检测子单元，用于在局部建图过程中进行回环检测；优化子单元，用于在回环检测成功后进行全局优化。作为一种可选的实施方式，在本专利技术实施例第二方面中，感知子单元，用于将得到的俯视拼接图输入至一神经网络模型，基于所述神经网络模型识别出俯视拼接图中的图像语义特征，以得到所述俯视感知图。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述定位融合环视VO、环视VIO、环视VIO和轮速中的一种或多种。作为一种可选的实施方式，在本专利技术实施例第二方面中，定位子单元进一步用于当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧。本专利技术实施例第三方面，公开了一种车载终端，包括：获取子单元，用于获取多个摄像头在同一时刻拍摄到的多张目标图像；拼接子单元，用于对所述获取子单元获取到的多张目标图像进行拼接，以得到俯视拼接图；感知子单元，用于识别所述拼接子单元拼接得到的俯视拼接图中的图像语义特征，以得到俯视感知图；定位子单元，用于对所述感知子单元获得的俯视感知图进行定位，从而确定关键帧；构建子单元，用于根据所述定位子单元的关键帧生成地图点，从而形成局部建图；该车载终端还包括判断子单元，该判断子单元还包括根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为关键帧，根据空间关系判定的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是一个设定的阈值。与现有技术相比，本专利技术具有下述的专利技术点与有益效果，但不局限于下述几点：1)现有技术中没有发现有识别图像语义特征的，更没有将图像语义特征进行识别后拼接得到拼接图的技术方案。本专利技术通过识别俯视拼接图中的图像语义特征，以得到俯视感知图，特别是选取车道线、库位线、库位点作为语义特征是本专利技术的专利技术点之一；2)通过本专利技术特别设计的Encoder-Decoder模型神经网络(具体实施例有详细说明)对预先采用大量标注有图像语义特征的俯视拼接样本进行训练，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别准确率，这是本专利技术的专利技术点之一；3)对俯视感知图进行定位追踪，根据观测的情况和特定的空间关系来判定某一时刻的俯视感知图是否为关键帧是本专利技术的专利技术点之一；4)根据关键帧生成地图点，并且判断避免同一个地方生成重复的地图点，是本专利技术的专利技术点之一；5)为了在一定程度上消除累计误差的影响，在局部建图过程中不断进行回环检测和全局优化是本专利技术的专利技术点之一。由此可见，实施本专利技术实施例，将现实的3D世界降维度，建出稠密而准确的地库地面元素，在地面平整的地库场景非常切合，并且更为鲁棒，精确，能够给予之后的定位更多观测。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例公开的一种基于俯视拼接图的建图方法的流程示意图；图2是本专利技术实施例公开的一种由车载终端构建的停车场局部地图示例图；图3是本专利技术实施例公开的另一种由车载终端构建的停车场局部地图示例图；图4是本专利技术实施例公开的另一种基于俯视拼接图的建图方法的流程示意图；图5是本专利技术实施例公开的一种车载终端的结构示意图；图6是本专利技术实施例公开的另一种车载终端的结构示意图；图7是本专利技术实施例公开的另一种车载终端的结构示意图。具体实施例下面将结本文档来自技高网...

【技术保护点】
1.一种基于俯视拼接图的建图方法，其特征在于，所述方法包括步骤：101、获取多个图像采集装置在同一时刻拍摄到的多张目标图像；102、对所述多张目标图像进行拼接，以得到俯视拼接图；103、识别所述俯视拼接图中的图像语义特征，以得到所述俯视感知图；104、基于所述俯视感知图进行定位，从而确定关键帧；105、根据所述关键帧生成地图点，从而形成局部建图。

【技术特征摘要】
1.一种基于俯视拼接图的建图方法，其特征在于，所述方法包括步骤：101、获取多个图像采集装置在同一时刻拍摄到的多张目标图像；102、对所述多张目标图像进行拼接，以得到俯视拼接图；103、识别所述俯视拼接图中的图像语义特征，以得到所述俯视感知图；104、基于所述俯视感知图进行定位，从而确定关键帧；105、根据所述关键帧生成地图点，从而形成局部建图。2.根据权利要求1所述的基于俯视拼接图的建图方法，其特征在于，所述方法还包括步骤：106、在局部建图过程中进行回环检测；107、所述回环检测成功后进行全局优化。3.根据权利要求1-2中任一项所述的基于俯视拼接图的建图方法，其特征在于，所述步骤103具体为：将得到的所述俯视拼接图输入至一神经网络模型，基于所述神经网络模型识别出俯视拼接图中的图像语义特征，以得到所述俯视感知图。4.根据权利要求1-3中任一项所述的基于俯视拼接图的建图方法，其特征在于，在所述步骤104中，所述定位融合环视VO、环视VIO、环视VIO和轮速中的一种或多种。5.根据权利要求1-4中任一项所述的基于俯视拼接图的建图方法，其特征在于，在所述步骤104中，当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧。6.一种基于俯视拼接图的建图方法，其特征在于，所述方法包括步骤：101、获取多个图像采集装置在同一时刻拍摄到的多张目标图像；102、对所述多张目标图像进行拼接，以得到俯视拼接图；103、识别所述俯视拼接图中的图像语义特征，以得到所述俯视感知图；104、基于所述俯视感知图进行定位，从而确定关键帧；105、根据所述关键帧生成地图点，从而形成局部建图；该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：||pk-pi||+λ||θk-θi||>δ在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。7.一种车载终端，其特征在于，包括：获取子单元...

【专利技术属性】
技术研发人员：李天威，童哲航，谢国富，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京,11