视觉地图建立方法、计算装置、计算机存储介质和智能车辆制造方法及图纸

提供了一种视觉地图建立方法、计算装置、计算机存储介质和智能车辆，包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。根据本发明专利技术基于双目图像，每帧根据深度信息、确定地面位置、独立求解俯视图片，能够得到高质量的视觉地图。

【技术实现步骤摘要】
视觉地图建立方法、计算装置、计算机存储介质和智能车辆
本专利技术总体地涉及视觉地图建立技术，特别是涉及智能车辆使用的视觉地图的建立方法、计算装置、计算机存储介质和智能车辆。
技术介绍
无人驾驶等技术正成为研发热点，智能汽车要想实现自动驾驶，需要为其构建计算机能够使用的视觉地图。目前尚不存在令人满意的智能汽车使用的视觉地图的创建方法。
技术实现思路
鉴于上述情况，提出了本专利技术。根据本专利技术的一个方面，提供了一种视觉地图建立方法，可以包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。根据本专利技术的另一方面，提供了一种计算装置，包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。根据本专利技术的另一方面，提供了一种计算机存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。根据本专利技术的另一方面，一种智能车辆，包括双目相机，计算装置和无线通信装置，双目相机拍摄行驶中车辆前方的地面；无线通信装置能够连通双目相机和计算装置；计算装置包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。根据本专利技术实施例的视觉地图建立方法、计算装置、计算机存储介质和智能车辆，基于双目图像，每帧根据深度信息、确定地面位置、独立求解俯视图片，能够得到高质量的视觉地图。附图说明从下面结合附图对本专利技术实施例的详细描述中，本专利技术的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：图1示出了根据本专利技术实施例的智能车辆运营系统1000的配置示意图。图2示出了根据本专利技术实施例的智能车辆100的配置示意图。图3示出了根据本专利技术实施例的一种视觉地图建立方法300的总体流程图。图4(a)和图4(b)分别示出了示例性的双目相机中的左相机和右相机拍摄的图像。图5示出了从图4(a)和图4(b)所示的左右图像计算得到的视差图。图6示出了示例性的将左图像转换得到的俯视图像。图7示出了根据本专利技术一个实施例的将多个俯视图像拼接为视觉地图的方法340的总体流程图。图8示例性示出了相邻两帧拼接的结果的示意图。图9示例性示出了间隔多帧拼接的结果的示意图。图10示出了根据本专利技术实施例的拼接两张俯视图像的示例性方法341的总体流程。图11(a)、(b)、(c)给出用于计算误差区域的示例图，其中图11(a)表示前一帧的俯视灰度图；图11(b)表示当前帧的俯视灰度图；图11(c)表示用于计算误差的纹理区间。图12示出了根据本专利技术实施例的根据相邻被拼接的两个俯视图像之间的相互关系进行局部优化的方法342的总体流程图。图13(a)示出了基于先前拼接的结果，即步骤341得到的拼接的两帧俯视图，图13(b)示出了经过基于两帧相互关系微调后的结果，即步骤342得到的拼接的两帧俯视图。图14示出了根据本专利技术实施例的根据多张图像相互关系进行拼接地图的整体优化方法343的总体流程图。图15示出了显示的视觉地图片段示例。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。在介绍之前，解释一下有关术语在本文中的含义。首先给出本文中使用的术语的解释。视觉地图：本文中的视觉地图，不同于提交本申请时个人用户常用的sogo地图、百度地图、Google地图等，是给无人驾驶汽车使用的。sogo地图，百度地图、Google地图等是给人使用的，而这里我们所说的视觉地图是给无人驾驶车上的计算机识别的，它具有抽象和结构化的内容，方便计算机从中提取所需要的信息。视差图：视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左右图像中计算得到。普通二维视差图中的某点坐标以(u,v)表示，其中u为横坐标，v为纵坐标；点(u,v)处的像素的像素值用d(u,v)表示，像素值表示该点(u,v)处的视差。由于视差图包含了场景的距离信息，因此从立体图像对中提取视差图的图像匹配，一直是双目视觉研究中最为活跃的领域。RANSAC:RANdomSampleConsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。双目立体视觉：双目立体视觉(BinocularStereoVision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。智能车辆：指如下车辆：能够与外部通信、根据用户用车任务自己进行路径规划或者接受外部的路径规划，基本无需驾驶员而自主驾驶，可以包含无人驾驶汽车(完全自主)、辅助驾驶汽车(较少时间需要驾驶员介入)、驾驶辅助汽车(多数时间为驾驶员驾驶)。图1示出了根据本专利技术实施例的智能车辆运营系统1000的配置示意图。如图1所示，智能车辆运营系统1000由智能车辆管理平台10、多辆智能车辆100和用户终端21-23等协作配置。智能车辆管理平台10通常在云端，由众多计算资源和存储资源协同配置，存储并管理众多用户的信息，以及存储并管理众多车辆的信息，调度并监控众多车辆。用户通过终端例如笔记本21、手机22或工作站23等与智能车辆管理平台10交互，提交用车请求；智能车辆管理平台10接收到用户用车请求后，进行任务分配，接收到任务的智能车辆100接到用户，并送用户至目的地，这过程中，智能车辆要根据路径规划依据视觉地图进行行驶。图2示出了根据本专利技术实施例的智能车辆100的配置示意图。为避免混淆要点，仅示出了车辆中和本专利技术密切相关的部分，而省略了其它无关部分。如图2所示，根据本专利技术实施例的智能车辆100包括：双目相机110和计算装置120。双目相机110布置于车辆前端的顶部。计算装置120包括存储器121、处理器122、通信接口123和输入/输出接口，这些部分通过总线124互相连接。经由通信接口，计算装置120与外界通信；经由输入/输出接口125接收传感器的输入，输出控制指令等等。存储器121上存储有操作系统和视觉地图构建应用程序等等，处理器122可操作来执行存储器121中的视觉地图构建应用程序。计算装置110当然可以包括其它部件，这里示出仅为示例，而非作为限制。下面参考附图描述根据本专利技术实施例的视觉地图构建方本文档来自技高网...

【技术保护点】
一种视觉地图建立方法，包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。

【技术特征摘要】
1.一种视觉地图建立方法，包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。2.根据权利要求1的视觉地图建立方法，所述将多个俯视图像拼接为视觉地图包括：顺次两两拼接时间顺序的俯视图像；根据两两图像相互关系进行拼接地图的局部优化；以及根据多张图像相互关系进行拼接地图的整体优化。3.根据权利要求2的视觉地图建立方法，拼接两张俯视图像包括：获得该两帧俯视图像对应的两帧灰度处理对象图像相关联的真实相机在对应两时刻所处位置之间的真实相机坐标变换关系；获得所述真实相机与原图像之间的映射关系；基于所述地面位置，获得俯视图像对应的虚拟相机的位置；获得虚拟相机和真实相机之间的坐标变换关系；获得虚拟相机与俯视图像之间的映射关系；基于真实相机在对应两时刻所处位置之间的真实相机坐标变换关系、真实相机与原图像之间的映射关系、虚拟相机和真实相机之间的坐标变换关系、以及虚拟相机与俯视图像之间的映射关系，得到两帧俯视图之间的坐标变换关系；以及基于两帧俯视图之间的坐标变换关系，对两帧俯视图进行拼接。...

【专利技术属性】
技术研发人员：王雪梅，赵勇，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11