一种语义地图构建方法、视觉定位方法及相关设备技术

本申请实施例提供一种语义地图构建方法、视觉定位方法及相关设备，其中语义地图构建方法包括：获取道路图像帧；提取所述道路图像帧的语义视觉特征，所述语义视觉特征为所述道路图像帧中道路元素的特征信息；确定两帧道路图像帧中的语义视觉特征在三维空间的关联关系；至少根据所述关联关系确定所述道路图像帧的语义视觉特征的空间位置信息；至少基于所述道路图像帧对应的地理位置、语义视觉特征、所述语义视觉特征的空间位置信息，得到语义地图。本申请实施例可提升语义地图的定位精度，实现精确的车辆视觉定位。精确的车辆视觉定位。精确的车辆视觉定位。

【技术实现步骤摘要】
一种语义地图构建方法、视觉定位方法及相关设备


[0001]本申请实施例涉及地图数据
，具体涉及一种语义地图构建方法、视觉定位方法及相关设备。

技术介绍

[0002]车辆在道路上的视觉定位是车辆的辅助驾驶系统、自动驾驶系统中的一个关键环节。车辆的视觉定位可依赖于语义地图实现。语义地图是在融合视觉传感器、地理定位传感器等多传感器的基础上产生的地图数据。基于语义地图实现车辆的视觉定位，可为车辆的辅助驾驶、自动驾驶提供决策依据。
[0003]车辆的车载传感器和计算资源是有限的，因此如果需要在有限的车载传感器和计算资源下实现精确的视觉定位，语义地图需要具有较高的定位精度。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种语义地图构建方法、定位方法、装置及相关设备，以提升语义地图的定位精度。
[0005]为实现上述目的，本申请实施例提供如下技术方案。
[0006]第一方面，本申请实施例提供一种语义地图构建方法，包括：
[0007]获取道路图像帧；
[0008]提取所述道路图像帧的语义视觉特征，所述语义视觉特征为所述道路图像帧中道路元素的特征信息；
[0009]确定两帧道路图像帧中的语义视觉特征在三维空间的关联关系；
[0010]至少根据所述关联关系确定所述道路图像帧的语义视觉特征的空间位置信息；
[0011]至少基于所述道路图像帧对应的地理位置、语义视觉特征、所述语义视觉特征的空间位置信息，得到语义地图。
[0012]第二方面，本申请实施例提供一种视觉定位方法，包括：
[0013]获取当前道路图像帧以及车辆的当前地理位置；
[0014]根据所述当前地理位置，从语义地图中获取相匹配的当前地图数据；以及，从所述当前道路图像帧中提取当前语义视觉特征；
[0015]从所述当前地图数据中至少获取与所述当前语义视觉特征匹配的空间位置信息，以得到所述当前语义视觉特征的初始空间位置信息；
[0016]根据所述初始空间位置信息，确定所述当前语义视觉特征的当前空间位置信息。
[0017]第三方面，本申请实施例提供一种语义地图构建设备，包括：至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行如上述第一方面所述的语义地图构建方法。
[0018]第四方面，本申请实施例提供一种车载设备，包括：至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计
算机可执行指令，以执行如上述第二方面所述的视觉定位方法。
[0019]第五方面，本申请实施例提供一种存储介质，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如上述第一方面所述的语义地图构建方法，或者，如上述第二方面所述的视觉定位方法。
[0020]本申请实施例提供的语义地图构建方法可获取道路图像帧；提取所述道路图像帧的语义视觉特征，所述语义视觉特征为所述道路图像帧中道路元素的特征信息；确定两帧道路图像帧中的语义视觉特征在三维空间的关联关系；至少根据所述关联关系确定所述道路图像帧的语义视觉特征的空间位置信息；至少基于所述道路图像帧对应的地理位置、语义视觉特征、所述语义视觉特征的空间位置信息，得到语义地图。由于两帧道路图像帧中的语义视觉特征在三维空间的关联关系，可以表示出道路元素的特征信息在三维空间中随车辆行驶的变化关系，因此基于所述关联关系来确定道路图像帧的语义视觉特征的空间位置信息，可使得语义视觉特征的空间位置信息在确定时能够结合上道路元素随车辆行驶的变化关系，从而更为准确的得到道路图像帧中的语义视觉特征在三维空间的空间位置信息。进而，基于准确得到的语义视觉特征的空间位置信息再构建语义地图，可提升语义地图的定位精度，为实现精确的车辆视觉定位提供了可能。
附图说明
[0021]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0022]图1为构建语义地图的系统架构图。
[0023]图2为本申请实施例提供的语义地图构建方法的流程图。
[0024]图3为本申请实施例提供的语义地图的构建过程的阶段示意图。
[0025]图4为本申请实施例提供的帧间道路元素匹配的实现流程图。
[0026]图5为本申请实施例提供的视觉定位方法的流程图。
[0027]图6为本申请实施例提供的视觉定位过程的阶段示意图。
[0028]图7为本申请实施例提供的语义地图构建装置的框图。
[0029]图8为本申请实施例提供的语义地图构建设备的框图。
[0030]图9为本申请实施例提供的视觉定位装置的框图。
具体实施方式
[0031]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0032]语义地图作为一种地图数据，可基于道路上行驶的采集车采集的信息进行构建。采集车采集的信息可以是采集车上设置的多传感器采集的信息，例如视觉传感器、地理定位传感器、惯性导航传感器等多传感器采集的信息。在一些实施例中，如果采集车具有较强
的计算资源，采集车可基于采集的信息自行构建语义地图，并将构建的语义地图上传到云端进行存储。在另一些实施例中，采集车也可将采集的信息上传到云端服务器，由云端服务器基于采集车采集的信息构建语义地图并在云端存储。
[0033]图1示例性的示出了构建语义地图的系统架构。如图1所示，该系统可以包括：采集车100和云端200。采集车100可设置视觉传感器110、地理定位传感器120和惯性导航传感器130。在进一步的一些实施例中，采集车100还可设置用于数据计算、数据处理的处理器芯片。云端200可以包括云端服务器210和云端数据库220。如果由云端基于采集车100采集的信息构建语义地图，则可具体由云端服务器210执行语义地图的构建过程。云端数据库220可存储云端服务器构建的语义地图或者采集车自行构建的语义地图。
[0034]在本申请实施例中，视觉传感器110可用于在车辆行驶过程中采集道路图像。视觉传感器110采集的道路图像可以包括多个道路图像帧。在一些实施例中，视觉传感器110可以包括车载相机。例如，单目相机。
[0035]地理定位传感器120可用于在车辆行驶过程中定位车辆的地理位置(例如车辆的经纬度坐标)。在一些实施例中，地理定位传感器120可以包括GPS(Global Positioning S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义地图构建方法，其中，包括：获取道路图像帧；提取所述道路图像帧的语义视觉特征，所述语义视觉特征为所述道路图像帧中道路元素的特征信息；确定两帧道路图像帧中的语义视觉特征在三维空间的关联关系；至少根据所述关联关系确定所述道路图像帧的语义视觉特征的空间位置信息；至少基于所述道路图像帧对应的地理位置、语义视觉特征、所述语义视觉特征的空间位置信息，得到语义地图。2.根据权利要求1所述语义地图构建方法，其中，所述两帧道路图像帧包括：第一道路图像帧和第二道路图像帧；所述确定两帧道路图像帧中的语义视觉特征在三维空间的关联关系包括：分别将第一道路图像帧对应的第一语义视觉特征和第二道路图像帧对应的第二语义视觉特征逆投影到三维空间中；基于第一道路图像帧和第二道路图像帧的图像采集时间点之间的位姿信息，获取第一语义视觉特征和第二语义视觉特征在三维空间的相对位姿变换；基于所述相对位姿变换，确定第一语义视觉特征和第二语义视觉特征在三维空间的关联关系。3.根据权利要求1所述的语义地图构建方法，其中，所述至少根据所述关联关系确定所述道路图像帧的语义视觉特征的空间位置信息包括：利用非线性优化方法，对两帧道路图像帧中存在关联关系的语义视觉特征进行空间位置信息的联立求解，以得到道路图像帧中语义视觉特征的空间位置信息。4.根据权利要求1或3所述的语义地图构建方法，其中，所述语义视觉特征的空间位置信息包括如下至少一项：地面道路元素的结构关键点的三维空间位置、车道线的采样点的三维空间位置、表征地面道路元素的三维平面空间位置的系数、视觉传感器的坐标系下地平面空间的位置系数、车道线的关联系数、道路图像帧的位姿。5.根据权利要求1所述的语义地图构建方法，其中，所述提取所述道路图像帧的语义视觉特征包括：利用多任务卷积神经网络基于中心网络算法，提取所述道路图像帧中道路元素的骨架和表示关键结构的结构关键点；所述多任务卷积神经网络通过不同的顶部输出层，支持对不同类型的道路元素提取特征信息。6.根据权利要求1所述的语义地图构建方法，其中，在至少基于所述道路图像帧对应的地理位置、语义视觉特征、所述语义视觉特征的空间位置信息，得到语义地图之前，所述方法还包括：将多帧道路图像帧中相同的语义视觉特征进行合并。7.一种视觉定位方法，其中，包括：获取当前道路图像帧以及车辆的当前地理位置；根据所述当前地理位置，从语义地图...

【专利技术属性】
技术研发人员：杨晟，程文韬，陈一鸣，李名杨，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：