车道线图的构建方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种车道线图的构建方法、装置、电子设备及可读存储介质，其方法包括：获取相机视频数据和RTK数据，并根据RTK数据对相机视频数据进行匹配处理，得到多帧建图图像数据；基于深度学习模型，识别各帧建图图像数据中的车道线信息，车道线信息包括车道线预测位置；将车道线预测位置转换到世界坐标系，得到车道线实际位置；融合车道线实际位置和历史车道线信息，得到车道线图。本申请仅采用单目相机与RTK

【技术实现步骤摘要】
车道线图的构建方法、装置、电子设备及可读存储介质


[0001]本申请涉及自动驾驶
，具体涉及一种车道线图的构建方法、装置、电子设备及可读存储介质。

技术介绍

[0002]人们对车辆辅助驾驶及无人驾驶的需求越来越大，自动驾驶车辆运行过程中需要传感器感知环境信息，同时也需要地图来提供详细的道路信息及高精度定位来对感知系统做出补充与增强。
[0003]目前主流的高精地图构建方法是通过配备了RTK
‑
GPS、IMU、相机、激光雷达、雷达、车轮里程表等地图采集车来完成的，RTK
‑
GPS进行厘米级的定位，雷达\激光雷达进行周围环境的点云扫描，然后生成高精地图。
[0004]这种方法需要消耗大量的人力，并且无法保证及时更新地图。

技术实现思路

[0005]针对上述问题，本申请实施例提供了一种车道线图的构建方法、装置、电子设备及可读存储介质，提供了一种轻量级的可实时的建图方法，以克服或部分克服现有技术的不足之处。
[0006]第一方面，本申请实施例提供了一种车道线图的构建方法，包括：
[0007]获取相机视频数据和RTK数据，并根据所述RTK数据对所述相机视频数据进行匹配处理，得到多帧建图图像数据；其中，所述相机视频数据为车载单目相机拍摄得到；
[0008]基于深度学习模型，识别各帧建图图像数据中的车道线信息，所述车道线信息包括车道线预测位置；
[0009]将所述车道线预测位置转换到世界坐标系，得到车道线实际位置；
[0010]融合所述车道线实际位置和历史车道线信息，得到所述车道线图。
[0011]第二方面，本申请实施例还提供了一种车道线图的构建装置，包括：
[0012]预处理单元，用于获取相机视频数据和RTK数据，并根据所述RTK数据对所述相机视频数据进行匹配处理，得到多帧建图图像数据；其中，所述相机视频数据为车载单目相机拍摄得到；
[0013]识别单元，用于基于深度学习模型，识别各帧建图图像数据中的车道线信息，所述车道线信息包括车道线预测位置；
[0014]转换单元，用于将所述车道线预测位置转换到世界坐标系，得到车道线实际位置；
[0015]融合单元，用于融合所述车道线实际位置和历史车道线信息，得到所述车道线图。
[0016]第三方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。
[0017]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存
储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。
[0018]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0019]本申请通过利用车载单目相机实时拍摄道路视频以及GPS获取的RTK数据，结合深度学习模型，识别各帧建图图像数据中的车道线信息，并将预测得到的车道线预测位置转换到世界坐标系，得到车道线实际位置，将本次得到的车道线实际位置和历史时间内，车辆经过相同道路的历史车道线信息融合，得到所述车道线图。本申请仅采用单目相机与RTK
‑
GPS的组合来进行车道线图的构建，采集成本低，运行效率高，可以实现实时建图；采集精度较高，可以满足轻量自动驾驶需求；且设备部署成本低，可以高频率的进行地图的更新维护；计算量小、适用场景广泛、实用性强。
附图说明
[0020]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0021]图1示出了根据本申请的一个实施例的车道线图的构建方法的流程示意图；
[0022]图2示出了根据本申请的一些实施例的mmclassification训练分类网络的结构示意图；
[0023]图3示出了根据本申请的一个实施例的地图构建方法的校正前端界面的示意图；
[0024]图4示出了根据本申请的一个实施例的位置估算图像中标注基线和交点的示意图；
[0025]图5示出了根据本申请的另一个实施例的车道线图的构建方法的流程示意图；
[0026]图6示出了根据本申请的一个实施例的车道线图的构建装置的结构示意图；
[0027]图7为本申请实施例中一种电子设备的结构示意图。
具体实施方式
[0028]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0030]近年来，人们对车辆辅助驾驶及无人驾驶的需求越来越大，高精地图的车道线最基本的信息，并可满足大多数自动驾驶应用场景。目前主流的高精地图构建方法是通过配备了RTK
‑
GPS、IMU、相机、激光雷达、雷达、车轮里程表等地图采集车来完成的，RTK
‑
GPS进行厘米级的定位，雷达\激光雷达进行周围环境的点云扫描，然后生成高精地图。这种方法消耗大小的人力、经济和时间成本，且实时性很差。
[0031]对此，本申请提供了一种轻量级的实时性强的车道线图的构建方法，本申请的构思在于，仅依靠单目相机采集的道路视频数据，以及GPS采集的RTK数据，并将深度学习模型引入其中，利用深度学习模型识别道路视频数据中的车道线，然后将预测出的车道线映射到世界坐标系中，得到车道线实际位置，并进一步的将，车道线实际位置与历史时间内车辆
经过该道路得到的历史结果融合，得到最终的车道线图。
[0032]图1示出了根据本申请的一个实施例的车道线图的构建方法的流程示意图，从图1可以看出，本申请至少包括步骤S110～步骤S140：
[0033]步骤S110：获取相机视频数据和RTK数据，并根据所述RTK数据对所述相机视频数据进行匹配处理，得到多帧建图图像数据；其中，所述相机视频数据为车载单目相机拍摄得到。
[0034]本申请提出了一种基于RTK数据(也可称为RTK
‑
GPS数据)与单目相机数据的轻量低成本自动化构建车道线地图的方法。
[0035]可将单目装载在目标车辆上，目标车辆在道路上行驶，即可采集到道路影像，称为相机视频数据，视频为多个连续图像组成的，每个图像称为视频的一帧。目标车辆装载有GPS装置，可同时获取RTK数据。
[0036]获取相机视频数据和RTK数据，对这两项数据进行处理，具体的，包括但不限于：对齐所述相机视频数据与所述RTK数据的时间戳；按照时间戳以及所述RTK数据的位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线图的构建方法，其特征在于，包括：获取相机视频数据和RTK数据，并根据所述RTK数据对所述相机视频数据进行匹配处理，得到多帧建图图像数据；其中，所述相机视频数据为车载单目相机拍摄得到；基于深度学习模型，识别各帧建图图像数据中的车道线信息，所述车道线信息包括车道线预测位置；将所述车道线预测位置转换到世界坐标系，得到车道线实际位置；融合所述车道线实际位置和历史车道线信息，得到所述车道线图。2.根据权利要求1所述的方法，其特征在于，在所述将所述车道线预测位置转换到世界坐标系，得到车道线实际位置的步骤之前，所述方法还包括：确定至少一帧部分未识别帧，其中，所述部分未识别帧为所述建图图像数据中的车道线预测位置包含未识别点，且所述未识别点的数量小于预设阈值的图像；根据车道线约束条件，对各所述部分未识别帧中的多个未识别点进行补全处理。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定至少一帧未识别帧，其中，所述未识别帧为所述建图图像数据中的车道线预测位置包含未识别点，且所述未识别点的数量大于等于预设阈值的图像；接收所述未识别帧的车道线补全参数，确定所述未识别帧的补全车道线信息；所述融合所述车道线实际位置和历史车道线信息，得到所述车道线图，包括：融合所述车道线实际位置、所述历史车道线信息和所述补全车道线信息，得到所述车道线图。4.根据权利要求1所述的方法，其特征在于，所述获取相机视频数据和RTK数据，并根据所述RTK数据对所述相机视频数据进行匹配处理，得到多帧建图图像数据，包括：对齐所述相机视频数据与所述RTK数据的时间戳；按照时间戳以及所述RTK数据的位置信息，将所述相机视频数据中的各帧与所述RTK数据的各帧一一对应；对于一个时刻，选取所述相机数据中该时刻对应的一帧，作为该时刻的建图图像数据。5.根据权利要求1所述的方法，其特征在于，所述深度学习模型为mmclassification训练分类模型；所述基于深度学习模型，识别所述建图图像数据中的车道线信息，包括：将所述建图图像数据输入所述深度学习模型中进行识别，得到车道线信息，其中，所述mmclassification训练分类模型包括依次连接的backbone网络、颈部网络和classification head网络，且所述mmclassification训练分类模型是基于Tusimple数据集和Culane数据集训练得到的；将识别得到的所...

【专利技术属性】
技术研发人员：宋烨华，
申请(专利权)人：北京箩筐时空数据技术有限公司，
类型：发明
国别省市：