虚拟车道线生成方法、装置及系统制造方法及图纸

本发明专利技术涉及自动驾驶技术领域，公开了一种虚拟车道线生成方法，所述方法包括：获取当前道路图像，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。同时还公开了一种虚拟车道线生成装置，以及对应的系统。本发明专利技术的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。

Virtual Lane Line Generation Method, Device and System

【技术实现步骤摘要】
虚拟车道线生成方法、装置及系统
本专利技术涉及自动驾驶
，具体地涉及一种虚拟车道线生成方法、装置、系统及存储介质。
技术介绍
车道保持是自动驾驶系统的基本功能之一。该功能是利用感知模块识别出道路上的车道线位置，并由控制系统根据车辆在当前车道内的相对位置对车的转向进行动态调整，使车能够保持在当前车道内平稳行驶。一般来说车道线检测都是使用车载相机采集连续的视频数据，并对视频的每一帧单独进行车道线检测。目前主流的检测方法是基于卷积神经网络(CNN)技术，采集大量道路图片并在图片中标注出车道线，再使用标注数据对CNN进行训练；训练好的CNN网络模型可以对单张图片上的车道线进行检测。但是目前这种车道线检测方法，对图像中的车道线清晰程度要求较高，在一些特殊场景(例如雪天、新修道路、车道线磨损等)，车道线有可能不存在，或者非常模糊。此时感知模块的车道线检测结果不稳定，为控制系统提供的车道线信息不再准确，导致车辆出现蛇行(左右摇摆)，甚至冲出道路边缘。在这种情况下如果要继续使用自动驾驶系统，就需要在没有车道线的道路上假想出若干条车道线，并使车辆保持在虚拟车道线内行驶而不至于左右摇摆或冲出道路边缘。目前在无车道线或车道线模糊的场合下，若采用高精定位技术，则会受到定位信号(如GPS信号)强度的影响，不能获取到满意的定位精度，会导致车辆表现出严重的蛇行；若直接采用CNN网络进行车辆控制，则由于CNN训练数据集不能覆盖所有场景，因此不能达到100％的可靠性。
技术实现思路
本专利技术的目的是利用卷积神经网络提供一种虚拟车道线的生成方法，以至少解决在没有车道线的道路上，需要为车辆提供虚拟车道线作为参照的问题。为了实现上述目的，本专利技术第一方面实施例提供一种虚拟车道线生成方法，包括：获取当前道路图像，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。可选的，所述预先训练的CNN的训练样本为带虚拟车道中心线的图像。可选的，所述带虚拟车道中心线的图像通过以下方式获得：在有车道线的图像中，取相邻两条车道线的中间线作为车道中心线，去除所述车道线，得到所述带虚拟车道中心线的图像；在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到所述带虚拟车道中心线的图像。可选的，所述预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和至少一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述预先训练的CNN的前半段包括所有的2D卷积层，所述预先训练的CNN的后半段包括所有的3D卷积层。可选的，所述方法还包括：设置缓存队列，所述缓存队列用于缓存所述预先训练的CNN的前半段计算完的特征图，并供所述预先训练的CNN的后半段读取。可选的，当新的特征图需要加入所述缓存队列且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。可选的，所述根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线，包括：对所述虚拟车道中心线和/或当前道路的车道宽度进行调整；根据调整后的虚拟车道中心线和车道宽度得到虚拟车道线。可选的，所述对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整。可选的，所述道路边缘来自于所述预先训练的CNN的输出。可选的，所述依照道路边缘对所述虚拟车道中心线进行调整，包括：根据道路边缘计算道路的宽度和曲率；以所述道路宽度对所述虚拟车道中心线的位置进行调整，和以所述道路曲率对所述虚拟车道中心线的曲率进行调整。可选的，所述对当前道路的车道宽度进行调整，包括：设定车道宽度的取值范围，所述取值范围以标准车道宽度为基准；根据当前道路宽度对当前车道宽度进行调整；当车道宽度变化至小于所述取值范围的最小值时，减少车道数量；当车道宽度变化至大于所述取值范围的最大值时，增加车道数量；所述方法还包括：在车道数量改变的同时对车道中心线做平滑处理。可选的，所述根据当前道路宽度对当前车道宽度进行调整，包括：在道路宽度发生变化时，按照保持距左侧或右侧相同距离，或者距左右两侧距离相同比例的方式调整所述车道宽度。可选的，所述根据所述虚拟车道中心线和车道宽度得到虚拟车道线，包括：以所述虚拟车道中心线为基准，并以所述车道宽度生成多条所述虚拟车道线。在本专利技术的第二方面，还提供一种虚拟车道线生成装置，所述装置包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，用于调用所述存储器中存储的所述程序指令以实现如前述的虚拟车道线生成方法，得到当前道路上的虚拟车道线。在本专利技术的第三方面，还提供一种虚拟车道线生成系统，所述系统包括：包括图像获取模块，所述图像获取模块被配置为获取当前道路图像；所述系统还包括：样本训练模块，所述样本训练模块被配置为用带虚拟车道中心线的图像作为训练样本训练CNN，得到预先训练的CNN；虚拟车道中心线生成模块，所述虚拟车道中心线生成模块被配置为将所述当前道路图像输入所述预先训练的CNN，得到当前道路上的虚拟车道中心线；虚拟车道线生成模块，所述虚拟车道中心线生成模块被配置为根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。在本专利技术的第四方面，还提供一种自动驾驶汽车，所述汽车包括前述的虚拟车道线生成装置或者前述的虚拟车道线生成系统。在本专利技术的第五方面，还提供一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的虚拟车道线生成方法。通过上述技术方案，本专利技术提供了一种虚拟车道线生成方法，本专利技术的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。该实施方式尤其是不依赖高精定位，因此不受GPS信号强弱的影响，可提高自动驾驶的适应能力，降低蛇行或退出等问题发生的概率。附图说明图1是本专利技术一种实施方式提供的虚拟车道线生成方法的流程示意图；图2是本专利技术一种实施方式提供的CNN网络结构示意图；图3是本专利技术一种实施方式提供的虚拟车道线位置关系示意图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。图1是本专利技术一种实施方式提供的虚拟车道线生成方法的流程示意图。如图1所示，一种虚拟车道线生成方法，包括：获取当前道路图像(图中未示出)，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。如此，本专利技术的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。该实施方式尤其是不依赖高精定位，因此不受GPS信号强弱的影响，可提高自动驾驶的适应能力，降低蛇行或退出等问题发生的概率。具体的，常用的2D-CNN(2D卷积神经网络)用于图像识别和车道线识别已属于现有技术，3D-CNN(3本文档来自技高网...

【技术保护点】
1.一种虚拟车道线生成方法，包括：获取当前道路图像，其特征在于，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

【技术特征摘要】
1.一种虚拟车道线生成方法，包括：获取当前道路图像，其特征在于，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。2.根据权利要求1所述的方法，其特征在于，所述预先训练的CNN的训练样本为带虚拟车道中心线的图像。3.根据权利要求2所述的方法，其特征在于，所述带虚拟车道中心线的图像通过以下方式获得：在有车道线的图像中，取相邻两条车道线的中间线作为车道中心线，去除所述车道线，得到所述带虚拟车道中心线的图像；在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到所述带虚拟车道中心线的图像。4.根据权利要求3所述的方法，其特征在于，所述预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和至少一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述预先训练的CNN的前半段包括所有的2D卷积层，所述预先训练的CNN的后半段包括所有的3D卷积层。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：设置缓存队列，所述缓存队列用于缓存所述预先训练的CNN的前半段计算完的特征图，并供所述预先训练的CNN的后半段读取。6.根据权利要求5所述的方法，其特征在于，当新的特征图需要加入所述缓存队列且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。7.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线，包括：对所述虚拟车道中心线和/或当前道路的车道宽度进行调整；根据调整后的虚拟车道中心线和车道宽度得到虚拟车道线。8.根据权利要求7所述的方法，其特征在于，所述对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整。9.根据权利要求8所述的方法，其特征在于，所述道路边缘来自于所述预先训练的CNN的输出。10.根据权利要求8所述的方法，其特征在于，所述依照道路边缘对所述虚拟车道中心线进行调整，包括：...

【专利技术属性】
技术研发人员：姚传奇，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11