神经网络模型训练方法、系统及车道线识别方法、系统技术方案

本申请公开了神经网络模型训练方法、系统及车道线识别方法、系统。该神经网络模型训练方法，包括：将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。本申请提供的技术方案可以对神经网络模型进行训练，使得其根据训练集学习到车道线的特征而进行提取，可以适用于处理多种形状、路况的车道线；无需滤波，从而使得处理结果能够快速准确地响应；此外，能够实现将虚车道线处理的效果与实车道线处理的效果相同。本申请的技术方案还可以实现根据得到的车道线结构化数据或车道线曲线参数进行自动驾驶。

Neural network model training method, system and lane line recognition method, system

【技术实现步骤摘要】
神经网络模型训练方法、系统及车道线识别方法、系统
本申请涉及神经网络领域，尤其涉及神经网络模型训练方法、系统及车道线识别方法、系统。
技术介绍
车道线识别对于自动驾驶而言非常重要，因为车道线是自动驾驶的重要参考指标。为了在车辆前进过程中识别车道线，现有技术中一般采用车载摄像头采集包含车道线的图像，然后提取出图像中的边缘信息，并利用车道线的特征，例如平行、直线、交于灭点等特征，提取出车道线的像素点。对车道线像素点进行去抖动和平滑，然后利用卡尔曼滤波器之类的滤波器对处理后的车道线进行滤波，得到车道线。直线的灭点是过摄影中心且平行于该直线的直线与像平面的交点。车道线是由公路管理部门在道路上施划，一般是由管理部门预先设定，何种类型的车道线应当是何种形状，例如车道线是平行线，分为实线和虚线，还有双实线和双虚线，单实线和单虚线等。由于道路情况复杂多变，在真实路况中所遇到的车道线与理论上设置的车道线不一致的时候，车道线处理程序可能无法应对。现有技术中使用滤波器对车道线进行滤波处理，会带来处理延时，即无法给出实时的处理结果，在突然变道的时候，车道线识别结果需要一定的延迟时间才能给出，存在安全隐患。此外，车道线中的虚线在通过现有技术处理之后，会变成一段段很短的像素点，在噪声较大的情况下，车道线可能会被当做噪声被滤除，因此会发生在车辆行驶过程中，无法识别出车道线的情况，也不利于车辆在自动驾驶模式线沿着预定车道前进。
技术实现思路
有鉴于此，本申请提供神经网络模型训练方法、系统及车道线识别方法、系统，以提供全部逻辑化的车道线，并用来进行自动驾驶。本申请提供了一种神经网络模型训练方法，用于车道线的识别，包括：将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。本申请提供了一种车道线识别方法，该方法包括：将基于单目视觉的车道线图像输入神经网络模型；所述神经网络模型输出车道线像素点；对所述车道线像素点进行逆透视变换；对逆透视变换后的车道线像素点进行聚类；将聚类后的车道线像素点进行采样得到车道线采样点，实现对车道线的识别；其中，所述神经网络模型为根据权利要求1所述的训练方法训练得到的神经网络模型。可选地，该方法还包括：根据基于单目视觉的标定带图像样本计算单应矩阵。可选地，所述对所述车道像素点进行逆透视变换包括：根据所述单应矩阵对所述神经网络模型输出的车道线像素点进行逆透视变换。可选地，该方法还包括：根据采样后的车道线像素点进行拟合得到拟合车道线的曲线参数。本申请提供了一种神经网络模型训练系统，用于车道线识别，该系统包括：存储设备，用于存储程序、车道线图像样本和车道线训练集，所述车道训练集为实线；处理器，用于执行所述程序处理所述车道线图像样本和所述车道线训练集以训练神经网络模型。本申请提供了一种存储设备，该存储设备存储有程序、车道线图像样本和车道线训练集，所述车道训练集为实线；所述程序，用于被处理器执行时处理所述车道线图像样本和所述车道线训练集以训练神经网络模型。本申请提供了一种车道线识别系统，该系统包括：存储设备，用于存储程序；处理器，用于执行所述程序以实现所述的车道线识别方法。本申请提供了一种存储设备，该存储设备存储有程序；所述程序，用于被处理器执行时实现所述的车道线识别方法。本申请提供了一种自动驾驶系统，根据所述的系统输出的车道线采样点或者车道线采样点对应的曲线参数进行自动驾驶。本申请提供的技术方案可以对神经网络模型进行训练，使得其根据训练集学习到车道线的特征而进行提取，可以适用于处理多种形状、路况的车道线；无需滤波，从而使得处理结果能够快速准确地响应；此外，能够实现将虚车道线处理的效果与实车道线处理的效果相同，避免因为车辆遮挡或者车道线本身的间断带来车道线完整识别的困难。本申请的技术方案还可以实现根据得到的车道线结构化数据或车道线曲线参数进行自动驾驶。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请提供的神经网络模型训练方法示意图；图2是本申请提供的单目视觉的车道线图像样本示意图；图3是本申请逻辑化后的车道线示意图；图4是本申请提供的车道线采样点实现流程示意图；图5是本申请提供的输入神经网络模型的车道线图像示意图；图6是本申请提供的神经网络模型输出车道线像素点示意图；图7是本申请提供的逆透视转换并聚类后的车道线像素点示意图；图8是本申请提供的采样后的车道线点示意图；图9是本申请提供的车道线采样点拟合曲线示意图；图10是本申请提供的单应矩阵标定带示意图；图11是本申请提供的车道线识别系统示意图。具体实施方式如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。图1是本专利技术提供的神经网络模型训练方法，用于车道线的识别，其采用了基于单目视觉的车道线图像样本进行训练，训练之后的神经网络模型可以对一个摄像机采集车道线图片进行识别，并可以将所识别的车道线用于自动驾驶。如图1所示，本专利技术提供的神经网络模型训练方法包括：步骤105，将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；具体而言，可以将单个摄像头拍摄的车道线图像样本中的虚车道线或者被遮挡的车道线通过计算机自动处理成实车道线，或者通过人工处理，将单个摄像头拍摄的车道线图像样本中的虚车道线或者被遮挡的车道线变成实线。逻辑化，是指将车道线变成实线，例如对于虚车道线，按照车辆行驶的方向，将相邻虚车道线首端和末端依次连接，形成实车道线，或者将被遮挡的实车道线或虚车道线部分，根据车道线走势，补齐相应的实车道线。单个摄像头拍摄的车道线图像样本如图2所示，逻辑化后的车道线如图3所示。需要说明的是，摄像机尽量安装在车辆居中的位置，在采集车道线图像样本时，车身平行车道线，在车道中间线行驶。步骤110，根据车道线图像样本以及车道线训练集训练神经网络模型。具体而言，在训练神经网络模型时，可以将摄像机拍摄的车道线图像样本以及逻辑化后的车道线作为样本数据进行训练，从而使得神经网络模型可以输出车道线像素点。在训练神经网络模型时，将原始图像(即如图2车道线图像样本)输入神经网络，神经网络前向传播输出预测的结果，计算预测的结果和标注(即如图3所示的逻辑化车道线)之间的差距(即损失值)，神经网络网络反向传播，优化网络各层参数，缩小差距。不断迭代以上过程，直到差距满足要求，即神经网络输出的车道线与逻辑化车道线之间的差距符合要求。上述提供的技术方案通过将虚线车道线或会标本文档来自技高网...

【技术保护点】
1.一种神经网络模型训练方法，用于车道线的识别，其特征在于，包括：将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。

【技术特征摘要】
1.一种神经网络模型训练方法，用于车道线的识别，其特征在于，包括：将基于单目视觉的车道线图像样本中的车道线逻辑化，得到车道线训练集；所述车道线训练集为实线；根据所述车道线图像样本以及所述车道线训练集训练神经网络模型。2.一种车道线识别方法，其特征在于，该方法包括：将基于单目视觉的车道线图像输入神经网络模型；所述神经网络模型输出车道线像素点；对所述车道线像素点进行逆透视变换；对逆透视变换后的车道线像素点进行聚类；将聚类后的车道线像素点进行采样得到车道线采样点，实现对车道线的识别；其中，所述神经网络模型为根据权利要求1所述的训练方法训练得到的神经网络模型。3.根据权利要求2所述的方法，其特征在于，该方法还包括：根据基于单目视觉的标定带图像样本计算单应矩阵。4.根据权利要求3所述的方法，其特征在于，所述对所述车道像素点进行逆透视变换包括：根据所述单应矩阵对所述神经网络模型输出的车道线像素点进行逆透视变换。5.根据权利要求4所述的方法，其特征在于，该方法还包括：根据...

【专利技术属性】
技术研发人员：田文善，秦暕，康勇，马海军，葛逸盛，王鹏，任泽，俞鸿魁，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：北京,11