一种基于深度学习的路边沿检测方法技术

一种基于深度学习的路边沿检测方法，包括如下步骤：(1)采集真实道路上包含路边沿的图像数据，并通过人工标注方法标注其中与路边沿检测相关的目标的位置和类别信息，构建路边沿检测的数据集；(2)构建适用于路边沿检测的多任务卷积神经网络及相应的损失函数；(3)将采集到的图像和标注数据输入到步骤(2)构建的卷积神经网络中，根据输出值与目标值之间的损失值对神经网络中的参数值进行更新，最后得到理想的网络参数。本发明专利技术对各种可见及非可见、有无明确几何特征和高度差的的路边沿都有着较好的检测能力，相对于3D激光雷达等检测方式具有成本优势，有利于大规模推广应用，促进自动驾驶技术的发展。

【技术实现步骤摘要】
一种基于深度学习的路边沿检测方法
本专利技术属于智能驾驶
，涉及一种计算机视觉结合深度学习的特定场景下的目标检测方法。
技术介绍
路边沿检测是自动驾驶领域和主动安全领域的重要组成部分之一，它可以帮助自动驾驶车辆识别当前的可行驶区域并判断路径信息。由于路边沿检测的重要意义，针对这类问题，国内外很多机构已经给出了一部分检测方法，而现有的路边沿检测技术多是基于3D激光雷达而实现的，多根据路边沿与可行驶道路之间的高度变化来检测路边沿，这种检测方法的局限性如下：(1)3D激光雷达的价格相对高昂，大规模应用有一定困难；(2)对没有明确几何特征和高度差的路边沿无法识别；事实上，随着深度学习技术的发展，目前已涌现出了许多高效的目标检测算法，但遗憾的是这些目标检测算法对路边沿这种占用像素点少、无明确几何特征且为连续线形的目标并不适用。
技术实现思路
针对现有技术的局限性，本专利技术提供了一种基于深度学习的路边沿检测方法，其利用车载高清相机得到的图像数据，利用多任务的卷积神经网络提取出图像中不同部分的信息，融合消失点位置信息，初步检测出其中的路边沿部分，再根据道路区域信息对路边沿信息进一步判断以增强算法的鲁棒性。为实现上述目的，本专利技术所采用的技术方案如下：(1)采集真实道路上包含路边沿的图像数据，并通过人工标注方法标注其中与路边沿检测相关的目标的位置和类别信息，构建路边沿检测的数据集；(2)构建适用于路边沿检测的多任务卷积神经网络及相应的损失函数；(3)将采集到的图像和标注数据输入到步骤(2)构建的卷积神经网络中，根据输出值与目标值之间的损失值对神经网络中的参数值进行更新，当损失值收敛至其全局最小值时，保存最终的网络参数。可选地，在步骤(1)中，图像数据的采集与标注步骤如下：(1-1)对摄像头的内外参数进行标定；(1-2)针对实际工况下可能出现的路边沿种类，将采集的路边沿分为以下几种：真实可见的路边沿，路边沿旁存在障碍物，非真实可见的路边沿等；(1-3)图像数据标注的类别主要分为以下几种：背景，可行驶区域，路边沿，非可行驶区域，障碍物等；其中，对于非真实可见的路边沿利用人工识别标注出虚拟的路边沿位置；(1-4)采用标注工具对采集到的图像数据进行标注，标注方式包括但不限于像素级标注，网格标注。可选地，在步骤(2)中，构建的适用于路边沿检测的多任务卷积神经网络及相应的损失函数步骤如下：(2-1)构建路边沿特征提取网络，用于将输入的图像信息进行特征提取与特征编码，得到多尺度的，可用于路边沿检测、道路消失点检测与道路区域检测的共享特征层；(2-2)构建道路消失点检测网络，对步骤(2-1)中得到的共享特征层进一步卷积，由其输出层可得到道路的消失点位置信息；(2-3)构建道路边沿检测网络，首先将步骤(2-1)中得到的共享特征层与步骤(2-2)中得到的检测道路消失点的输出层相连得到道路边沿检测网络的输入层；对此输入层进行上采样，通过最终的输出层可得到路边沿信息；(2-4)构建道路区域检测网络，首先对步骤(2-3)中得到的输出层进行下采样并将此结果与步骤(2-1)中得到的共享特征层相连得到道路区域检测网络的输入层，对此输入层进行上采样，通过最终的输出层可得到道路区域信息；(2-5)构建适用于类别不平衡的目标检测损失函数，用于计算道路消失点的检测损失，并能抑制样本中消失点与背景的比例的不平衡所造成的影响；(2-6)构建交叉熵损失函数，用于计算道路边沿检测网络输出的路边沿位置信息与真实位置信息的损失；(2-7)构建交叉熵损失函数，用于计算道路区域检测网络输出的道路区域与真实道路区域之间的损失。可选地，在步骤(3)中，训练网络的步骤如下：(3-1)将采集到的图像进行数据预处理，主要步骤包括：将图像进行随机的水平翻转、裁剪并统一缩放到固定的尺寸，标注数据也进行相应的翻转、裁剪和缩放，在此基础上对得到的图像按通道进行归一化处理；(3-2)在ImageNet上利用SoftMax损失函数对上述网络进行预训练，得到的参数值作为网络的初始参数；(3-3)将消失点检测网络与路边沿检测网络连接，将预处理后的图片与标注数据输入到网络中，利用步骤(2-5)、步骤(2-6)中构建的损失函数计算网络输出的道路消失点及路边沿位置与真实位置的损失值，对参数值进行更新，当损失值收敛至其全局最小值时，保存当前的网络参数；(3-4)将路边沿检测网络与道路区域检测网络相连，利用步骤(2-7)中构建的损失函数计算网络输出道路区域与实际道路区域之间的损失值，并在步骤(3-3)的基础上进一步进行网络的参数更新，得到最终结果。由于采用上述方案，本专利技术的有益效果是：第一、本专利技术所采用的传感器为单目相机，其价格相对之前的路边沿检测方法种所使用的3D激光雷达十分低廉，有助于检测方法的实际推广、应用；第二、本专利技术所采用的多任务网络充分利用了道路消失点的信息，使得路边沿检测网络的输入层包含了更多的特征信息，增强了算法的鲁棒性；第三、本专利技术所采用的多任务网络将路边沿检测网络的输出与共享特征层结合用于检测道路区域从而对参数值再更新，增加了识别的准确度；第四、本专利技术所采用的深度卷积神经网络对无明确可见几何特征的路边沿也有着很好的检测效果。附图说明图1为本专利技术所采用的多任务卷积神经网络的总体结构图。图2为本专利技术路边沿特征提取网络结构图。图3为本专利技术道路消失点检测网络结构图。图4为本专利技术路边沿检测网络结构图。图5为本专利技术道路区域检测网络结构图。具体实施方式本专利技术提供了一种基于深度学习的路边沿检测方法，该方法以深度卷积神经网络为基础，并融合了道路消失点信息和道路区域信息增强路边沿检测的准确度。详细的网络结构如图1所示。该方法包括以下步骤：(1)采集真实道路上包含路边沿的图像数据，并通过人工标注方法标注其中与路边沿检测相关的目标的位置和类别信息，构建路边沿检测的数据集；(2)构建适用于路边沿检测的多任务卷积神经网络及相应的损失函数；(3)将采集到的图像和标注数据输入到步骤(2)构建的卷积神经网络中，根据输出值与目标值之间的损失值对神经网络中的参数值进行更新，最后得到较为理想的网络参数；可选地，在步骤(1)中，图像数据的采集与标注步骤如下：(1-1)对摄像头的内外参进行标定，标定内参用于消除镜头造成的图像畸变，标定外参用于确定图像上的路面点对应在现实世界中的位置，标定过程可以参考棋盘法，用待标定摄像头拍摄多张包含棋盘标定板的图像，然后输入Matlab的Calibration工具箱中，得到摄像头的内外参；(1-2)针对实际工况下可能出现的路边沿种类，将采集的路边沿分为以下几种：真实可见的路边沿，一旁存在障碍物的路边沿，非真实可见的路边沿等。利用装有摄像头的数据采集车在真实道路上行驶采集图像数据，并在不同的天气、光照情况下进行采集以增加数据的丰富度；(1-3)图像数据标注的类别主要分为以下几种：背景，道路区域，路边沿，非可行驶区域，障碍物等；其中，背景部分为本方法不关注的部分如天空等；道路区域为车辆的可行驶区域；路边沿分为真实可见的路边沿，一旁存在障碍物的路边沿，非真实可见的路边沿，其中对于存在障碍物的路边沿标注出障碍物信息，对于非真实可见的路边沿利用人工识别标注出虚拟的路边沿位置；非可行驶区域为道路区域之本文档来自技高网...

【技术保护点】
1.一种基于深度学习的路边沿检测方法，其特征在于，包括如下步骤：(1)采集真实道路上包含路边沿的图像数据，并通过人工标注方法标注其中与路边沿检测相关的目标的位置和类别信息，构建路边沿检测的数据集；(2)构建适用于路边沿检测的多任务卷积神经网络及相应的损失函数；(3)将采集到的图像和标注数据输入到步骤(2)构建的卷积神经网络中，根据输出值与目标值之间的损失值对神经网络中的参数值进行更新，当损失值收敛至其全局最小值时，保存最终的网络参数。

【技术特征摘要】
1.一种基于深度学习的路边沿检测方法，其特征在于，包括如下步骤：(1)采集真实道路上包含路边沿的图像数据，并通过人工标注方法标注其中与路边沿检测相关的目标的位置和类别信息，构建路边沿检测的数据集；(2)构建适用于路边沿检测的多任务卷积神经网络及相应的损失函数；(3)将采集到的图像和标注数据输入到步骤(2)构建的卷积神经网络中，根据输出值与目标值之间的损失值对神经网络中的参数值进行更新，当损失值收敛至其全局最小值时，保存最终的网络参数。2.根据权利要求1所述的基于深度学习的路边沿检测方法，其特征在于，在步骤(1)中，图像数据的采集与标注步骤如下：(1-1)对摄像头的内外参数进行标定；(1-2)针对实际工况下可能出现的路边沿种类，将采集的路边沿分为以下几种：真实可见的路边沿，路边沿旁存在障碍物，非真实可见的路边沿；(1-3)图像数据标注的类别主要分为以下几种：背景，可行驶区域，路边沿，非可行驶区域，障碍物；其中，对于非真实可见的路边沿利用人工识别标注出虚拟的路边沿位置；(1-4)采用标注工具对采集到的图像数据进行标注，标注方式包括但不限于像素级标注，网格标注。3.根据权利要求1所述的基于深度学习的路边沿检测方法，其特征在于，在步骤(2)中，构建的适用于路边沿检测的多任务卷积神经网络及相应的损失函数步骤如下：(2-1)构建路边沿特征提取网络，用于将输入的图像信息进行特征提取与特征编码，得到多尺度的，可用于路边沿检测、道路消失点检测与道路区域检测的共享特征层；(2-2)构建道路消失点检测网络，对步骤(2-1)中得到的共享特征层进一步卷积，由其输出层可得到道路的消失点位置信息；(2-3)构建道路边沿检测网络，首先将步骤(2-1)中得到的共享特征层与步骤(2-2)中得到的检测道路消失点的输出层相连得到道路边沿检测网络的输入层；对此输入层进行上采样，通过最终的输出层可得到路边沿信息；(2-4)构建道路区域检测网络，首先对步骤(2-3)中得到的输出层进行下采样并将此结果与步骤(2-1)中得到的共享特征层相连得到道路区域检测网络的输入层，对此输入层进行上采样，通过最终的输出层可得到道路区域信息；(2-5)构建适用于类别不平衡的目标检测损失函数，用于计算道路消失点的检测损失，并能抑制样本中消失点与背景的比例的不平衡所造成的影响；(2-6)构建交叉熵损失函数，用于计算道路边沿检测网络输出的路边沿位置信息与真实位置信息的损失；(2-7)构建交叉熵损失函数，用于计算道路区域检测网络输出的道路区域与真...

【专利技术属性】
技术研发人员：陈广，卢凡，陈凯，杨谦益，瞿三清，葛艺忻，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31