本发明专利技术提供了一种基于深度神经网络的车道线检测方法及系统，所述方法通过编码网络模块对连续图像进行特征提取得到包含车道线语义特征的特征图序列，然后将特征图序列输入到对应的循环卷积网络模块中，通过循环卷积网络模块对特征图序列进行多层循环卷积和时序特征融合，输出特征融合后的语义特征图，最后通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。本发明专利技术充分地考虑了驾驶场景的连续性，即时间序列上的关联，可以学习到时间先验的关联信息，从而提高网络的稳定性和预测的准确性，还可以将连续图像中前级图像的特征信息用于后级图像，可以减少网络模型的参数和计算复杂度，节约计算资源。节约计算资源。节约计算资源。
【技术实现步骤摘要】
基于深度神经网络的道路车道线检测方法及系统
[0001]本专利技术涉及自动驾驶辅助中的车道线检测
，尤其涉及一种基于深度神经网络的道路车道线检测方法及系统。
技术介绍
[0002]当今社会汽车工业技术与经济水平的飞速发展，使得全世界机动车辆的保有量迅速攀升。汽车的广泛普及给人们的生活带来便利的同时也给人们的生命安全造成了很多问题，如交通拥堵、交通事故、环境污染等。随着车辆交通事故的增多，道路行车安全变得越加重要，汽车的自动驾驶和高级辅助驾驶功能受到了越来越多的关注和研究。在自动驾驶和高级驾驶辅助系统中，基于视觉的车道线检测是自动驾驶和高级驾驶辅助系统中的车道偏移报警系统(LDW)和车道保持系统(LKA)的核心，其主要功能为：可以安全引导自动驾驶车辆行驶到规定的主车道内的正确位置，保障驾驶车辆安全规范行驶。
[0003]现有的车道线检测方法主要分为传统图像处理方法和基于深度学习的方法：
[0004](1)基于图像处理的传统方法：早期的车道线检测算法采用经典方法，通过图像预处理、特征提取来提取车道标识。这些特征主要是颜色特征和纹理特征。这些特征通过霍夫变换或卡尔曼滤波器等算法结合，在识别出车道线后采用后处理拟合的方式形成最终的车道线。这些传统的方法具有计算成本低的优点，但它们只能在有限的场景中进行，并且对光照条件、行驶车辆遮挡、道路的磨损状态等非常敏感。因此，当车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时，车道线检测基本上很难通过人工提取特征进行检测，在这些复杂的道路场景情况下，基于图像处理的传统方法很难胜任自动驾驶的车道线检测任务。
[0005](2)基于深度学习的检测方法：随着深度学习的发展，深度学习在图像分类、目标检测和语义分割等计算机视觉任务中表现出了优异的性能，基于神经网络的深度学习方法已成功应用于车道线检测任务中。大多数基于深度学习方法使用卷积神经网络(CNN)提取特征，其主流的方法是基于语义分割，将车道线检测视为一种语义分割任务，其中每个像素被预测为一个类别标签，以表明该像素是否属于图像中的车道标识。这些方法证明了利用CNN可以提取出车道的高级语义特征，可以在一些复杂的道路情况下有效地分割和检测到车道线。通过卷积神经网络等深度学习中的语义分割方法可以扩大感受野，提高对图像中上下文的关联特征信息的提取，这样对于车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时也可以检测出车道线。对于车道线检测方法实际应用来说，算法模型偏向于可在对计算资源有限的嵌入式等设备上运行，且保证模型在速度与精度上更好的平衡。检测方法需要减少网络模型的参数和计算复杂度，以便可以大规模部署到自动驾驶车辆上高效实时运行。而且，由于现有的方法并没有考虑到驾驶道路场景的连续性，即在时间上连续的图像帧具有相关联的先验特性。然而现有的深度学习方法没有考虑到这种时间的先验信息。
[0006]针对上述情况。需要一种考虑到驾驶道路场景在时间上连续的图像帧具有相关联
的先验特性的车道线检测方法。
技术实现思路
[0007]本专利技术提供了一种基于深度神经网络的道路车道线检测方法及系统，用以解决车道线检测方法需要减少网络模型的参数和计算复杂度，且考虑驾驶道路场景在时间上连续的图像帧具有相关联的先验特性的技术问题。
[0008]为解决上述技术问题，第一方面，本专利技术提出了一种基于深度神经网络的道路车道线检测方法，包括以下步骤：
[0009]获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；
[0010]将所述连续图像序列输入至预先训练好的深度神经网络模型；所述深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；
[0011]通过所述编码网络模块对所述连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；
[0012]所述循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；
[0013]通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。
[0014]进一步地，所述编码网络模块包括多个卷积层，所述卷积层为VGG11网络去掉全连接层后的卷积层，每个卷积层后均包括有一个非线性激活层。
[0015]进一步地，所述编码网络模块包括至少八个卷积层，以及连接于卷积层之间的若干个最大池化层；除最后一个最大池化层外，每经过一个最大池化层，卷积层的卷积核的数量翻倍；以及，每个最大池化层连接于每一个或者两个相连的卷积层之后。
[0016]进一步地，所述循环卷积网络模块包括多层循环卷积网络和全局特征融合单元；
[0017]将所述连续图像序列中的图像帧按组并行输入所述循环卷积网络模块，每组连续图像序列中的每张图像均对应输入一层循环卷积网络，每层所述循环卷积网络均包括若干个相连的用于提取连续图像序列的图像特征的时序特征融合单元，每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元的输出，逐个融合直至最后一层的最后一个时序特征融合单元，输出融合特征作为提取到的连续图像特征；
[0018]将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，输出特征融合后的语义特征图。
[0019]进一步地，所述每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元的输出，逐个融合的步骤包括：
[0020]同一层中前一个时序特征融合单元的输出特征图通过一个卷积操作后输出；前一层中对应时序特征融合单元的输出特征图通过另外一个卷积操作后输出；两个特征图的输出进行加法融合，将融合后的特征进行一个融合卷积操作后作为该时序特征融合单元输出的融合特征。
[0021]进一步地，所述解码网络模块包括多个卷积层、至少两个上采样模块和softmax模块；所述通过解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图，包括：
[0022]将所述语义特征图输入卷积层，输出的特征图进行上采样，上采样输出的特征图
再进行一次或多次卷积以及上采样交替操作；将上采样后的语义特征图通过softmax模块进行softmax操作，输出每个车道线的概率图，通过每个车道线的概率图获取车道线的具体位置。
[0023]进一步地，将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，包括：
[0024]对连续图像序列的每帧图像的关联特征进行各个通道相加，输出单通道特征，将单通道特征图进行空间Softmax操作获取出每个像素特征的权重，对于当前待检测图像的特征进行1x1的卷积操作，卷积输出的特征图乘以权重1.0，将特征图和像素权重矩阵进行逐像素的乘法融合，使融合后的特征图的大小与原来的特征图的大小保持一致。
[0025]第二方面，本专利技术还提供一种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度神经网络的道路车道线检测方法，其特征在于，包括以下步骤：获取待识别图像及其前后的N张的连续图像，依时序构成一组连续图像序列；将所述连续图像序列输入至预先训练好的深度神经网络模型；所述深度神经网络模型包括编码网络模块、探索学习时间先验信息的循环卷积网络模块和解码网络模块；通过所述编码网络模块对所述连续图像序列中的每一张图像依次进行特征提取，得到包含车道线语义特征的特征图序列；所述循环卷积网络模块接收来自编码网络模块的特征图序列的循环输入，经过多层循环卷积和时序特征融合，输出特征融合后的语义特征图；通过所述解码网络模块对所述语义特征图进行解码，输出车道线位置的预测图。2.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括多个卷积层，所述卷积层为VGG11网络去掉全连接层后的卷积层，每个卷积层后均包括有一个非线性激活层。3.根据权利要求2所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述编码网络模块包括至少八个卷积层，以及连接于卷积层之间的若干个最大池化层；除最后一个最大池化层外，每经过一个最大池化层，卷积层的卷积核的数量翻倍；以及，每个最大池化层连接于每一个或者两个相连的卷积层之后。4.根据权利要求1所述的基于深度神经网络的道路车道线检测方法，其特征在于，所述循环卷积网络模块包括多层循环卷积网络和全局特征融合单元；将所述连续图像序列中的图像帧按组并行输入所述循环卷积网络模块，每组连续图像序列中的每张图像均对应输入一层循环卷积网络，每层所述循环卷积网络均包括若干个相连的用于提取连续图像序列的图像特征的时序特征融合单元，每个时序特征融合单元接收来自同一层中前一个时序特征融合单元的输出和前一层中对应时序特征融合单元与前前层的加法融合特征的输出，逐个融合直至最后一层的最后一个时序特征融合单元，输出融合特征作为提取到的连续图像特征；将提取到的连续图像特征与当前待识别图像特征输入所述全局特征融合单元进行全局特征融合，输出特征融合后的语义特征图。5.根据权利要求4所述的基于深...
【专利技术属性】
技术研发人员：肖德贵，卓林，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。