基于深度学习多任务网络的交通车道线检测方法及装置制造方法及图纸

本发明专利技术公开一种基于深度学习多任务网络的交通场景车道线检测方法及装置，该方法相对于传统的基于直线检测的车道线检测算法，引入了深度学习多任务卷积神经网络(CNN)，提取车道线特征信息，充分利用图像各层细节信息，首先对图像进行亮度和边缘信息收集和评估，根据评估结果调整裁剪尺寸，把图像分成若干个像块，然后进行图像归一化，送入深度学习网络，输出车道线图像种类和坐标，再利用空域图像相关性，进行车道线拟合，从而最终实现不同场景和亮度下准确、快速识别车道线信息的功能。本发明专利技术适用于智能交通领域卡口相机和电子警察应用，在保证图像分析实时性的前提下，充分利用深度学习网络，有效提升了车道线检测功能的适应性和准确率。

【技术实现步骤摘要】
基于深度学习多任务网络的交通车道线检测方法及装置
本专利技术属于智能视频监控领域，具体涉及一种基于深度学习多任务网络的交通场景车道线检测方法及装置。
技术介绍
目前行业中对于车道线识别的主要方法为霍夫直线检测方法，上述方法首先需要将彩色图像转为灰度图像，丢失了图像中的颜色信息，再进行二值化处理，过程中不可避免地损失掉大量边缘细节，从而进一步降低了检测的准确率，同时，对于不同场景图像的适应性有明显缺陷，如雨后地面反光、夜间亮度较低、阴影覆盖和车辆遮挡等场景均不能较好的识别车道线。
技术实现思路
本专利技术的目的是提供一种基于深度学习多任务网络的交通车道线检测方法及装置，基于多任务深度学习网络训练，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的适应性，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于深度学习多任务网络的交通车道线检测方法，包括：S1、亮度与边缘信息收集：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；S2、图像自适应裁剪：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；S3、图像归一化：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习；S4、深度学习：向复合卷积神经网络输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；S5、类别分析和坐标复原：根据深度学习的网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；S6、车道线拟合：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。进一步的，步骤S1的具体方法包括：S11、基于实际场景图像中像素的空间相关性，将图像进行采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为W*H，则采样后得到的尺寸为(W/3)*(H/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：S12、对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度：进一步的，步骤S2的具体方法包括：求取分割图像尺寸S时，采用分段函数：这里，Smin＝112，Smax＝224，裁剪的像块长宽均为S。进一步的，步骤S4所述的深度学习网络，基于resnet和DARKnet网络演变而来，在每两个卷积和一个池化层的CRP层后加入残差传递，并且参考MTCNN架构，加入多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数。进一步的，步骤S6的具体方法为：得到每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别。本专利技术的另一方面，还提供了一种基于深度学习多任务网络的交通车道线检测装置，包括：亮度与边缘信息收集模块：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；图像自适应裁剪模块：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；像图像归一化模块：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习模型；复合卷积神经网络模块：输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；类别分析和坐标复原模块：根据深度学习网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；车道线拟合模块：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。进一步的，所述亮度与边缘信息收集模块包括：平均亮度值单元：基于实际场景图像中像素的空间相关性，将图像进行采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为W*H，则采样后得到的尺寸为(W/3)*(H/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：平均边缘信息强度单元：对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度：进一步的，所述图像自适应裁剪模块包括分段函数单元，求取分割图像尺寸S时，采用分段函数：这里，Smin＝112，3max＝224，裁剪的像块长宽均为S。进一步的，所述复合卷积神经网络模块包括深度学习网络单元：基于resnet和DARKnet网络演变而来，在每两个卷积和一个池化层的CRP层后加入残差传递，并且参考MTCNN架构，加入多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数。进一步的，所述车道线拟合模块包括聚类拟合单元：得到每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别。与现有技术相比，本专利技术具有如下的有益效果：本专利技术基于多任务深度学习网络训练，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的适应性，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点；相较于传统车道线检测方法，无论在适应性和正确率上都有明显提升。附图说明图1是本专利技术实施例的深度学习网络中的通用结构CRP层结构示意图；图2是本专利技术实施例的训练网络结构示意图；图3书本专利技术实施例的整体结构示意图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。本专利技术的基于深度学习多任务网络的交通场景车道线检测新方法，实现方式为：在提取亮度和边缘信息时，基于实际场景图像中像素的空间相关性，先将图像进行下采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为W*H，则采样后得到的尺寸为(W/3)*(H/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：再对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，增强了临近像素的相关性,主要分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度图像亮度和边缘信息的相关性系数R＝Bavg/Lavg。根据实验数据得到，交通场景的亮度边缘相关性系数在0.75至3之间，低于0.75，表示图像噪声过多或细节丰富，高于3则表示图像场景较为单一。噪声和细节越丰富的场景，识别难度越大，需要分割送入深度学习模型的像块尺寸就越小，求取分割图像尺寸S时，采用分段函数：这里，Smin＝112，Smax＝224，裁剪的像块长宽均本文档来自技高网...

【技术保护点】
1.一种基于深度学习多任务网络的交通车道线检测方法，其特征在于，包括：S1、亮度与边缘信息收集：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；S2、图像自适应裁剪：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；S3、图像归一化：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习；S4、深度学习：向复合卷积神经网络输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；S5、类别分析和坐标复原：根据深度学习的网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；S6、车道线拟合：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。

【技术特征摘要】
1.一种基于深度学习多任务网络的交通车道线检测方法，其特征在于，包括：S1、亮度与边缘信息收集：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；S2、图像自适应裁剪：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；S3、图像归一化：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习；S4、深度学习：向复合卷积神经网络输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；S5、类别分析和坐标复原：根据深度学习的网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；S6、车道线拟合：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。2.根据权利要求1所述的方法，其特征在于，步骤S1的具体方法包括：S11、基于实际场景图像中像素的空间相关性，将图像进行采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为W*H，则采样后得到的尺寸为(W/3)*(H/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：S12、对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度：3.根据权利要求1所述的方法，其特征在于，步骤S2的具体方法包括：求取分割图像尺寸S时，采用分段函数：这里，Smin＝112，Smax＝224，裁剪的像块长宽均为S。4.根据权利要求1所述的方法，其特征在于，步骤S4所述的深度学习网络，基于resnet和DARKnet网络演变而来，在每两个卷积和一个池化层的CRP层后加入残差传递，并且参考MTCNN架构，加入多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数。5.根据权利要求1所述的方法，其特征在于，步骤S6的具体方法为：得到每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别。6.一种基于深度学习多任务网络...

【专利技术属性】
技术研发人员：刘琰，高旭麟，薛超，白云飞，
申请(专利权)人：天津天地伟业投资管理有限公司，
类型：发明
国别省市：天津,12