一种基于实例分割和自适应变换算法的多车道线检测方法技术

本发明专利技术公开了一种基于实例分割和自适应变换算法的多车道线检测方法，包括步骤1、选取Culane车道线数据集，作为实例分割网络训练的训练数据集及验证数据集。步骤2、设计分支的多任务实例分割模型，用于车道线的实例分割；步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像；步骤4、在鸟瞰图视图上对车道线像素点进行拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。本发明专利技术将车道线检测问题转化为车道线实例分割问题，设计的分支多任务网络，既有参数少、提取特征能力强、收敛速度快的优势；出的自适应透视变换模型，可以在摄像机运动下通过运动信息将相机图像精确地转换为鸟瞰图图像。

【技术实现步骤摘要】
一种基于实例分割和自适应变换算法的多车道线检测方法
本专利技术属于智能汽车感知领域，具体地指一种基于实例分割和自适应变换算法的多车道线检测检测方法。
技术介绍
智能车是一个包括感知、决策及控制的复杂系统，环境感知是路径规划和决策控制的重要前提，基于摄像头的车道线检测是环境感知的关键内容之一，对于车道偏离预警、车道保持等ADAS系统开发以及自主驾驶的路径规划具有重要影响。传统的车道线检测大体包括两大类，基于车道特征的检测算法，一般利用车道线的颜色、纹理、几何特征，而后区分车道线与其他区域；基于车道模型检测算法，通常对车道线建立先验模型，而后区分车道线与其他区域。基于深度学习的车道线检测算法则通过神经网络学习对象特征，对车道线的特征有着更加抽象、全面的描述。常采用精确定位的分割算法提取车道线的像素点，并对像素点进行拟合处理。
技术实现思路
本专利技术的目的是解决传统车道线检测算法由于道路场景变化导致鲁棒性差，且大多数算法仅限于检测预定义、固定数量的车道线或仅可检测当前车道的左右车道线等问题。提供了一种基于实例分割和自适应变换算法的多车道线检测方法，通过设计的多任务网络对车道线实例分割，对分割结果进行自适用透视变换，使用最小二乘法二阶多项式对车道线像素点拟合，精确实现各类复杂交通场景下的多车道实时检测。为达到以上目的，本专利技术采用的技术方案是：基于实例分割和自适应变换算法得多车道线检测方法，该方法包括以下步骤：步骤1、选取Culane车道线数据集，作为实例分割网络训练的训练数据集及验证数据集。步骤2、设计分支的多任务网络，用于车道线的实例分割。步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像。步骤4、在鸟瞰图视图上对车道线像素点进行最小二乘法二阶多项式拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。本专利技术与现有技术相比，具有如下优点的有益效果：1.本专利技术提出的基于实例分割和自适应变换算法的多车道线检测方法，可以直接集成到ROS(RobotOperatingSystems)平台，直接对采集的数据实时检测。2.本专利技术将车道线检测问题转化为车道线实例分割问题，设计的分支多任务网络，既有参数少、提取特征能力强、收敛速度快的优势。3.传统的透视变换模型的变换矩阵是固定的，只适合应用在平滑道路上。当在车辆行驶产生运动颠簸时，摄像头俯仰角会产生显著变化，导致图像会运动扭曲，直接影响鸟瞰图的生成。本专利技术提出的自适应透视变换模型，可以在摄像机运动下通过运动信息将相机图像精确地转换为鸟瞰图图像。附图说明图1是车道线实例分割网络的编码-解码结构图；图2是世界坐标系、摄像头坐标系与图像像素坐标系间的关系图；图3是自适应透视变换模型的侧视图结构；图4是自适应透视变换模型的俯视图结构；图5是基于实例分割和自适应变换算法的多车道线检测方法的流程图；具体实施方式下面结合附图对本专利技术作进一步说明。本专利技术提出的一种基于实例分割和自适应变换算法的多车道线检测方法，在应用过程中，通过设计的分支的多任务网络对Culane训练数据集训练，并采用训练好的车道线实例分割模型实现不同车道线像素点检测，通过自适用透视变换模型获得鸟瞰视图的像素点集合，并采用最小二乘法二阶多项式对像素点拟合，实现多车道线的检测。如图5所示，本专利技术包括如下步骤：步骤1，选取车道线训练数据集及验证数据集本专利技术使用Culane车道线检测数据集，采集的车道线场景有9种：正常、拥挤、夜间、无车道线、阴影遮挡、箭头影响、强光照、弯曲车道线、十字路口。共有88880张图片作为训练集，9675张图片作为验证集。对于车辆或其他阴影遮挡车道线的情况，该数据集能够根据其他信息贯穿障碍物进行标注，保证了最终的训练结果对车辆遮挡或看不见车道线有更好的鲁棒性。在输入实例分割模型之前，将图像尺寸裁剪为512*256。步骤2.搭建分支的多任务实例分割模型，用于车道线实例分割实例分割模型由两部分组成，为提高计算速度以及车道线分割准确率，两部分共享前四段编码过程。图1是实例分割模型的深度学习网络的编码-解码结构，具体的模型设计如下：编码网络模型采用VGG16网络结构前四层的卷积层和池化层，输出特征层大小为32*16，维度为512。解码第一部分与第二部分前四层是2x上采样，特征层维度不断下降，因为在编码过程中的语义特征信息较少，车道线位置准确，而解码过程中的语义特征信息比较丰富，车道线位置信息比较粗略，所以在解码时融合其对应编码的信息，最终解码第一部分输出维度为2，确定像素点属于车道线像素点或背景像素点，解码第二部分输出维度为64，确定每个像素点对应的向量值。第一部分实现车道语义分割以得到车道线的二值图，表示哪些像素点属于车道线，哪些不属于车道线并将这些像素点连接在一起，因此即使车道线被车辆、阴影遮挡或是虚线，都可以准确地预测到车道线的位置。本专利技术采用标准的交叉熵损失函数进行训练。由于车道线像素点与背景像素点极度不均衡，对车道像素点与背景像素点分别设置权重β，公式如下：其中，n为车道像素点或背景像素点的个数；m为总的像素点个数。第二部分实现车道线id分配以确定哪些像素点属于同一条车道线。首先编码器输出每一个像素点对应的向量值，因为同一车道线的像素点的向量距离接近，不同车道线像素点的向量距离较大，根据此特点对像素进行聚类确定哪些像素点属于同一条车道线。损失函数L由L1和L2两部分组成，其中L1的目的是根据嵌入的像素点向量值将属于同一条车道线的像素点往中心点聚类，L2的目的是根据嵌入的像素点向量值将不属于一条车道线的像素点尽量远离，聚类损失函数：其中，N为车道线的数量；Nc为每条车道线像素点数量；μi和μj为不同车道线每个像素点嵌入的向量值；μ为每条车道线所有像素点嵌入的均值向量值。其次，进行推理：采取DBSCAN聚类算法对每个像素点进行聚类，本专利技术以簇中心为圆心，半径大小取0.28，域内最少点的数量取180进行聚类，直到将所有的车道线像素分配给对应的车道。所述DBSCAN聚类算法设计如下：步骤1，将车道线像素点集合表示如下：D＝{d1,d2,…,dn}其中di＝{1,2,…,n}为每个车道线像素点；步骤2，设置DBSCAN聚类算法的参数，针对输入图像尺寸为640*480，根据经验值，选取给定点在领域内成为核心对象的最小领域点数为180、领域半径为0.28，检测车道线像素点尚未检查过的对象p(即p未归为某个簇或噪声)，则检查其领域，若包含的车道线像素点数大于180，建立车道线像素点新簇C，将其中所有车道线像素点的点加入候选集N；步骤3，对候选集N中所有尚未被处理的对象q，检查其邻域，若至少包含180车道线像素点，则将这些车道线像素点加入N；如果q未归入任何一个簇，则将q加入C；步骤4，重复步骤3的步骤，继续检查候选集N本文档来自技高网...

【技术保护点】
1.一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，包括如下步骤：/n步骤1、设计实例分割网络的训练数据集及验证数据集；/n步骤2、设计分支的多任务实例分割模型，用于车道线的实例分割；/n步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像；/n步骤4、在鸟瞰图视图上对车道线像素点进行拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。/n

【技术特征摘要】
1.一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，包括如下步骤：
步骤1、设计实例分割网络的训练数据集及验证数据集；
步骤2、设计分支的多任务实例分割模型，用于车道线的实例分割；
步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像；
步骤4、在鸟瞰图视图上对车道线像素点进行拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。


2.根据权利要求1所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述步骤1的具体实现：使用Culane车道线检测数据集，采集的车道线场景包括正常、拥挤、夜间、无车道线、阴影遮挡、箭头影响、强光照、弯曲车道线、十字路口；利用88880张图片作为训练集，9675张图片作为验证集；对于车辆或其他阴影遮挡车道线的情况，该数据集能够根据其他信息贯穿障碍物进行标注。


3.根据权利要求2所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，将所述数据集内的图片尺寸设置为512*256。


4.根据权利要求1所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述步骤2中的多任务实例分割模型包含两部分：第一部分实现车道语义分割以得到车道线的二值图，表示哪些像素点属于车道线，哪些不属于车道线并将这些像素点连接在一起；第二部分实现车道线id分配以确定哪些像素点属于同一条车道线；实例分割模型采用深度学习网络的编码-解码结构。具体的模型设计如下：编码网络模型采用VGG16网络结构前四层的卷积层和池化层，输出特征层大小为32*16，维度为512；解码第一部分与第二部分前四层是2x上采样，特征层维度不断下降，在解码时融合其对应编码的信息，最终解码第一部分输出维度为2，确定像素点属于车道线像素点或背景像素点，解码第二部分输出维度为64，确定每个像素点对应的向量值。


5.根据权利要求4所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，针对第一部分，采用标准的交叉熵损失函数进行训练，针对车道线像素点与背景像素点极度不均衡，对车道像素点与背景像素点分别设置权重β，公式如下：



其中，n为车道像素点或背景像素点的个数；m为总的像素点个数。


6.根据权利要求4所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述实例分割模型的第二部分实现的具体方法为：
首先，编码器输出每一个像素点对应的向量值，针对同一车道线的像素点的向量距离接近、不同车道线像素点的向量距离较大，对像素进行聚类确定哪些像素点属于同一条车道线；损失函数L由L1和L2两部分组成，其中L1用于根据嵌入的像素点向量值将属于同一条车道线的像素点往中心点聚类，L2用于根据嵌入的像素点向量值将不属于一条车道线的像素点尽量远离，聚类损失函数设计如下：



其中，N为车道线的数量；Nc为每条车道线像素点数量；μi和μj为不同车道线每...

【专利技术属性】
技术研发人员：蔡英凤，张田田，王海，李祎承，孙晓强，陈龙，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32