一种车道线动态检测和车道分界线的拟合方法技术

本发明专利技术公开一种车道线动态检测和车道分界线的拟合方法，该方法从道路航拍视频的图像帧中进行车道线检测，对车道线进行标记，并拟合出车道线的三次抛物线方程。该方法包含提取航拍道路视频帧，训练生成对抗网络，车道线检测和车道线方程拟合三个部分。首先提取图像帧中并手动对车道线用特殊色进行标记；接着训练基于条件对抗的深度网络，并检测测试集中的车道线；最后提取车道线上特殊色像素点坐标并用最小二乘法拟合，获得车道线的三次抛物线方程。将此方法应用于航拍道路视频中的车道线检测和拟合，验证本发明专利技术的检测性能，结果显示本发明专利技术的方法对不同位置的车道线均获得较高的准确率，得到了较好的检测效果。

A method of lane line dynamic detection and lane boundary fitting

【技术实现步骤摘要】
一种车道线动态检测和车道分界线的拟合方法
本专利技术涉及一种道路交通标志检测领域，尤其是涉及一种基于条件对抗深度网络的车道线动态检测方法和面向抛物线的车道线建模方法。
技术介绍
目前多数车道线检测大多是采用基于激光雷达的检测算法和基于计算机视觉的图像检测算法两种。基于激光雷达的检测算法对激光雷达的设备以及对车道线的粉刷材料质量要求高。而基于计算机视觉的车道线检测方法前一种方法相比具有成本低廉而且不受道路的粉刷质量的影响的优点，因此具有更强的实用价值。前人的车道线检测算法大多基于传统的计算机视觉的方法，基本思路是在已有车道线的情况下，采用传统的卷积滤波的方法获取边缘图像，然后采用样条拟合和曲线匹配的方法来检测车道线。这类方法存在一些问题，比如实际应用时需要大量手动调参，鲁棒性较差等。近年来，深度学习领域在各领域得到了广泛的应用并实现了很好的效果，而基于生成对抗网络的无监督的图像生成技术也发展快速，利用图像生成方法生成增强后的感知图像为车道线的检测提供了新的思路。
技术实现思路
专利技术目的：本专利技术目的在于针对现有技术的不足，提供一种基于条件对抗深度网络的车道线动态检测方法和面向抛物线的车道线曲线建模方法，检测视频图像帧中的车道线并采用抛物线对车道线进行拟合，得到车道线的曲线方程，适用于对视频的图像帧中，车道线的检测和车道线曲线拟合。技术方案：本专利技术所述车道线动态检测和车道分界线的拟合方法，包括如下步骤：S1、提取道路航拍录像的视频帧，选取部分原始视频帧，并在原始视频帧上采用区别色彩人工描绘车道线后与原始视频帧共同作为生成对抗网络的训练集；S2、基于步骤S1中得到的图像集训练生成对抗网络的图对图翻译模型，获得模型的最优实验参数及生成器和判别器的训练参数；S3、将未标记车道线的视频帧作为测试集，用步骤S2中训练得到的图对图翻译模型检测测试集，输出车道线的检测结果；S4、根据像素点的颜色识别S3得到的不同车道线上点的坐标，采用最小二乘法拟合车道线曲线得到车道线的三次抛物线方程。本专利技术进一步优选地技术方案为，步骤S1的训练集的提取步骤为：S11、提取道路航拍录像的视频帧，选取部分视频帧作为训练集的输入图像；S12、人工描绘车道线，选取区别于视频中所含其他特殊颜色为车道颜色，作为基于条件对抗网络的图像转换算法得到具有车道线的输出图像。作为优选地，步骤S2具体包括如下步骤：S21、设置学习率以及损失函数权重；S22、学习输入图像，更新判别器，判别器可以对生成的图像和原始的未标记车道线的图像分类，该判别器被训练成尽可能地检测发生器的“假”，首先从样本集中随机采样，然后用样本所含信息更新判别器的参数；S23、学习输入图像，更新生成器G，生成模型采用生成对抗网络，学习从随机噪声向量z到输出图像y的映射，G：z→y，随机噪声相当于低维的数据，经过生成器G的映射变为一张生成的图像；相反，条件生成对抗网络学习从观察图像x和随机噪声矢量z到y，G：{x，z}→y的映射；训练生成器G以产生不能通过对侧训练的判别器D与“真实”图像区分的输出，首先从样本集中随机采样，然后用样本所含信息更新生成器参数，生成输出图像，即标记车道线的图像；S24、梯度下降1次更新判别器中参数，继续生成输出图像；S25、梯度下降1次更新生成器中参数，继续对生成的图像和真实的图像分类；S26、重复步骤S23、S24，直到基于条件对抗的深度网络收敛，此时判别器的输出接近1/2，判别网络无法分辨生成的图像和原始的未标记车道线的图像；S27、用训练完的基于条件对抗的深度网络实现测试集图像的车道线检测，生成输出图像。优选地，生成网络采用条件生成对抗网络作为训练框架，U-Net作为生成器的网络结构，加入L1损失参数，网络输入包含观察图像x和随机噪声z；条件生成对抗网络的目标函数表示为：LcGAN(G，D)＝Ex，y[logD(x，y)]+Ex，z[log(1-D(x，G(x，z))]；其中G的目标是最小化目标函数，D的目标是最大化目标函数；目标函数为min-max博弈，优化后的公式为：L1重建损失函数的公式如下；LL1(G)＝Ex，y，z[||y-G(x，z)||1]；最终生成网络的目标函数为：优选地，生成对抗网络训练框架中的生成器网络和判别器网络的网络基本单元是卷积神经网络卷积单元；其中生成器中间层基本单元采用卷积-批正则化-线性整流函数结构，瓶颈层采用U-Net架构，即通过在编码层与解码层间添加短路连接，将编码层的特征层直接传递到对应尺度的解码层；判别器中间层的基本单元采用卷积-批正则化-线性整流函数结构。优选地，判别器网络采用利用马尔科夫性的判别器，判别器的输出为K×L的概率网络，表示图像局部像素为真实样本分布的概率，K、L表示将图像划分成K×L个分块，马尔科夫判别器将图像看作一个马尔科夫随机场，像素之间相互独立，每个分块是一个纹理或者风格的集合，马尔科夫损失可以看作是分块的纹理或者是风格损失，公式如下：其中N是一个批次的样本数，K、L为判别器的网络输出高度和宽度，i、k、l表示第i样本的k行l列的判别器输出值，范围在[0,1]。优选地，每次迭代在D下降一个梯度然后G下降下一个梯度间交替。优选地，基于条件对抗的深度网络的训练过程中算法优化器采用Adam优化器。优选地，步骤S3具体包括如下步骤：S31、识别图片里全部人工描绘车道线所采用的区别色彩，并记录其在图片中的位置，即像素点的坐标，对于距离很小的两点，合并两点取坐标均值作为合并后点的坐标；S32、设定一个阈值，根据点之间横向距离与阈值的大小比较判断哪个点属于哪条车道线，提取出每条车道线所含点的坐标；S33、对每条车道线上的点采用最小二乘法拟合，得到各车道线的抛物线方程。有益效果：本专利技术提出了一种基于条件对抗深度网络的车道线动态检测方法和面向抛物线的车道线曲线建模方法，该方法从道路航拍视频的图像帧中进行车道线检测，对车道线进行标记，并拟合出车道线的三次抛物线方程。该方法包含提取航拍道路视频帧，训练生成对抗网络，车道线检测和车道线方程拟合三个部分。首先提取图像帧中并手动对车道线用特殊色进行标记；接着训练基于条件对抗的深度网络，并检测测试集中的车道线；最后提取车道线上特殊色像素点坐标并用最小二乘法拟合，获得车道线的三次抛物线方程。将此方法应用于航拍道路视频中的车道线检测和拟合，验证本专利技术的检测性能。本专利技术的方法对不同位置的车道线均获得较高的准确率，得到了较好的检测效果。附图说明图1为本专利技术的车道线动态检测和车道分界线的拟合流程图；图2为本专利技术中步骤S2的网络训练算法流程图；图3为实施例中检测实验时视频帧中航拍道路图；图4为基于条件对抗的深度网络算法对图3道路航拍图像的检测结果图；图5为图3中各车道线拟合的曲本文档来自技高网...

【技术保护点】
1.一种车道线动态检测和车道分界线的拟合方法，其特征在于包括如下步骤：/nS1、提取道路航拍录像的视频帧，选取部分原始视频帧，并在原始视频帧上采用区别色彩人工描绘车道线后与原始视频帧共同作为生成对抗网络的训练集；/nS2、基于步骤S1中得到的图像集训练生成对抗网络的图对图翻译模型，获得模型的最优实验参数及生成器和判别器的训练参数；/nS3、将未标记车道线的视频帧作为测试集，用步骤S2中训练得到的图对图翻译模型检测测试集，输出车道线的检测结果；/nS4、根据像素点的颜色识别S3得到的不同车道线上点的坐标，采用最小二乘法拟合车道线曲线得到车道线的三次抛物线方程。/n

【技术特征摘要】
1.一种车道线动态检测和车道分界线的拟合方法，其特征在于包括如下步骤：
S1、提取道路航拍录像的视频帧，选取部分原始视频帧，并在原始视频帧上采用区别色彩人工描绘车道线后与原始视频帧共同作为生成对抗网络的训练集；
S2、基于步骤S1中得到的图像集训练生成对抗网络的图对图翻译模型，获得模型的最优实验参数及生成器和判别器的训练参数；
S3、将未标记车道线的视频帧作为测试集，用步骤S2中训练得到的图对图翻译模型检测测试集，输出车道线的检测结果；
S4、根据像素点的颜色识别S3得到的不同车道线上点的坐标，采用最小二乘法拟合车道线曲线得到车道线的三次抛物线方程。


2.根据权利要求1所述的所述车道线动态检测和车道分界线的拟合方法，其特征在于，步骤S1的训练集的提取步骤为：
S11、提取道路航拍录像的视频帧，选取部分视频帧作为训练集的输入图像；
S12、人工描绘车道线，选取区别于视频中所含其他特殊颜色为车道颜色，作为基于条件对抗网络的图像转换算法得到具有车道线的输出图像。


3.根据权利要求1所述的所述车道线动态检测和车道分界线的拟合方法，其特征在于，步骤S2具体包括如下步骤：
S21、设置学习率以及损失函数权重；
S22、学习输入图像，更新判别器，判别器可以对生成的图像和原始的未标记车道线的图像分类，该判别器被训练成尽可能地检测发生器的“假”，首先从样本集中随机采样，然后用样本所含信息更新判别器的参数；
S23、学习输入图像，更新生成器G，生成模型采用生成对抗网络，学习从随机噪声向量z到输出图像y的映射，G：z→y，随机噪声相当于低维的数据，经过生成器G的映射变为一张生成的图像；相反，条件生成对抗网络学习从观察图像x和随机噪声矢量z到y，G：{x，z}→y的映射；训练生成器G以产生不能通过对侧训练的判别器D与“真实”图像区分的输出，首先从样本集中随机采样，然后用样本所含信息更新生成器参数，生成输出图像，即标记车道线的图像；
S24、梯度下降1次更新判别器中参数，继续生成输出图像；
S25、梯度下降1次更新生成器中参数，继续对生成的图像和真实的图像分类；
S26、重复步骤S23、S24，直到基于条件对抗的深度网络收敛，此时判别器的输出接近1/2，判别网络无法分辨生成的图像和原始的未标记车道线的图像；
S27、用训练完的基于条件对抗的深度网络实现测试集图像的车道线检测，生成输出图像。


4.根据权利要求3所述的所述车道线动态检测和车道分界线的拟合方法，其特征在于，生成网络采用条件生成对抗网络作为训练框架，U-Net作为生成器的网络...

【专利技术属性】
技术研发人员：李志斌，
申请(专利权)人：南京东控智能交通研究院有限公司，
类型：发明
国别省市：江苏;32