一种基于车道结构先验的车道线检测方法及系统技术方案

本发明专利技术涉及一种基于车道结构先验的车道线检测方法及系统，其方法包括：S1：对前视交通图像进行归一化处理，得到车道线图像；S2：将车道线图像经过编码‑解码网络，得到车道线特征图；根据车道线特征图得到前向车道权值图及其车道线关键点坐标；基于前向车道权值图关键点坐标构建车道线关键点约束损失函数；经透视变换得到俯视车道权值图，并构建平行结构约束损失函数；S3：将关键点坐标与俯视车道权值图连接得到三元图像；S4：将三元图像进行最小二次拟合，并根据预先定义的车道线个数，得到车道线曲线参数。本发明专利技术解决了基于分割方法难以进行结构约束的问题，提升遮挡、强光照场景下车道检测精度，提升车道线推理准确度和车道参数的相关性。

【技术实现步骤摘要】
一种基于车道结构先验的车道线检测方法及系统
本专利技术涉及自动驾驶领域，具体涉及一种基于车道结构先验的车道线检测方法及系统。
技术介绍
车道线作为路面最主要的指示信息之一，它可以有效地引导车辆在约束的道路区域内行驶，可用于汽车定位、车道偏移检测和轨迹规划，因此准确地检测出路面的车道线是实现自动驾驶的基础。在高精地图尚未普及的当下。车道线检测算法大多是基于图像实现的。车道线检测任务面临着诸多困难，如车道线缺损和遮挡，光照变化剧烈，车道线数量不确定，车道线类型多样，车道固有的细小狭长的特性、以及实时算法要求等众多难题。这使得车道线检测任务极富有挑战性。车道作为限制车辆在道路上行驶的重要线索，实现准确、稳定、快速的完成车道线检测对于自动驾驶汽车投入实际使用有非常重大的意义。车道线本身通常在场景中是连续的，而且不同车道线之间，一般存在平行关系。在车载前视摄像头成像过程，平行车道线通常汇聚到同一个消失点。但现有的基于分割的车道线检验方法，由于得到的是像素级的分割结果，从任务描述上就很难进行结构上约束。现有方法由于缺少结构先验知识，难以满足对车道线检测的精度要求。
技术实现思路
为了解决上述技术问题，本专利技术提供一种基于车道结构先验的车道线检测方法及系统。本专利技术技术解决方案为：一种基于车道结构先验的车道线检测方法，包括：步骤S1：根据车载前视摄像头得到的前视交通图像，进行数据归一化处理，得到车道线图像；步骤S2：将所述车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将所述车道线特征图进行上采样，得到与所述车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条所述车道线的逐行关键点坐标；根据所述关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验；步骤S3：将所述关键点坐标与所述俯视车道权值图进行连接，得到三元图像；其中，所述三元图像的每一个像素点包含其位置坐标以及相应的权值；步骤S4：将所述三元图像进行最小二次拟合，并根据预先定义的车道线个数，得到所述车道线曲线参数。本专利技术与现有技术相比，具有以下优点：1、本专利技术公开了一种基于车道结构先验的车道线检测方法，引入基于车道关键点向量损失约束，解决了基于分割方法难以进行结构约束的问题，提升遮挡、强光照场景下车道检测精度。2、本专利技术公开的方法，还引入了基于车道线平行结构的损失约束，提升车道线推理准确度，和车道参数的相关性。附图说明图1为本专利技术实施例中一种基于车道结构先验的车道线检测方法的流程图；图2为本专利技术实施例中一种基于车道结构先验的车道线检测方法中步骤S2：将车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将车道线特征图进行上采样，得到与车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条车道线的逐行关键点坐标；根据关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验的流程图；图3A为本专利技术实施例中车道线标注图像示意图；图3B为本专利技术实施例中为添加关键点约束后得到的车道线关键点图像示意图；图4A为本专利技术实施例中原始前视车道线图像示意图；图4B为本专利技术实施例中经过关键点约束得到连续的车道线图像示意图；图5A为本专利技术实施例中原始前向车道线图像示意图；图5B为本专利技术实施例中车道数据标注示意图；图5C为本专利技术实施例中经透视变换后的平行车道图像示意图；图6为本专利技术实施例中车道线平行结构约束示意图；图7为本专利技术实施例中一种基于车道结构先验的车道线检测系统的结构框图。具体实施方式本专利技术提供了一种基于车道结构先验的车道线检测方法，解决了基于分割方法难以进行结构约束的问题，提升遮挡、强光照场景下车道检测精度，并提升车道线推理准确度，和车道参数的相关性。为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。实施例一如图1所示，本专利技术实施例提供的一种基于车道结构先验的车道线检测方法，包括下述步骤：步骤S1：根据车载前视摄像头得到的前视交通图像，进行数据归一化处理，得到车道线图像；步骤S2：将车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将车道线特征图进行上采样，得到与车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条车道线的逐行关键点坐标；根据关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验；步骤S3：将关键点坐标与俯视车道权值图进行连接，得到三元图像；其中，三元图像的每一个像素点包含其位置坐标以及相应的权值；步骤S4：将三元图像进行最小二次拟合，并根据预先定义的车道线个数，得到车道线曲线参数。在一个实施例中，上述步骤S1：根据车载前视摄像头得到的前视交通图像，进行数据归一化处理，得到车道线图像，具体包括：根据车载前视摄像头得到的前视交通图像，通过对前视交通图像进行求均值和方差的归一化处理，得到车道线图像。实际生活中，车道线大多都是相互平行的。但通过相机成像后，在相机图像平面，车道线之间平行关系不再成立，而是汇集于同一个消失点。因此，需要通过下述步骤，得到鸟瞰视角下呈现相互平行的位置关系的车道线。如图2所示，在一个实施例中，上述步骤S2：将车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将车道线特征图进行上采样，得到与车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条车道线的逐行关键点坐标；根据关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验，具体包括：S21：将车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将车道线特征图经过上采样，得到与车道线图像大小相同的前向车道权值图；将车道线图像经过编码-解码网络中的编码器的多层卷积神经网络的叠加，不断扩大感知域，得到一系列尺寸不断减小的，不同尺度的车道线特征图；在经过编码-解码网络中的解码器，利用转置卷积层逐步将车道线特征图进行上采样，直至得到与输入车道线图像大小相同的前向车道权值图，该前向车道权值图描述了对应位置像素点属于车道线的可能性。同时，通过逐行计算权重的期望值，得到每条车道线的逐行关键点坐标。本专利技术实施例中所用编码-解码网络可根据客观硬件条件选择轻量化网络实现，也可以通过对较深的网络的特征通道层数进行裁剪，实现运行速度的提升。S22：构建车道线关键点约束损失函数如下述公式(1)～(2)，对前向权值图在预设行计本文档来自技高网...

【技术保护点】
1.一种基于车道结构先验的车道线检测方法，其特征在于，包括：/n步骤S1：根据车载前视摄像头得到的前视交通图像，进行数据归一化处理，得到车道线图像；/n步骤S2：将所述车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将所述车道线特征图进行上采样，得到与所述车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条所述车道线的逐行关键点坐标；根据所述关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验；/n步骤S3：将所述关键点坐标与所述俯视车道权值图进行连接，得到三元图像；其中，所述三元图像的每一个像素点包含其位置坐标以及相应的权值；/n步骤S4：将所述三元图像进行最小二次拟合，并根据预先定义的车道线个数，得到所述车道线曲线参数。/n

【技术特征摘要】
1.一种基于车道结构先验的车道线检测方法，其特征在于，包括：
步骤S1：根据车载前视摄像头得到的前视交通图像，进行数据归一化处理，得到车道线图像；
步骤S2：将所述车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将所述车道线特征图进行上采样，得到与所述车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条所述车道线的逐行关键点坐标；根据所述关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验；
步骤S3：将所述关键点坐标与所述俯视车道权值图进行连接，得到三元图像；其中，所述三元图像的每一个像素点包含其位置坐标以及相应的权值；
步骤S4：将所述三元图像进行最小二次拟合，并根据预先定义的车道线个数，得到所述车道线曲线参数。


2.根据权利要求1所述的基于车道结构先验的车道线检测方法，其特征在于，所述步骤S2：将所述车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将所述车道线特征图进行上采样，得到与所述车道线图像大小相同的前向车道权值图，并通过计算权重的期望值，得到每条所述车道线的逐行关键点坐标；根据所述关键点坐标，利用车道线关键点约束损失函数和透视变换，得到俯视车道权值图，并构建平行结构约束损失函数，以使得最终车道线满足相互平行以及连续的结构先验，具体包括：
S21：将所述车道线图像经过编码-解码网络进行特征提取，得到车道线特征图；将所述车道线特征图经过上采样，得到与所述车道线图像大小相同的前向车道权值图；
S22：构建所述车道线关键点约束损失函数如下述公式(1)～(2)，对所述前向权值图在预设行计算位置期望，得到分布在特定行上的关键点点集，并以所述关键点点集中任意两点作为向量的起始点和终点，构建向量集V；
Lk＝Lo+βLs(1)



其中，a,b∈V,V为起点和终点均为所述关键点的所有向量组成的向量集；β为系数；Lo为原始车道线损失函数，Ls为新引入的结构约束，Lk为新构建的损失函数；
S23：根据下述公式(3)～(5)对所述前向车道权值图进行透视变换处理，得到俯视车道权值图；









其中，(u,v)是所述前向车道权值图的像素坐标，(x',y')是透视变换后的俯视车道权...

【专利技术属性】
技术研发人员：凌强，刘彬辉，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34