一种融合边缘检测的多监督智能车道线语义分割方法技术

本发明专利技术公开了一种融合边缘检测的多监督车道线语义分割方法，包括：对输入图片对应标签真值进行边缘检测，获得车道线标签边缘图；图片输入至编码网络模块中进行特征提取，获得高分辨率特征图和高语义特征图；对高语义特征图执行上采样操作后与高分辨率特征图沿通道维度执行拼接操作，送入卷积层缩减维度后进行二次上采样；对高分辨率特征图进行上采样；采用标签真值图作为该主监督信号，采用标签边缘图作为辅助监督信号，计算损失函数值；将损失函数值加权累加，优化网络结构参数；训练车道线检测模型直至收敛。本发明专利技术对行车路况图片进行语义分割，在网络训练过程中加入传统机器视觉边缘检测信号进行辅助监督，提高了检测结果的准确度以及鲁棒性。的准确度以及鲁棒性。的准确度以及鲁棒性。

【技术实现步骤摘要】
一种融合边缘检测的多监督智能车道线语义分割方法


[0001]本专利技术属于计算机视觉
，涉及深度学习语义分割模型技术，具体涉及一种融合边缘检测信号的多监督智能车道线语义分割方法。

技术介绍

[0002]车道线检测是自动驾驶领域的研究热点之一，也是ADAS(Advanced Driver Assistance Systems,高级驾驶辅助系统)的关键技术。放置在车辆前挡风板的相机用于采集行车过程中的周围环境信息，基于视觉的处理算法用来提取相机输出图片中的车道线信息，并将其用于后续的航迹规划、车道保持和行为预测等任务中。
[0003]基于机器视觉的传统车道线提取算法主要包括手工特征提取以及曲线拟合两个步骤。特征提取利用车道线边缘信息、颜色以及纹理特征来捕获车道线在图片中的有效像素点，而后使用曲线模型对提取到的车道线像素点进行拟合，获取车道线几何参数模型。该传统车道线检测方法能够在道路标志清楚且相机视野清晰环境下实现对车道线的检测，然而当行车场景受光照变化、天气变化，以及路面特征被车辆严重遮挡时，基于机器视觉的传统方法难以从以上困境中提取到车道线有效像素点，检测结果无法满足自动驾驶汽车技术指标。
[0004]近年来计算机视觉领域逐步兴起，为智能驾驶汽车车道线检测技术提供了新方法。基于深度学习的车道线检测方法逐渐成为该领域的主流方式，相比于传统算法过度依赖特定环境下手工提取的特征信息，基于语义分割的方法则依靠卷积神经网络自身强大的学习能力，通过不断优化神经网络参数来提高网络对场景的感知能力以及网络自身的泛化能力，具有更高的鲁棒性和适用性。目前基于语义分割的车道线检测方法能够实现受遮挡和环境变化影响下的车道线检测，然而面向严重遮挡、和夜间行车等极具挑战行车环境下，检测结果仍存在车道线像素点漏检、误检以及车道线边界不清晰不连续的问题，成为困扰语义分割技术服务自动驾驶领域的阻力。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种融合边缘检测的多监督智能车道线语义分割方法，本专利技术对行车路况图片进行语义分割，在网络训练过程中加入传统机器视觉边缘检测信号进行辅助监督，实现对车道线及其边界的精准检测与回归。
[0006]为了达到上述目的，本专利技术提供如下技术方案：
[0007]一种融合边缘检测的多监督智能车道线语义分割方法，包括如下步骤：
[0008]步骤S1：选取自动驾驶汽车采集到的路面路况图片，对其进行处理后作为输入图片；
[0009]步骤S2：对输入图片对应的标签真值进行边缘检测，获得车道线标签边缘图；
[0010]步骤S3：将图片输入至编码网络模块中进行特征提取，获得高分辨率特征图和高语义特征图；
[0011]步骤S4：对高语义特征图执行上采样操作后与高分辨率特征图沿通道维度执行拼接操作，送入卷积层缩减维度后进行二次上采样，尺寸恢复至原图大小；
[0012]步骤S5：对高分辨率特征图进行上采样，尺寸恢复至原图大小；
[0013]步骤S6：采用标签真值图作为该路输出的主监督信号，计算损失函数值；采用标签边缘图作为高分辨率特征图上采样后的辅助监督信号，计算损失函数值；将上述损失函数值加权累加，计算参数梯度，反向传播优化网络结构参数；
[0014]步骤S7：训练车道线检测模型直至收敛。
[0015]进一步的，所述步骤S1具体包括：
[0016]对采集视频在时间上进行采样，获得连续帧道路路面信息图；将所有图片裁剪至同一尺寸后，进行标准化变换操作；标准化变换操作计算公式为：
[0017][0018]其中，I为原始输入图片中某通道像素点取值，mean为该通道所有像素点原始均值，std为该通道所有像素点原始标准差，I
normal
为经标准化后服从正态分布的像素点取值。
[0019]进一步的，所述步骤S2具体包括：
[0020]采用沿垂直方向的Sobel边缘检测算子与标签真值图像进行平面卷积操作，得到该标签相对应的标签边缘图像，边缘信息计算公式如下：
[0021][0022]L
Edge
＝h
y
*L
Truth
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0023]其中，h
y
为沿垂直方向的边缘检测算子，L
Truth
表示输入的标签真值图像，L
Ed
ge表示经过卷积操作后的各像素亮度变化差分值，反映标签中车道线的边缘信息。
[0024]进一步的，所述步骤S3具体包括如下过程：
[0025](1)将步骤S1中的经过标准化的图片输入到权重共享的卷积神经网络特征提取层中，运用卷积和池化操作完成对输入图片的下采样以及特征提取，获取具有原图四分之一大小的低语义高分辨率特征图F
I/4
；
[0026](2)将F
I/4
特征图继续输入到深度特征提取层网络结构中，从高分辨率特征中逐渐提取出具有全局信息且尺寸降采样至原图十六分之一的抽象高语义特征图F
I/16
。
[0027]进一步的，所述S4具体包括如下过程：
[0028]将F
I/16
特征图，采用双线性插值上采样方法进行四倍上采样，得到与F
I/4
具有相同尺寸大小特征图沿通道维度对两特征图F
I/4
和执行拼接及卷积操作后进行二次上采样，得到与原图尺寸相同的特征图F
I
。
[0029]进一步的，所述卷积操作中卷积核大小1*1，步长为1。
[0030]进一步的，所述步骤S5具体包括如下过程：
[0031]对步骤3中得到的高分辨率特征进行上采样操作，得到与原图尺寸相同的特征图网络输出与原图尺寸一致的特征地图F
I
和
[0032]进一步的，所述步骤S6具体包括如下过程：
[0033]采用加权多监督损失函数来计算预测和真值间差异，首先取标签真值作为主监督
信号，设定交叉熵损失函数计算F
I
与L
Truth
之间差值；其次以标签边缘作为辅助监督信号，针对车道线边缘回归二分类问题，采用焦点损失函数计算与L
Edge
之间差异，公式如下：
[0034][0035]FL(p
n
)＝
‑
(1
‑
p
n
)
γ
log(p
n
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0036]Loss＝Loss
CE
+λ
·
Loss
FL
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0037]其中，表达式(4)计算交叉熵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合边缘检测的多监督智能车道线语义分割方法，其特征在于，包括如下步骤：步骤S1：选取自动驾驶汽车采集到的路面路况图片，对其进行处理后作为输入图片；步骤S2：对输入图片对应的标签真值进行边缘检测，获得车道线标签边缘图；步骤S3：将图片输入至编码网络模块中进行特征提取，获得高分辨率特征图和高语义特征图；步骤S4：对高语义特征图执行上采样操作后与高分辨率特征图沿通道维度执行拼接操作，送入卷积层缩减维度后进行二次上采样，尺寸恢复至原图大小；步骤S5：对高分辨率特征图进行上采样，尺寸恢复至原图大小；步骤S6：采用标签真值图作为该路输出的主监督信号，计算损失函数值；采用标签边缘图作为高分辨率特征图上采样后的辅助监督信号，计算损失函数值；将上述损失函数值加权累加，计算参数梯度，反向传播优化网络结构参数；步骤S7：训练车道线检测模型直至收敛。2.根据权利要求1所述的融合边缘检测的多监督智能车道线语义分割方法，其特征在于，所述步骤S1具体包括：对采集视频在时间上进行采样，获得连续帧道路路面信息图；将所有图片裁剪至同一尺寸后，进行标准化变换操作；标准化变换操作计算公式为：其中，I为原始输入图片中某通道像素点取值，mean为该通道所有像素点原始均值，std为该通道所有像素点原始标准差，I
normal
为经标准化后服从正态分布的像素点取值。3.根据权利要求1所述的融合边缘检测的多监督智能车道线语义分割方法，其特征在于，所述步骤S2具体包括：采用沿垂直方向的Sobel边缘检测算子与标签真值图像进行平面卷积操作，得到该标签相对应的标签边缘图像，边缘信息计算公式如下：L
Edge
＝h
y
*L
Truth
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，h
y
为沿垂直方向的边缘检测算子，L
Truth
表示输入的标签真值图像，L
Edge
表示经过卷积操作后的各像素亮度变化差分值，反映标签中车道线的边缘信息。4.根据权利要求1所述的融合边缘检测的多监督智能车道线语义分割方法，其特征在于，所述步骤S3具体包括如下过程：(1)将步骤S1中的经过标准化的图片输入到权重共享的卷积神经网络特征提取层中，运用卷积和池化操作完成对输入图片的下采样以及特征提取，获取具有原图四分之一大小的低语义高分辨率特征图F
I/4
；(2)将F
I/4
特征图继续输入到深度特征提取层网络结构中，从高分辨率特征中逐渐提取出具有全局信息且尺寸降采样至原图十六分之一的抽象高语义特征图F
I/16

【专利技术属性】
技术研发人员：陈熙源，姚志婷，
申请(专利权)人：东南大学，
类型：发明
国别省市：