多任务车道线检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供了一种多任务车道线检测方法、装置、计算机设备及存储介质，方法包括以下步骤：获取含有车道线的原始图像；基于卷积神经网络提取原始图像中的特征，输出多个不同分辨率的特征图；融合多个不同分辨率的特征图，输出融合特征图；将融合特征图分别输入多个任务分支模型进行卷积处理，分别输出原始图像中车道线的多个属性信息，包括置信度信息和位置信息，以及颜色信息、类型信息中的任意一种或两种。装置包括图像获取模块、骨干网络模块、特征融合层模块、车道线检测模块。本发明专利技术设计的检测方法及装置，能够实现原始图像中多种属性信息的同时输出，并可以便捷地根据实际场景任务进行拓展输出其他属性信息。进行拓展输出其他属性信息。进行拓展输出其他属性信息。

【技术实现步骤摘要】
多任务车道线检测方法、装置、计算机设备及存储介质


[0001]本专利技术属于电子信息
，涉及图像处理技术，具体为一种多任务车道线检测方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着道路运输的不断发展，路面上车道线种类日益繁多，车道线检测能够实现车道偏离预警、高级辅助驾驶等，对减少交通风险、提高行车安全有重要意义。
[0003]目前，传统的点回归车道线检测方法有两种，一种是《Ultra FastStructure－aware Deep Lane Detection》(下称UFLD)，其采用行锚框的方式对车道线点进行回归，从而输出车道线点的位置信息和置信度信息；另一种是《Ultra Fast Deep Lane Detection with Hybrid AnchorDriven Ordinal Classification》，其在UFLD的基础上进行改进的，采用行锚框检测内侧车道线，列锚框检测外侧车道线，前景背景分类分支进行置信度预测，上述两种方法仅能输出车道线的位置信息和置信度信息，无法对车道线类型、颜色等其他信息属性进行检测输出。

技术实现思路

[0004]为了解决无法在同一网络中同时输出车道线的位置、置信度、类型、颜色等信息，本专利技术公开了一种多任务车道线检测方法、装置、计算机设备及存储介质。
[0005]实现专利技术目的的技术方案如下：
[0006]第一方面，本专利技术公开了一种多任务车道线检测方法，包括以下步骤：
[0007]获取含有车道线的原始图像；
[0008]基于卷积神经网络提取原始图像中的特征，输出多个不同分辨率的特征图；
[0009]融合多个不同分辨率的特征图，输出融合特征图；
[0010]将融合特征图分别输入多个任务分支模型进行卷积处理，分别输出原始图像中车道线的多个属性信息，包括置信度信息和位置信息，以及颜色信息、类型信息中的任意一种或两种。
[0011]在一个实施例中，将融合特征图分别输入多个任务分支模型进行卷积处理，输出车道线的置信度信息，包括：
[0012]将融合特征图输入置信度任务分支模型，通过置信度任务分支模型中卷积网络进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；
[0013]沿行方向计算(H/S)
×
(W/S)
×
N特征图的平均值，获得(H/S)
×
N特征图；
[0014]计算(H/S)
×
N特征图的sigmoid函数，获得N条车道线中，每条车道线上(H/S)个点的置信度信息；
[0015]其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数。
[0016]在一个实施例中，将融合特征图分别输入多个任务分支模型进行卷积处理，输出
车道线的位置信息，包括：
[0017]将融合特征图输入位置任务分支模型，通过位置任务分支模型中卷积网络对融合特征图进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；
[0018]沿行方向计算(H/S)
×
(W/S)
×
N特征图的softmax函数并求取行方向上最大值的位置索引index；
[0019]用位置索引index乘以S计算每一行上N个车道线的横坐标位置信息，用每一个车道线点所处的行数乘以S计算N个车道线的纵坐标信息，形成N个车道线中每条车道线上(H/S)个车道线点的位置信息；
[0020]其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数。
[0021]在一个改进实施例中，将融合特征图分别输入多个任务分支模型进行卷积处理，输出车道线的颜色信息，包括：
[0022]将融合特征图输入颜色任务分支模型，通过颜色任务分支模型中卷积网络对融合特征图进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；
[0023]结合位置任务分支模型中获得的(H/S)
×
(W/S)
×
N特征图计算sigmoid函数，得到空间注意图；
[0024]将空间注意力图与融合特征图相乘进行空间注意力加权处理后，通过全连接层操作输出向量长度N
×
Nc；
[0025]将向量长度N
×
Nc变换N个长度为Nc的向量，提取每个向量的最大值位置索引，并依据该最大值位置索引输出每条车道线的颜色信息；
[0026]其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数，Nc为车道线颜色数量。
[0027]在一个改进实施例中，将融合特征图分别输入任务分支模型进行卷积处理，输出车道线的类型信息，包括：
[0028]将融合特征图输入类型任务分支模型，通过类型任务分支模型中卷积网络对融合特征图进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；
[0029]结合位置任务分支模型中获得的(H/S)
×
(W/S)
×
N特征图计算sigmoid函数，得到空间注意图；
[0030]将空间注意力图与融合特征图相乘进行空间注意力加权处理后，通过全连接层操作输出向量长度N
×
Nt；
[0031]将向量长度N
×
Nt变换N个长度为Nt的向量，提取每个向量的最大值位置索引，并依据该最大值位置索引输出每条车道线的类型信息；
[0032]其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数，Nt为车道线类型数量。
[0033]在上述实施例的一个改进实施例中，基于卷积神经网络提取原始图像中的特征，输出多个不同分辨率的特征图，包括：采用卷积神经网络提取原始图像的多个特征后，输出1/8分辨率的特征图、1/16分辨率的特征图以及1/32分辨率的特征图；
[0034]采用“FPN+PAN”架构的模型融合1/8分辨率的特征图、1/16分辨率的特征图以及1/32分辨率的特征图，输出1/8分辨率的融合特征图。
[0035]在上述实施例的另一个改进实施例中，多任务车道线检测方法还包括：在将融合特征图分别输入多个任务分支模型进行卷积处理前，还对融合特征图进行卷积处理。
[0036]第二方面，本专利技术公开了一种多任务车道线检测装置，包括：
[0037]图像获取模块，用于获取含有车道线的原始图像；
[0038]骨干网络模块，用于提取原始图像的特征信息，输出多个不同分辨率的特征图；
[0039]特征融合层模块，用于融合多个不同分辨率的特征图，输出融合特征图；
[0040]车道线检测模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务车道线检测方法，其特征在于，包括以下步骤：获取含有车道线的原始图像；基于卷积神经网络提取原始图像中的特征信息，输出多个不同分辨率的特征图；融合多个不同分辨率的特征图，输出融合特征图；将融合特征图分别输入多个任务分支模型进行卷积处理，分别输出原始图像中车道线的多个属性信息，包括置信度信息和位置信息，以及颜色信息、类型信息中的任意一种或两种。2.根据权利要求1所述的多任务车道线检测方法，其特征在于：将融合特征图分别输入多个任务分支模型进行卷积处理，输出车道线的置信度信息，包括：将所述融合特征图输入置信度任务分支模型，通过所述置信度任务分支模型中卷积网络进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；沿行方向计算(H/S)
×
(W/S)
×
N特征图的平均值，获得(H/S)
×
N特征图；计算(H/S)
×
N特征图的sigmoid函数，获得N条车道线中，每条车道线上(H/S)个点的置信度信息；其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数。3.根据权利要求1所述的多任务车道线检测方法，其特征在于：将融合特征图分别输入多个任务分支模型进行卷积处理，输出车道线的位置信息，包括：将所述融合特征图输入位置任务分支模型，通过所述位置任务分支模型中卷积网络对所述融合特征图进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；沿行方向计算(H/S)
×
(W/S)
×
N特征图的softmax函数并求取行方向上最大值的位置索引index；用位置索引index乘以S计算每一行上N个车道线的横坐标位置信息，用每一个车道线点所处的行数乘以S计算N个车道线的纵坐标信息，形成N个车道线中每条车道线上(H/S)个车道线点的位置信息；其中，H为原始图像的高度，W为原始图像的宽度，S为融合特征图的下采样率，N为需要检测的车道线条数。4.根据权利要求3所述的多任务车道线检测方法，其特征在于：将融合特征图分别输入多个任务分支模型进行卷积处理，输出车道线的颜色信息，包括：将所述融合特征图输入颜色任务分支模型，通过所述颜色任务分支模型中卷积网络对所述融合特征图进行卷积处理，获得(H/S)
×
(W/S)
×
N特征图；结合所述位置任务分支模型中获得的(H/S)
×
(W/S)
×
N特征图计算sigmoid函数，得到空间注意图；将空间注意力图与融合特征图相乘进行空间注意力加权处理后，通过全连接层操作输出向量长度N
×

【专利技术属性】
技术研发人员：黄志鹏，王小龙，申建坤，王雅儒，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：