车道线检测方法和系统技术方案

本发明专利技术公开了一种车道线检测方法和系统，所述方法具体为：对车道检测任务进行建模，搭建卷积神经网络模型，对卷积特征图进行特征提取；在训练阶段收集车道线训练样本图像，并利用预处理来增加训练样本的多样性，进一步通过迭代训练得到收敛后的网络模型参数；在推理阶段，对推理结果进行后处理，得到模型预测出的车道线；本发明专利技术将机制引入到上述网络结构中，通过局部与全局信息的融合，使得提取的特征图的语义特征更加丰富，利用结构训练的网络模型，进一步提升车道线远端的定位精度。

【技术实现步骤摘要】
车道线检测方法和系统
本专利技术涉及一种车道线检测技术，尤其是车道线检测方法和系统。
技术介绍
车道线作为路面标识的重要组成部分，可以有效地引导智能车辆在约束的道路结构区域内行驶，实时地检测出路面的车道线是智能车辆辅助驾驶系统中的重要环节，有助于协助路径规划、进行道路偏移预警等功能，并且可以为定位导航提供参照物。目前业内最先进的车道线检测的方法均为基于CNN的方法，比如SCNN和SAD网络均将车道线检测视为语义分割任务，具有较重的编码和解码结构，然而这种方法通常使用较小的图像作为输入，这样使其很难精准预测曲线车道线的远端部分；此外，上述方法通常仅限于检测预先定义好数量的车道线，对于实际道路上的车道线检测任务来说，图像中的场景各不相同，同时车道线的数目也是不固定的；为此PointLaneNet遵循基于候选区域的策略，通过在图像中生成多个候选线，从而摆脱了低效的编码器和预先定义的车道数目的限制。现有的利用ResNet122作为主干网络提取语义特征，输入图像经主干后得到对应的特征图，然后将特征图上的每一个网格视为一个anchor，该anchor预测通过该网格的车道线所对应的偏移量，之后通过NMS算法保留置信度较高的车道线，过滤掉多余的候选车道线；进而通过端到端的训练可以直接得到整条车道线的输出，同时摆脱了固定数目车道线输出的限制，但是，在获得的特征图上利用anchor预测通过其对应网格的整根车道线，使得在预测曲线远端时性能下降厉害；由于卷积核尺度的限制，上述方案得到的特征图只能捕捉局部区域的信息，无法同时捕捉长距离和短距离的上下文信息。
技术实现思路
本专利技术实施例提供一种车道线检测方法，通过局部与全局信息的融合，可以使得提取的特征图的语义特征更加丰富，同时以较低的计算成本提升车道线远端的定位精度。第一方面，提供了一种车道线检测方法，所述方法包括：构建卷积神经网络模型；通过网络模型中构建训练和推理阶段；对训练阶段的预处理进行调整；通过推理阶段得到预测出的车道线。在第一方面的一些可实现方式中，所述神经网络模型构建如下：神经网络模型对卷积特征图进行特征提取；卷积特征图接三个分支均采用1x1的卷积层；1x1的卷积层分别对特征图的通道数目进行压缩；压缩数据将第一分支转置后和第二分支进行矩阵乘，得到注意力特征图；将注意力特征图通过softmax得到归一化后的注意力特征图；将压缩数据的第三分支与归一化后的注意力特征图进行矩阵乘，得到加权后的注意力特征图；利用1X1卷积将上述特征图通道数进行升维后输出自我注意特征图。在第一方面的一些可实现方式中，根据神经网络模型得出注意力结构，所述注意力结构具体如下：不防设经过主干网络后得到的特征图的大小为N*C*H*W，之后接三个分支均采用1X1的卷积分别对特征图的通道数进行压缩，压缩后特征图的大小均为N*C/8*(H*W)；之后将第二个分支的特征图Q经过转置函数后得到Q’，其大小为N*(H*W)*C/8；接着将Q’与R进行矩阵乘法操作得到M，之后利用Softmax对M进行归一化处理得到M’，其大小为N*(H*W)*(H*W)；表征提取得到的全局语义信息；接着将P和M’进行矩阵乘操作，得到特征图O，其大小为N*C/8*(H*W)；最后用1X1的卷积将通道数进行升维后输出特征图大小为N*C*(H*W)。在第一方面的一些可实现方式中，所述训练阶段，具体的操作如下：收集车道线训练样本图像，包含RGB三通道的彩色图像，并标注有车道线的位置和类别信息；将训练样本经预处理转化为卷积神经网络所需要的格式，进一步提升训练效果；将数据集划分为训练集，验证集和测试集三个部分，训练集用于训练上述卷积神经网络，验证集用于挑选最优的训练模型，测试集用于模型指标的评测；搭建神经网络结构，使用注意力结构替换PointLaneNet结构中的普通卷积结构；迭代训练，前向传播，计算模型预测结果和所标注真值的损失函数；反向传播计算梯度；观察损失函数下降曲线，将收敛的模型在验证集上进行验证，挑选出最优的训练模型；所述训练流程步骤如下：初始化训练次数；根据训练次数产生小批量车道线训练数据；通过前向传播的训练数据获得预测值，计算损失函数；通过反向传播更新权重；判断更新权重是否达到训练目标；是则训练结束；否则进行下一步；判断是否达到训练次数，否则通过训练次数+1，返回步骤2，是则训练结束。根据本专利技术的一个方面，所述推理阶段，具体操作步骤如下：随机打乱测试集；将测试集中的图像进行卷积神经网络推理，得到推理结果；对推理结果进行后处理，得到预测出的车道线。在第一方面的一些可实现方式中，所述预处理的流程如下：读取图像I和标注数据L；缩放读取图像I和标注数据L系数；将缩放读取图像I和标注数据L系数归一化处理。在第一方面的一些可实现方式中，所述缩放读取图像I和标注数据L系数中缩放的表达式如下：式中，dstx和dsty表示缩放后图像的位置；srcx和srcy表示原始图像中对应的位置；sx和sy表示对于的缩放系数；所述将缩放读取图像I和标注数据L系数归一化处理中归一化的表达式如下：式中，I′(x，y)表示归一化后图像的像素值；I(x，y)表示归一化前图像的像素值；mean表示归一化前图像像素值的均值；std表示归一化前图像像素值的方差。在第一方面的一些可实现方式中，所述训练阶段所涉及的车道线检测任务的数据增强策略包括水平翻转、旋转、平移、缩放；所述水平翻转设水平翻转前车道线上点的坐标为(x，y)；翻转后的坐标为(x′，y′)则计算公式如下：式中，w表示图像的宽度；所述旋转设图像旋转前车道线上点的坐标为(x，y)，旋转后的坐标为(x′，y′)，旋转角度为θ，则计算公式如下：式中，w表示图像的宽度；h表示图像的高度；所述平移设图像平移前车道线上点的坐标为(x，y)，平移后的坐标为(x′，y′)，则计算公式如下：式中，(xstart,ystart)表示平移前选取的坐标，(xend,yend)表示点平移后的坐标；所述缩放设图像缩放前车道线上点的坐标为(x，y)，缩放后的坐标为(x′，y′)，则计算公式如下：式中，scale表示缩放因子，(xtop，ytop)表示缩放后图像在填充图像中的起始坐标。第二方面，提供了一种车道线检测系统，所述系统包括：用于构建卷积神经网络模型的第一模块；用于通过网络模型中构建训练和推理阶段的第二模块；用于对训练阶段的预处理进行调整的第三模块；用于通过推理阶段预测出车道线的第四模块。在第二方面的一些可实现方式中，所本文档来自技高网...

【技术保护点】
1.一种车道线检测方法，其特征在于包括如下步骤：/n构建卷积神经网络模型；/n通过网络模型中构建训练和推理阶段；/n对训练阶段的预处理进行调整；/n通过推理阶段得到预测出的车道线。/n

【技术特征摘要】
1.一种车道线检测方法，其特征在于包括如下步骤：
构建卷积神经网络模型；
通过网络模型中构建训练和推理阶段；
对训练阶段的预处理进行调整；
通过推理阶段得到预测出的车道线。


2.根据权利要求1所述的一种车道线检测方法，其特征在于，所述神经网络模型构建如下：
神经网络模型对卷积特征图进行特征提取；
卷积特征图接三个分支均采用1x1的卷积层；
1x1的卷积层分别对特征图的通道数目进行压缩；
压缩数据将第一分支转置后和第二分支进行矩阵乘，得到注意力特征图；
将注意力特征图通过softmax得到归一化后的注意力特征图；
将压缩数据的第三分支与归一化后的注意力特征图进行矩阵乘，得到加权后的注意力特征图；
利用1X1卷积将上述特征图通道数进行升维后输出自我注意特征图；
根据神经网络模型得出注意力结构，所述注意力结构具体如下：
不防设经过主干网络后得到的特征图的大小为N*C*H*W，
之后接三个分支均采用1X1的卷积分别对特征图的通道数进行压缩，
压缩后特征图的大小均为N*C/8*(H*W)；
之后将第二个分支的特征图Q经过转置函数后得到Q’，其大小为N*(H*W)*C/8；
接着将Q’与R进行矩阵乘法操作得到M，之后利用Softmax对M进行归一化处理得到M’，其大小为N*(H*W)*(H*W)；
表征提取得到的全局语义信息；接着将P和M’进行矩阵乘操作，得到特征图O，其大小为N*C/8*(H*W)；
最后用1X1的卷积将通道数进行升维后输出特征图大小为N*C*(H*W)。


3.根据权利要求1所述的一种车道线检测方法，其特征在于，所述训练阶段，具体的操作如下：
收集车道线训练样本图像，包含RGB三通道的彩色图像，并标注有车道线的位置和类别信息；
将训练样本经预处理转化为卷积神经网络所需要的格式，进一步提升训练效果；
将数据集划分为训练集，验证集和测试集三个部分，训练集用于训练上述卷积神经网络，验证集用于挑选最优的训练模型，测试集用于模型指标的评测；
搭建神经网络结构，使用注意力结构替换PointLaneNet结构中的普通卷积结构；
迭代训练，前向传播，计算模型预测结果和所标注真值的损失函数；反向传播计算梯度；
观察损失函数下降曲线，将收敛的模型在验证集上进行验证，挑选出最优的训练模型；
所述训练流程步骤如下：
初始化训练次数；
根据训练次数产生小批量车道线训练数据；
通过前向传播的训练数据获得预测值，计算损失函数；
通过反向传播更新权重；
判断更新权重是否达到训练目标；是则训练结束；否则进行下一步；
判断是否达到训练次数，否则通过训练次数+1，返回步骤2，是则训练结束。


4.根据权利要求1所述的一种车道线检测方法，其特征在于，所述推理阶段，具体操作步骤如下：
随机打乱测试集；
将测试集中的图像进行卷积神经网络推理，得到推理结果；
对推理结果进行后处理，得到预测出的车道线；
所述预处理的流程如下：
读取图像I和标注数据L；
缩放读取图像I和标注数据L系数；
将缩放读取图像I和标注数据L系数归一化处理。


5.根据权利要求4所述的一种车道线检测方法，其特征在于，所述缩放读取图像I和标注数据L系数中缩放的表达式如下：



式中，dstx和dsty表示缩放后图像的位置；srcx和srcy表示原始图像中对应的位置；
sx和sy表示对于的缩放系数；
所述将缩放读取图像I和标注数据L系数归一化处理中归一化的表达式如下：



式中，I′(x，y)表示归一化后图像的像素值；I(x，y)表示归一化前图像的像素值；mean表示归一化前图像像素值的均值；std表示归一化前图像像素值的方差。


6.根据权利要求1所述的一种车道线检测方法，其特征在于，所述训练阶段所涉及的车道线检测任务的数据增强策略包括水平翻转、旋转、平移、缩放；所述水平翻转设水平翻转前车道线上点的坐标为(x，y)；翻转后的坐标为(x′，y′)则计算公式如下：



式中，w表示图像的宽度；
所述旋转设图像旋转前车道线上点的坐标为(x，y)，旋转后的坐标为(x′，y′)，旋转角度为θ，则计算公式如下：



式中，w表示图像的宽度；h表示图像的高度；
所述平移设图像平移前车道线上点的坐标为(x，y)，平移后的坐标为(x′，y′)，则计算公式如下：



式中，(xstart，ystart)表示平移前选取的坐标，(xend，yend)表示点平移后的坐标；
所述缩放设图像缩放前车道线上点的坐标为(x，y)，缩放后的坐标为(x′，y′)，则计算公式如下：



式中，scale表示缩放因子，(xtop，ytop)表示缩放后图像在填充图像中的起始坐标。


7.一种车道线检测系统，其特征在于包括如...

【专利技术属性】
技术研发人员：李丰军，周剑光，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：江苏;32