一种基于时序信息和网格化模型的车道线检测方法技术

本发明专利技术公开了一种基于时序信息的网格化模型的车道线检测方法，包括S1、获取车道线的顺序图像帧；S2、数据预存阶段；S3、自注意力处理阶段；S4、记忆提取阶段；S5、解码预测阶段；S6、预测生成阶段。该方法通过自注意力、交叉注意力和多尺度特征融合结合使用从而达到记忆生成和读取的网络结构。本发明专利技术通过对图像网格化处理从而将车道线检测问题建模成分类问题，达到减少计算量，提高计算速度的目的。模型整体流程分为当前帧流程和历史帧流程，模型主干是当前帧流程，而历史流程产出记忆信息供当前帧流程通过记忆提取模块提取。本发明专利技术在历史帧流程中复用之前时刻该图像在当前帧流程提取的特征，避免重复计算从而进一步减小计算量。避免重复计算从而进一步减小计算量。避免重复计算从而进一步减小计算量。

【技术实现步骤摘要】
一种基于时序信息和网格化模型的车道线检测方法


[0001]本专利技术属于图像处理
，涉及图像车道线检测方法，具体是一种基于时序信息的网格化模型的车道线检测方法。

技术介绍

[0002]车道线检测在先今自动驾驶技术中被广泛应用。在深度学习方向上，现代车道线检测方法主要将车道线检测视为像素分割问题。传统CNN模型对于上下文和全局信息的轻视导致了遮挡和强光条件下检测效率降低；SCNN方法虽然注重全局信息提取，但循环计算流程导致计算复杂度上升；UFSA方法将车道线检测过程视为使用全局特征的基于行的选择问题，其将图片进行网格划分，其中一张图像(H,W)尺寸的图像被划分为尺寸(h,w)的网格，其中h、w远小于H、W。UFSA将像素分割处理变为网格分类处理，其仅关注每个网格的分类，从而大大减小参数量和提高计算速度。提取了全局特征的同时显著降低了计算成本。
[0003]但考虑到人类感知方式和自动驾驶应用中收到的信息是时序动态的，而传统的车道检测模型，包括UFSA模型仅针对单帧图像进行计算，忽略了帧与帧之间的时序关系。MMA
‑
Net模型是参考图像分割
中基于注意力模型的记忆编码与提取方法，实现了基于历史帧的时序信息提取的车道线检测方法。在加入时序信息后效果提升明显，但其大量输入和复杂的记忆编码与提取模块造成了计算效率降低以致无法满足实时使用需求。

技术实现思路

[0004]本专利技术的目的是针对当前车道线检测技术模型对于时序信息的利用低效导致的检测速度过慢的问题,通过调整MMA<br/>‑
Net网络流程以减少重复计算和结合“行锚”的多分类建模方法减少预测参数两种手段来提出新的运行速度更快的车道线检测模型。
[0005]本专利技术公开了一种基于时序信息的网格化模型的车道线检测方法，包括以下步骤：
[0006]S1、获取车道线的顺序图像帧并构建数据集；
[0007]S2、数据预存阶段
[0008]S2
‑
1、截取顺序图像帧的前20帧，随机抽取5帧作为初始历史帧；
[0009]S2
‑
2、将抽取的图像对应的车道mask进行网格化，得到每个网格分类属于某条车道的概率矩阵M；
[0010]S2
‑
3、概率矩阵M输入到主干网络ResNet50组成的特征提取网络E1进行特征提取，得到特征信息和
[0011]S2
‑
4、将抽取的图像单个输入到主干网络ResNet50组成的特征提取网络E2进行特征提取，得到分别代表图像浅层和深层信息的特征；
[0012]S2
‑
5、将代表图像浅层和深层信息的特征拷贝叠加得到与和通道
数和尺寸都相同的特征图，记为和
[0013]S2
‑
6、将特征信息和分别与特征图和对应相加得到历史记忆特征向量和
[0014]S2
‑
7、抽取的5帧图像重复步骤S2
‑
1至S2
‑
6，5次，得到5组历史记忆特征向量和
[0015]S2
‑
8、将5组特征向量经过顺序和乱序两种方式进行堆叠生成和
[0016]S3、自注意力处理阶段
[0017]通过自注意力模块分别接收与与以提取浅层和深层的自注意力特征，通过提取浅层和深层的自注意力特征得到浅层自注意力特征和深层自注意力特征即对初始历史帧处理后的输出；
[0018]S4、记忆提取阶段
[0019]在当前帧流程中，输入为按时间顺序从数据集提取的当前帧图像f，对于当前帧的特征提取使用特征提取网络E1提取出浅层和深层特征将提取出浅层和深层特征进行矩阵乘得到与分别与和和进行交叉注意力计算，得到包含历史记忆信息的浅层T
f
和深层特征T
d
，公式如下：
[0020][0021][0022]S5、解码预测阶段
[0023]输入当前帧的图像f、浅层特征T
f
和深层特征T
d
，通过特征金字塔网络进行特征融合，首先将深层特征T
d
进行反卷积降低特征通道数至于浅层特征T
f
相同，然后在长宽维度上进行上采样到与T
f
相同，使得的T'
d
与T
f
尺寸相同，对T'
d
与T
f
相加，得到的特征向量重复以上操作与图像f进行融合即得到最后的特征输出T
e
；
[0024]S6、预测生成阶段
[0025]通过全连接层加上relu激活层作为预测输出解码网络，首先对T
e
在长宽维度上进行下采样，再将整个3维的特征图拉直成一维的特征向量输入到全连接层，输出经过relu激活后又输入到一层全连接层，最后得到预测的概率矩阵M，每一行取概率最高的网格即为车道线位置所在点，连点成线可标识为车道线。最后，预测得到的概率矩阵M加入到历史帧流
程作为输入进行特征提取得到记忆特征，加入到原先的5组历史记忆特征中，同时删去时间顺序上最靠前的历史记忆特征。
[0026]作为优选，所述概率矩阵M为，在其通道k对应的网格图中网格(i,j)数值为对应原图像位置为车道线k的概率，另外，在网格图中多出一列网格在原图像没有位置对应，其数值是该行网格不存在车道k的概率。
[0027]作为优选，所述特征提取网络E1由ResNet50构成，ResNet50由四个模块依次堆叠而成，其中每个模块都由多个卷积网络堆叠而成。每个模块都是以上一个模块的输出作为输入来进一步提取深层信息，ResNet50中第三和第四模块的输出作为提取出的特征信息，记为和
[0028]作为优选，所述步骤S3中，所述浅层自注意力特征作为优选，所述步骤S3中，所述浅层自注意力特征的生成方法：输入的两个提取的浅层的自注意力特征的向量组分别自我堆叠成一个更高维的向量，通过矩阵乘生成乘生成通过以下公式生成浅层自注意力特征
[0029][0030][0031][0032]其中，符号表示向量按第一位相加，计算公式与相同。
[0033]作为优选，所述生成深层自注意力特征的方法与浅层自注意力特征的生成方法相同。
[0034]作为优选，还包括
[0035]S7、记忆存储阶段
[0036]将生成的概率矩阵M,当前帧提取的浅层特征T
f
和深层特征T
d
存储起来，作为之后计算中的历史帧。
[0037]专利技术有益效果如下：
[0038]本专利技术对MMA
‑
Net重新建模，将其对于车道线检测任务建模为图像分割任务模型修改为使用网格化图像的多分类任务模型，减小了任务难度和训练参数量，从而提高了训练、检测速度和准确率。另外，通过流程调整，改用更小的概率矩阵输入E2后再与历史中通过E1的图像特征进行融合而不是将车道线掩码与图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序信息的网格化模型的车道线检测方法，其特征在于，包括以下步骤：S1、获取车道线的顺序图像帧并构建数据集；S2、数据预存阶段S2
‑
1、截取顺序图像帧的前20帧，随机抽取5帧作为初始历史帧；S2
‑
2、将抽取的图像对应的车道mask进行网格化，得到每个网格分类属于某条车道的概率矩阵M；S2
‑
3、概率矩阵M输入到主干网络ResNet50组成的特征提取网络E1进行特征提取，得到特征信息和S2
‑
4、将抽取的图像单个输入到主干网络ResNet50组成的特征提取网络E2进行特征提取，得到分别代表图像浅层和深层信息的特征；S2
‑
5、将代表图像浅层和深层信息的特征拷贝叠加得到与和通道数和尺寸都相同的特征图，记为和S2
‑
6、将特征信息和分别与特征图和对应相加得到历史记忆特征向量和S2
‑
7、抽取的5帧图像重复步骤S2
‑
1至S2
‑
6，5次，得到5组历史记忆特征向量和S2
‑
8、将5组特征向量经过顺序和乱序两种方式进行堆叠生成和S3、自注意力处理阶段通过自注意力模块分别接收与以提取浅层和深层的自注意力特征，通过提取浅层和深层的自注意力特征得到浅层自注意力特征和深层自注意力特征和深层自注意力特征即对初始历史帧处理后的输出；S4、记忆提取阶段在当前帧流程中，输入为从数据集中按时间顺序提取当前帧图像f，对于当前帧的特征提取使用特征提取网络E1提取出浅层和深层特征将提取出浅层和深层特征进行矩阵乘得到与分别与和进行交叉注意力计算，得到包含历史记忆信息的浅层T
f
和深层特征T
d
，公式如下：
S5、解码预测阶段输入当前帧的图像f、浅层特征T
f
和深层特征T
d
，通过特征金字塔网络进行特征融合，首先将深层特征T
d
进行反卷积降低特征通道数至于浅层特征T
f
相同，然后在长宽维度上进行上采样到与T
f
相同，使得的T'
d
与T
f
...

【专利技术属性】
技术研发人员：汤景凡，吴旺杰，张旻，姜明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：