一种基于时序信息和网格化模型的车道线检测方法技术

本发明专利技术公开了一种基于时序信息的网格化模型的车道线检测方法，包括S1、获取车道线的顺序图像帧；S2、数据预存阶段；S3、自注意力处理阶段；S4、记忆提取阶段；S5、解码预测阶段；S6、预测生成阶段。该方法通过自注意力、交叉注意力和多尺度特征融合结合使用从而达到记忆生成和读取的网络结构。本发明专利技术通过对图像网格化处理从而将车道线检测问题建模成分类问题，达到减少计算量，提高计算速度的目的。模型整体流程分为当前帧流程和历史帧流程，模型主干是当前帧流程，而历史流程产出记忆信息供当前帧流程通过记忆提取模块提取。本发明专利技术在历史帧流程中复用之前时刻该图像在当前帧流程提取的特征，避免重复计算从而进一步减小计算量。避免重复计算从而进一步减小计算量。避免重复计算从而进一步减小计算量。

【技术实现步骤摘要】
一种基于时序信息和网格化模型的车道线检测方法


[0001]本专利技术属于图像处理
，涉及图像车道线检测方法，具体是一种基于时序信息的网格化模型的车道线检测方法。

技术介绍

[0002]车道线检测在先今自动驾驶技术中被广泛应用。在深度学习方向上，现代车道线检测方法主要将车道线检测视为像素分割问题。传统CNN模型对于上下文和全局信息的轻视导致了遮挡和强光条件下检测效率降低；SCNN方法虽然注重全局信息提取，但循环计算流程导致计算复杂度上升；UFSA方法将车道线检测过程视为使用全局特征的基于行的选择问题，其将图片进行网格划分，其中一张图像(H,W)尺寸的图像被划分为尺寸(h,w)的网格，其中h、w远小于H、W。UFSA将像素分割处理变为网格分类处理，其仅关注每个网格的分类，从而大大减小参数量和提高计算速度。提取了全局特征的同时显著降低了计算成本。
[0003]但考虑到人类感知方式和自动驾驶应用中收到的信息是时序动态的，而传统的车道检测模型，包括UFSA模型仅针对单帧图像进行计算，忽略了帧与帧之间的时序关系。MMAr/>‑
N本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序信息的网格化模型的车道线检测方法，其特征在于，包括以下步骤：S1、获取车道线的顺序图像帧并构建数据集；S2、数据预存阶段S2
‑
1、截取顺序图像帧的前20帧，随机抽取5帧作为初始历史帧；S2
‑
2、将抽取的图像对应的车道mask进行网格化，得到每个网格分类属于某条车道的概率矩阵M；S2
‑
3、概率矩阵M输入到主干网络ResNet50组成的特征提取网络E1进行特征提取，得到特征信息和S2
‑
4、将抽取的图像单个输入到主干网络ResNet50组成的特征提取网络E2进行特征提取，得到分别代表图像浅层和深层信息的特征；S2
‑
5、将代表图像浅层和深层信息的特征拷贝叠加得到与和通道数和尺寸都相同的特征图，记为和S2
‑
6、将特征信息和分别与特征图和对应相加得到历史记忆特征向量和S2
‑
7、抽取的5帧图像重复步骤S2
‑
1至S2
‑
6，5次，得到5组历史记忆特征向量和S2
‑
8、将5组特征向量经过顺序和乱序两种方式进行堆叠生成和S3、自注意力处理阶段通过自注意力模块分别接收与以提取浅层和深层的自注意力特征，通过提取浅层和深层的自注意力特征得到浅层自注意力特征和深层自注意力特征和深层自注意力特征即对初始历史帧处理后的输出；S4、记忆提取阶段在当前帧流程中，输入为从数据集中按时间顺序提取当前帧图像f，对于当前帧的特征提取使用特征提取网络E1提取出浅层和深层特征将提取出浅层和深层特征进行矩阵乘得到与分别与和进行交叉注意力计算，得到包含历史记忆信息的浅层T
f
和深层特征T
d
，公式如下：
S5、解码预测阶段输入当前帧的图像f、浅层特征T
f
和深层特征T
d
，通过特征金字塔网络进行特征融合，首先将深层特征T
d
进行反卷积降低特征通道数至于浅层特征T
f
相同，然后在长宽维度上进行上采样到与T
f
相同，使得的T'
d
与T
f
...

【专利技术属性】
技术研发人员：汤景凡，吴旺杰，张旻，姜明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：