基于注意力机制的融合网络车道线检测方法及终端设备技术

本发明专利技术公开了基于注意力机制的融合网络车道线检测方法及终端设备，所述方法包括：同步采集路面的自然图像和点云数据；将自然图像和点云数据输入预先建立和训练好的融合网络，输出车道检测结果；所述融合网络采用加入时序帧和注意力机制对点云数据和自然图像进行信息融合处理。本发明专利技术使用连续帧来提高检测网络性能，以应对标记丢失、车辆遮挡等复杂情况；通过Skip Connection将低维度特征与高维度特征进行拼接，以弥补随着网络深度增加而不断丢失的图像细节信息，利用Decoder还原图像得到最终结果；该融合网络大大提高了车道线的检测性能，并可在各种复杂环境进行检测。

【技术实现步骤摘要】
基于注意力机制的融合网络车道线检测方法及终端设备
本专利技术属于计算机视觉
，具体涉及基于注意力机制的融合网络车道线检测方法及终端设备。
技术介绍
车道线检测方法主要应用于自动驾驶领域，对车道线进行识别可确定车辆与当前车道的位置关系，进而判断实现以下功能：(1)车道偏移预警，(2)车道保持辅助，(3)车道居中辅助，(4)自动变道辅助。驾驶员辅助系统正是通过车道线检测结果为自动驾驶控制模块提供决策依据，车道线检测结果将在很大程度上决定驾驶员辅助系统的性能。目前，车道线检测已成为国内外学者研究和应用的热点，提出了较多的检测方法。由于深度学习的快速发展，且现在广泛用于各个领域，已取得较大突破。深度学习模型不依赖于人工提取特征，模型有着较高的鲁棒性和较好的检测性能，故当前基于深度学习的车道线检测方法成为主流。近几年，许多学者针对单一图像已提出许多复杂的车道线检测方法，但由于单一图像本身的局限性，导致在恶劣的情况下，如：重影、标记退化、遮挡等，检测方法表现较差。随着传感器的迅速发展，各种传感器的性能更加优越、价格更加低廉，使本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的融合网络车道线检测方法，所述方法包括：/n同步采集路面的自然图像和点云数据；/n将自然图像和点云数据输入预先建立和训练好的融合网络，输出车道检测结果；所述融合网络采用加入时序帧和注意力机制对点云数据和自然图像进行信息融合处理。/n

【技术特征摘要】
1.一种基于注意力机制的融合网络车道线检测方法，所述方法包括：
同步采集路面的自然图像和点云数据；
将自然图像和点云数据输入预先建立和训练好的融合网络，输出车道检测结果；所述融合网络采用加入时序帧和注意力机制对点云数据和自然图像进行信息融合处理。


2.根据权利要求1所述的基于注意力机制的融合网络车道线检测方法，其特征在于，所述融合网络包括：融合模块、Encoder模块、ConvLSTM模块和Decoder模块；
所述融合模块，用于通过嵌入注意力模型对点云数据和自然图像数据进行跨通道融合，输出融合的特征图至Encoder模块；
所述Encoder模块，用于提取融合模块生成特征图的特征，输出至ConvLSTM模块；
所述ConvLSTM模块，用于使用嵌入了卷积神经网络的长短期记忆网络对Encoder模块输出的特征进行处理，输出处理后的特征至Decoder模块；
所述Decoder模块，用于通过使用上采样恢复结果图的尺寸和分辨率，并通过SkipConnection将底层特征与高层特征进行融合。


3.根据权利要求1所述的基于注意力机制的融合网络车道线检测方法，其特征在于，所述融合模块包括：点云分支、图像分支和拼接单元；点云分支包括：点云卷积层、点云全局平均池化层、点云融合单元、点云sigmoid函数和点云Hadamard乘积单元；图像分支包括：图像卷积层、图像全局平均池化层、图像融合单元、图像sigmoid函数和图像Hadamard乘积单元；
点云卷积层，用于保持图片尺寸不变，输出特征图R0；图片尺寸为W*H，其中W为横向尺寸，H为纵向尺寸；特征图R0包括C个通道；
点云全局平均池化层，用于分别对特征图R0的C个通道相加求平均，输出点云数据的平均特征图，平均特征图的尺寸为1*1；
点云融合单元，用于将点云全局平均池化层输出的特征图，与图像全局平均池化层输出的同位置同层次的特征图进行融合，生成融合特征图FRP1；
点云sigmoid函数，用于将生成的融合特征图FRP1输入Sigmoid激励函数生成特征图SFRP1；
点云Hadamard乘积单元，用于将特征图SFRP1的尺寸转换为W*H，然后和特征图R0做Hadamard乘积，输出特征图featuremap1；
图像卷积层，用于保持图片尺寸不变，输出C个特征图P0；图片尺寸为W*H，特征图P0包括C个通道；
图像全局平均池化层，用于分别对特征图P0的C个通道相加求平均，输出图像数据的平均特征图，平均特征图的尺寸大小为1*1；
图像融合单元，用于将图像全局平均池化层输出的C个特征图，与图像全局平均池化层输出的同位置同层次的特征图进行融合，生成融合特征图FRP2；
图像sigmoid函数，用于将生成的融合特征图FRP2通过Sigmoid激励函数生成特征图SFRP2；
图像Hadamard乘积单元，用于特征图SFRP2的尺寸转换为W*H，然后和特征图R0做Hadamard乘积，输出特征图featuremap2；
拼接单元，用于将featuremap1和featuremap2做特征图通道拼接，形成尺寸大小为WxHx2C的特征图，并作为Encoder模块的输入。


4.根据权利要求3所述的基于注意力机制的融合网络车道线检测方法，其特征在于，所述点云融合单元的具体处理过程为：
点云融合特征图的第i个通道分别提取点云全局平均池化层输出的第i到第i+k个通道的特征图，以及图像全局平均池化层输出的第i到第i+k个通道的特征图，进行融合计算，得到点云融合特征图的第i个通道的特征图：



其中，yr为图像全局平均池化层输出的特征图，包括C个通道，其结构为首尾相接的环形，表示第i+j个通道的特征图；yp为图像全局平均池化层输出的特征图，包括C个通道，其结构为首尾相接的环形；表示第i+j个通道的特征图；表示自然图像的第j个通道...

【专利技术属性】
技术研发人员：张新钰，李志伟，李骏，宫彦，高鑫，刘华平，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11