一种基于深度学习的事件相机车道线提取方法技术

本发明专利技术提供的是一种基于深度学习的事件相机车道线提取方法。本发明专利技术提出了一种基于结构先验的网络，该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。为了进一步提高车道线提取的精度，该发明专利技术引入了一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，对车道线进行拟合，并最终完成车道线提取任务。

An event camera Lane extraction method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的事件相机车道线提取方法
本专利技术属于图像处理
，特别涉及基于深度学习的事件相机车道线提取方法。
技术介绍
车道线提取是自动驾驶领域里的基础而重要的任务。近年来，先进的车道线提取方法都利用了深度学习模型，这些深度学习的方法通常利用的数据为RGB图像，即普通光学相机图像。然而普通光学图像由于成像机制天然地存在运动模糊，动态范围较小的缺点。为了解决这些问题，该专利技术引入具有低延时，动态范围高的优点的动态视觉传感器(DVS,一种事件相机)，并构建数据集来进行车道线提取任务。为了在DVS图像上很好的提取车道线，本专利技术提出了一种基于结构先验的网络。该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。为了进一步提高车道线提取的精度，该专利技术引入了一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，对车道线进行拟合，并最终完成车道线提取任务。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的事件相机车道线提取方法，该方法能够更好地解决由于普通光学相机在一些恶劣环境(如隧道出入口)成像质量差导致车道线提取困难的问题，提出的基于结构先验的网络能够对DVS图像上的车道线进行高精度提取。本专利技术的原理是：将DVS产生的事件流建立图像帧，将图像帧送入神经网络进行语义信息提取。网络的特征提取部分由基网络和全向切片卷积模块组成，基网络通过卷积和池化来进行语义信息的提取，全向切片卷积模块利用了一种多方向的消息传递机制来捕获像素间上下文关系。将网络输出结果进行后处理，得到最终的车道线提取结果。本专利技术采用的技术方案是一种基于深度学习的事件相机车道线提取方法，包括以下具体步骤：步骤1，将DVS产生的事件流建立图像帧；步骤2，将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络包括依次连接的基网络和全向切片卷积模块，其中所述基网络通过卷积和池化来进行语义特征的提取，全向切片卷积模块通过建立像素在图像平面上垂直、水平、对角线、反对角线方向上的空间上下文关系，得到更加精细的车道线结构特征；然后对全向切片卷积模块输出的车道线结构特征进行上采样处理得到和原图像大小相同的概率图，训练过程中采用交叉熵损失函数来使网络的输出和标签的分布尽可能一致；步骤3，利用训练完成的权重进行前向传播得到基于结构先验的网络的输出，通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合，得到最终的车道线检测结果。进一步的，所述基网络是largeFOV。进一步的，所述全向切片卷积模块的处理过程如下，设输入的3D特征张量的大小是C*H*W，其中3D特征张量即基网络的输出，C、H、W分别代表特征的通道数，行数和列数；(1)通过消息沿着列方向传播构建像素在图像平面行与行之间的空间关系：首先将输入特征分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积，w是滤波器的宽度；按照从上到下的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组一；按照从下到上的方向，依次将特征切片组一中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组二，将特征切片组二进行合并操作得到新的特征一；(2)通过消息沿着行方向传播构建像素在图像平面列与列之间的空间关系：首先将特征一分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*1*h的滤波器进行卷积，h是滤波器的高度；按照从左到右的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组三；按照从右到左的方向，依次将特征切片组三中的上一个切片卷积后的结果与当前切片相加，形成新的特征切片组四，将特征切片组四进行合并操作得到新的特征二；(3)通过消息沿着行与列的对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征二分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积；按照从上到下的方向，依次将上一个切片卷积后的结果右移指定像素单位后与当前切片相加，形成新的特征切片组五；按照从下到上的方向，依次将特征组五中的上一个切片卷积后的结果左移指定像素单位后与当前切片相加，形成新的特征切片组六；将新的特征切片组六进行合并操作得到新的特征三；(4)通过消息沿着行与列的反对角线方向传播构建像素在图像平面斜向的空间关系：首先将特征三分成W切片，那么每一个切片的大小是C*H*1，然后用一个大小为C*h*1的滤波器进行卷积；按照从左到右的方向，依次将上一个切片卷积后的结果上移指定像素单位后与当前切片相加，形成新的特征切片组七；按照从右到左的方向，依次将上一个切片卷积后的结果下移指定像素单位后与当前切片相加，形成新的特征切片组八；将新的特征切片组八进行合并操作得到新的特征四。与现有技术相比，本专利技术具有如下优点和有益效果：(1)将事件相机引入车道线检测领域：利用事件相机动态范围高，低延迟的优点，使得车道线提取任务能够适应更加恶劣的环境。比如隧道进出口(通常强曝光导致普通光学相机成像质量差)(2)提出了一种基于结构先验的网络：该网络通过利用全向切片卷积模块能够很好的捕获像素间的空间关系，特别是表现为细长形状的目标的空间关系。车道线提取精度优于目前先进水平。(3)简单有效的后处理方式：利用一种基于模特卡罗采样和最小二乘的多项式拟合的后处理方法，实现快速精确的车道线曲线拟合。附图说明图1为DVS事件流和建帧示意图。图2为DVS图像和可见光图像在隧道出口时成像效果对比，T1～T5分别为不同。图3为本专利技术实施例处理流程图。图4为本专利技术实施例全向切片卷积模块中，水平的切片卷积流程图(a)和垂直方向上的切片卷积流程图(b)。图5为本专利技术实施例全向切片卷积模块中：主对角线的切片卷积流程图(a)和反对角线上的切片卷积流程图(b)。图6为本专利技术实施例可视化实验结果对比，其中(a)列为输入图像，(b)列为标签，(c-g)列分别是FCN，DeepLabv3，RefineNet，SCNN算法和本专利技术算法的实验结果。图7为本专利技术实施例通过后处理方法拟合得到的最终车道线提取结果，其中(a)列为标签，(b)列为后处理前本专利技术方法的输出结果，(c)列为没有利用蒙特卡罗采样直接最小二乘拟合的结果，(d)-(g)列为采样点分别为500，1000，3000，5000拟合的结果。具体实施方式为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图对本专利技术进一步详细说明。本专利技术提供一种基于深度学习的事件相机车道线提取方法，包括如下步骤：步骤1：将DVS产生的事件流建立图像帧，建帧的方法一般是通过将一段时间里的相应的事件累积起来，最终以二进制图像进行表达，如图1所示。步骤2：将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：本文档来自技高网...

【技术保护点】
1.一种基于深度学习的事件相机车道线提取方法，其特征在于，包括如下步骤：/n步骤1，将DVS产生的事件流建立图像帧；/n步骤2，将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络包括依次连接的基网络和全向切片卷积模块，其中所述基网络通过卷积和池化来进行语义特征的提取，全向切片卷积模块通过建立像素在图像平面上垂直、水平、对角线、反对角线多种方向上的空间上下文关系，得到更加精细的车道线结构特征；然后对全向切片卷积模块输出的车道线结构特征进行上采样处理得到和原图像大小相同的概率图，训练过程中采用交叉熵损失函数来使网络的输出和标签的分布尽可能一致；/n步骤3，利用训练完成的权重进行前向传播得到基于结构先验的网络的输出，通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合，得到最终的车道线检测结果。/n

【技术特征摘要】
1.一种基于深度学习的事件相机车道线提取方法，其特征在于，包括如下步骤：
步骤1，将DVS产生的事件流建立图像帧；
步骤2，将生成的DVS图像和对应的语义标签送入基于结构先验的网络里进行监督训练：所述基于结构先验的网络包括依次连接的基网络和全向切片卷积模块，其中所述基网络通过卷积和池化来进行语义特征的提取，全向切片卷积模块通过建立像素在图像平面上垂直、水平、对角线、反对角线多种方向上的空间上下文关系，得到更加精细的车道线结构特征；然后对全向切片卷积模块输出的车道线结构特征进行上采样处理得到和原图像大小相同的概率图，训练过程中采用交叉熵损失函数来使网络的输出和标签的分布尽可能一致；
步骤3，利用训练完成的权重进行前向传播得到基于结构先验的网络的输出，通过对网络输出结果进行模特卡罗采样，然后进行最小二乘多项式拟合，得到最终的车道线检测结果。


2.如权利要求1所述的一种基于深度学习的事件相机车道线提取方法，其特征在于：所述基网络是largeFOV。


3.如权利要求1所述的一种基于深度学习的事件相机车道线提取方法，其特征在于：所述全向切片卷积模块的处理过程如下，
设输入的3D特征张量的大小是C*H*W，其中3D特征张量即基网络的输出，C、H、W分别代表特征的通道数，行数和列数；
(1)通过消息沿着列方向传播构建像素在图像平面行与行之间的空间关系：首先将输入特征分成H切片，那么每一个切片的大小是C*1*W，然后用一个大小为C*1*w的滤波器进行卷积，w是滤波器的宽度；按照从上到下的方向，依次将上一个切片卷积后的结果与当前切片相加，形成新的特征切片组一；按照从下到...

【专利技术属性】
技术研发人员：杨文，罗豪，程文胜，余磊，徐芳，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42