一种用于交通道路路面信息的多任务联合感知网络模型及检测方法技术

本发明专利技术公开了一种用于交通道路路面信息的多任务联合感知网络模型及检测方法，可同时检测车道线和可行驶区域，将坐标注意力机制融入了传统的特征提取网络中保证不增加计算量的同时增强特征提取效果，在颈部网络中，本发明专利技术创新性地提出了膨胀卷积残差模块以增强网络对细节的预测性能，解码器部分则将可行驶区域的特征共享到车道线检测中以增强复杂路况下车道线检测效果。在训练环节，提出一种新颖的交替优化训练方法以提高模型整体的分割性能。本发明专利技术在具有挑战性的BDD100K数据集中取得了非常高的准确性和优异的速度表现，可行驶区域分割的mIoU达到92.51％，车道线检测准确率和IoU分别是87.29％和32.12％，并且整体推理速度达到39FPS，检测效果优于传统的单任务网络模型。网络模型。网络模型。

【技术实现步骤摘要】
一种用于交通道路路面信息的多任务联合感知网络模型及检测方法


[0001]本专利技术属于智能自动驾驶汽车环境感知
，特别设计了一种用于交通道路路面信息的多任务检测方法。

技术介绍

[0002]智能汽车的环境感知系统需要提取的信息分别是动静态障碍物和道路路面环境。动态障碍物主要是指车辆周边的其他车辆、行人以及地面上可能影响车辆安全行驶的动态或静态物体；道路路面环境主要指车辆周围的地理环境与道路交通信息，如车道线、道路边界线等，对于非结构化道路，道路环境感知可以简化为可行驶区域的检测。在自动驾驶感知系统中，对于车道线检测和可行驶区域检测这两类交通道路路面信息的检测是至关重要的。
[0003]目前大多数网络模型都是单独处理自动驾驶感知任务。针对车道线检测任务有很多基于深度学习的方案，基于CNN的车道线检测主要有三种，分别是基于分割的方法、基于锚定的方法和基于曲线拟合的方法。基于分割的方法有经典的SCNN使用逐层卷积实现了消息在行和列像素之间的传递，还有使用自注意力蒸馏模块来聚合上下文信息的SAD
‑
Enet；基于锚定方法的有LaneATT为了聚合全局信息提出了新的基于锚的注意力机制，UFLD是基于行锚的方法实现了超快的车道线检测速度，同时该网络也是第一个提出行分类的方法，行分类虽然保证了检测的速度，但是检测效果不是很好，尤其在车辆变道是会出现无法检测的问题；基于曲线拟合方法与单纯的点回归不同，其使用参数对车道线曲线进行建模并对这些参数进行回归，该方法比较经典的网络有PolyLaneNet，然而曲线拟合的方法在对高阶系数误差进行预测时会出现车道线变形的状况。
[0004]针对可行驶区域检测任务的处理大多使用语义分割的方法，使用语义分割可以使可行驶区域检测任务得到像素级别的结果，首次将全卷积网络引入语义分割领域的是FCN，即将图形级别的分类进一步延伸到像素级别的分类，但是该网络没有充分考虑像素与像素时间的关系从而缺乏空间一致性。SegNet在解码器的最大池化过程中计算对应编码器的非线性上采样从而省去上采样的学习过程。PSPNet融合了四种不同金字塔尺寸的特征形成一个包含不同子区域之间的不同尺度信息的模块，如此可以充分利用上下文关系。SNE
‑
RoadSeg是基于表面法向量提取的道路可行驶区域分割方法，该网络类似于U
‑
Net(U
‑
Net证明了使用跳跃连接有利于提高整个空间的分辨率)的编码和解码，在上采样部分融入表面法线估计器SNE的模块，该方法在自由空间检测方面表现优异。
[0005]尽管单任务处理方案已取得很好的检测效果，但是单个任务接续处理必然比多个任务共同处理所消耗的时间更长，在嵌入式设备上进行部署往往需要考虑延迟以及有限的计算资源。

技术实现思路

[0006]针对此问题，本专利技术提出了一种用于路面信息的多任务联合感知网络模型RSI
‑
Net，如图2所示，可用于同时处理车道线检测任务和可行驶区域分割任务。该网络模型包括数据前处理模块、Focus切片模块、骨干网络特征提取模块、特征融合模块、膨胀卷积残差模块、车道线检测分支模块、可行驶区域分割分支模块、特征共享模块。
[0007]首先利用数据前处理模块对输入的二维图像进行预处理，在预处理过程中使用数据增强对图像的光度和几何形状进行改变，具体的操作是调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转。
[0008]然后使用Focus切片模块对预处理后的图形进行切片处理，将图像中H和W维度的信息集中到通道空间中，从而使原有图像变成没有信息损失的二倍下采样图，接下来将处理好的图像传输到骨干网络特征提取模块中。
[0009]接下来使用改进后的CSPDarkNet53作为骨干网络特征提取模块对图形进行三次下采样以提取更多图形特征。CSPDarkNet53原本就具有优异的特征提取能力，可以保证不损失检测精度的前提下，降低整个模型的计算损耗。然而车道线和可行使区域属于纵深目标，需要网络模型捕获更多的方向和位置的感知信息，所以本专利技术将坐标注意力机制融入到CSPDarkNet53中的CBL模块和CSP模块之间，这样从CBL模块中卷积出来的特征图分别沿着垂直方向和水平方向聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系。
[0010]之后再将图像经过特征提取网络所得到的特征信息输入到特征融合模块，即特征金字塔网络FPN中，使得信息进一步融合。
[0011]在FPN后面的设计了一个膨胀卷积残差模块，针对本专利技术设计的网络模型较为轻量化，在保证推理速度的同时难免会导致模型感受野不足的情况，因此本专利技术设计加入了膨胀卷积残差模块以增强模型的感受野，让每个卷积输出都包含较大范围的信息。该模块采用四层3
×
3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系。
[0012]膨胀卷积残差模块的后端则是两个解码器，分别是车道线检测分支模块和可行驶区域分割分支模块，这两个解码器分别将从颈部网络(即膨胀卷积残差模块)输出的图像特征进行三次上采样，从而将图像还原到原来的1280
×
720的大小。
[0013]在这两个解码器之间本专利技术还设计了一个特征共享模块，将可行使区域分割分支模块第一次上采样出来的特征图与车道线检测分支模块第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测分支模块中进行第二次上采样。由于可行驶区域和车道线是相互交融的目标，使用特征共享模块可以将可行驶区域分割分支模块的特征信息共享到车道线检测分支模块任务中，从而为车道线检测提供有益的信息进而提高车道线检测的精度。
[0014]在整个网络模型训练环节，传统端到端的训练方式是最简单的，但是消耗计算和训练时间，所以为了压缩训练时间和优化参数本专利技术设计了一种全新的交替优化算法，逐步训练本专利技术的模型。
[0015]本专利技术还提出了一种用于交通道路路面信息的多任务检测方法，包括如下步骤：
[0016]S1图像预处理；
[0017]S2对预处理后的图像进行切片处理；
[0018]S3对S2切片处理后的图像进行融合坐标注意力机制的特征提取；
[0019]S4对提取的特征进行特征融合并增强感受野；
[0020]S5对融合后的特征进行可行使区域分割以及车道线检测，针对增强了感受野的特征进行三次上采样，将图像还原到原始大小；
[0021]S6对S5得到的特征图进行特征共享，将可行使区域分割时第一次上采样出来的特征图与车道线检测的第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测分支中进行第二次上采样。
[0022]进一步，所述S1的预处理包括：对输入的图像和标签进行调整大小处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，包括：包括数据前处理模块、Focus切片模块、骨干网络特征提取模块、特征融合模块、膨胀卷积残差模块、车道线检测分支模块、可行驶区域分割分支模块、特征共享模块；数据前处理模块，对输入的二维图像进行预处理，在预处理过程中使用数据增强对图像的光度和几何形状进行改变，具体的操作是调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转；Focus切片模块，对预处理后的图形进行切片处理，将图像中H和W维度的信息集中到通道空间中，从而使原有图像变成没有信息损失的二倍下采样图，接下来将处理好的图像传输到骨干网络特征提取模块中；骨干网络特征提取模块对切片后的图像进行三次下采样以提取更多图像特征；特征融合模块，接收骨干网络特征提取模块输出的图形特征，使得信息进一步融合；膨胀卷积残差模块，位于特征融合模块后面，其用于增强模型的感受野，让每个卷积输出都包含较大范围的信息；膨胀卷积残差模块的后端则是两个解码器，分别是车道线检测分支模块和可行驶区域分割分支模块，这两个解码器分别将从指膨胀卷积残差模块输出的图像特征进行三次上采样，将图像还原到原来的大小；特征共享模块，位于所述两个解码器之间，其将可行使区域分割分支模块第一次上采样出来的特征图与车道线检测分支模块第一次上采样出来的特征图进行Add操作，并将Add操作过后的特征图输入到车道线检测分支模块中进行第二次上采样。2.根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，骨干网络特征提取模块，采用改进的CSPDarkNet53，本发明将坐标注意力机制融入到CSPDarkNet53中的CBL模块和CSP模块之间，这样从CBL模块中卷积出来的特征图分别沿着垂直方向和水平方向聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系。3.根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，特征融合模块，采用特征金字塔网络FPN。4.根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，膨胀卷积残差模块，采用四层3
×
3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系。5.根据权利要求1
‑
4任一项所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，所述模型的损失函数包括可行区域分割损失函数和车道线分割损失函数这两种损失函数都包含交叉熵Logits的损失函数，其中在车道线损失函数中加入了IoU损失：则和分别设计为：分别设计为：
模型最终的损失函数是两个损失函数的加权和：其中，γ1和γ2为调整因子；所述模型的训练采用交替优化算法，具体如下：第一步训练编码器和可行驶区域分割头；第二步冻结可行驶区域分割头的训练权重，解锁车道线检测分割头；第三步训练编码器和车道...

【专利技术属性】
技术研发人员：王海，张桂荣，蔡英凤，陈龙，李祎承，刘擎超，
申请(专利权)人：江苏大学，
类型：发明
国别省市：