基于边界细节补偿和相似特征强化的实时道路检测方法技术

本发明专利技术公开了一种基于边界细节补偿和相似特征强化的实时道路检测方法，包括：采用多尺度图像特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；采用边界细节补偿模块对提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征；采用相似特征强化模块对得到的道路边界细节补偿后的高层语义图像特征进行基于相似度的局部特征聚合；道路检测，采用第一分类器基于输出的强化图像特征图，输出所述单帧图像场景中的道路检测结果。该方法通过边界细节补偿模块和相似特征强化模块，解决了轻量级特征提取器道路边界预测不准确和在复杂场景条件下易产生道路误检和漏检的问题，提高了道路检测网络的实时性、鲁棒性和准确性。鲁棒性和准确性。鲁棒性和准确性。

【技术实现步骤摘要】
基于边界细节补偿和相似特征强化的实时道路检测方法


[0001]本专利技术属于自动驾驶
，更具体地，涉及一种基于边界细节补偿和相似特征强化的实时道路检测方法。

技术介绍

[0002]道路检测作为自动驾驶技术的基础和必要模块，为其他自动驾驶高层任务提供中间结果和先验知识。单目相机相比激光雷达和双目相机等传感器应用场景广泛且价格低廉，可用于检测前方道路区域。
[0003]近年来，基于深度学习的道路检测方法相对于传统基于特征的方法，取得了更高的精度和更好的鲁棒性。这些基于深度学习的方法采用注意力机制(Sun,Jee
‑
Young et al.“Reverse and Boundary Attention Network for Road Segmentation.”2019IEEE/CVF International Conference on Computer Vision Workshop(ICCVW)(2019):876
‑
885.)、CNN+LSTM混合结构(Lyu,Yecheng et al.“Road Segmentation using CNN and Distributed LSTM.”2019IEEE International Symposium on Circuits and Systems(ISCAS)(2019):1
‑
5.)、贝叶斯模型和额外的道路边界监督(Chen,Z.and Zijing Chen.“RBNet:A Deep Neural Network for Unified Road and Road Boundary Detection.”ICONIP(2017).)等语义分割领域常用的技术手段提高道路检测性能。然而，这些高性能的道路检测方法普遍采用较深和较宽的骨干网络，无法满足车载设备的算力和功耗限制以及自动驾驶任务的实时性要求。直接采用轻量级骨干网络却遭遇以下问题，限制了道路检测的精度：(1)道路边界的预测不准确，特别是与行人、车辆、骑车人的相交边界；(2)在照度剧烈变化、雨雪天气、十字路口等复杂场景条件下，道路检测不鲁棒。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于边界细节补偿和相似特征强化的实时道路检测方法，其目的在于解决现有单目道路检测方法无法得到实时、精确、鲁棒的道路可行驶区域的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于边界细节补偿和相似特征强化的实时道路检测方法，包括以下步骤：
[0007]步骤S1，利用深度卷积神经网络特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；
[0008]步骤S2，采用边界细节补偿模块对步骤S1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征；
[0009]步骤S3，采用相似特征强化模块对步骤S2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；
[0010]步骤S4，将步骤S3输出的强化图像特征图输入第一分类器，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
[0011]优选地，步骤S1中的多尺度图像特征提取器，采用PeleeNet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
[0012]每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
[0013]阶段三和阶段四中的3
×
3卷积层均为空洞卷积；
[0014]输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
[0015]优选地，所述步骤S2中，边界细节补偿模块采用带恒等连接的变换模块融合多尺度图像特征，具体包括：
[0016]步骤S21，将步骤S1输出的低层细节图像特征图依次输入1
×
1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S21输出的图像特征图；
[0017]步骤S22，将步骤S1输出的高层语义图像特征图依次输入3
×
3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S22输出的图像特征图；
[0018]步骤S23，将步骤S22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤S21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S23输出的道路边界细节补偿后的高层语义图像特征图。
[0019]优选地，所述边界细节补偿模块中变换模块采用两条支路进行特征变换；
[0020]一条支路依次采用卷积核为k
×
1和1
×
k的深度可分离卷积；
[0021]另一条支路依次采用卷积核为1
×
k和k
×
1的深度可分离卷积；
[0022]两条支路输出的图像特征图进行逐像素点加法操作，并输入到1
×
1的卷积层。
[0023]优选地，所述相似特征强化模块采用相似度度量捕捉局部上下文信息，对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：
[0024]步骤S31，采用两个参数不共享的1
×
1卷积层分别对道路边界细节补偿后的高层语义图像特征图X∈R
C
×
H
×
W
进行通道调整，得到张量θ∈和张量其中C为道路边界细节补偿后的高层语义图像特征图X的通道数，为张量θ、φ的通道数，H为张量θ、φ高度维度上的尺寸，W为张量θ、φ宽度维度上的尺寸；
[0025]步骤S32，对张量进行展开操作，得到张量改变张量的形状得到张量
[0026]步骤S33，改变步骤S31的输出张量φ的形状得到张量
[0027]步骤S34，对张量θ
S
和张量φ
S
进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图V
S
∈R
L
×
S
×1；
[0028]步骤S35，改变步骤S32展开操作的输出张量的形状得到张量的形状得到张量对张量γ
S
和相似度地图V
S
进行矩阵乘法运算，得到注意力地图进行矩阵乘法运算，得到注意力地图
[0029]步骤S36，改变步骤S35输出注意力地图O
S
的形状得到张量的形状得到张量采用1
×
1的卷积层对其通道进行调整，得到张量
[0030]步骤S37，对步骤S31输入的图像特征图X和步骤S36输出的张量进行逐像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，包括以下步骤：步骤S1，利用多尺度图像特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；步骤S2，采用边界细节补偿模块对步骤S1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征图；步骤S3，采用相似特征强化模块对步骤S2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；步骤S4，将步骤S3输出的强化图像特征图输入第一分类器，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。2.如权利要求1所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述步骤S1中的多尺度图像特征提取器，采用PeleeNet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；阶段三和阶段四中的3
×
3卷积层均为空洞卷积；输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。3.如权利要求1或2所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述步骤S2中，边界细节补偿模块采用带恒等连接的变换模块融合多尺度图像特征，具体包括：步骤S21，将步骤S1输出的低层细节图像特征图依次输入1
×
1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S21输出的图像特征图；步骤S22，将步骤S1输出的高层语义图像特征图依次输入3
×
3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S22输出的图像特征图；步骤S23，将步骤S22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤S21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S23输出的道路边界细节补偿后的高层语义图像特征图。4.如权利要求3所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，变换模块采用两条支路进行特征变换；一条支路依次采用卷积核为k
×
1和1
×
k的深度可分离卷积；另一条支路依次采用卷积核为1
×
k和k
×
1的深度可分离卷积；两条支路输出的图像特征图进行逐像素点加法操作，并输入到1
×
1的卷积层。5.如权利要求1所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述步骤S3中，相似特征强化模块采用相似度度量捕捉局部上下文信息，对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：步骤S31，采用两个参数不共享的1
×
1卷积层分别对道路边界细节补偿后的高层语义
图像特征图X∈R
C
×
H
×
W<...

【专利技术属性】
技术研发人员：白翔，方聪，周瑜，朱盈盈，龚石，吴帆，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：