一种基于双注意力和密集连接的城市道路语义分割方法技术

本发明专利技术涉及图像分割技术领域，公开了一种基于双注意力和密集连接的城市道路语义分割方法包括以下步骤：构建城市道路语义分割数据集；构建深度卷积神经网络，所述深度卷积神经网络包括编码器模块、双注意力机制融合模块、密集连接并联池化模块、多尺度特征融合模块以及解码分支；利用所给的城市道路数据集对深度卷积神经网络进行训练，调整网络参数；将需要预测的图像输入进网络中获得语义分割结果。本发明专利技术能够较好的应对轻量级道路图像预测网络所需的预测速度与精度需求。所需的预测速度与精度需求。所需的预测速度与精度需求。

【技术实现步骤摘要】
一种基于双注意力和密集连接的城市道路语义分割方法


[0001]本专利技术涉及图像分割
，尤其涉及一种基于双注意力和密集连接的城市道路语义分割方法。

技术介绍

[0002]道路场景的实时语义分割是图像处理的一个重要应用场景。通过车载摄像头拍摄的图像数据是由不同元素的不同像素组合在一起形成的，将这些像素按照元素分类的方法称为语义分割。基于深度学习的图像语义分割是近些年的研究热点，随着大量原本在图像分类、目标检测和自然语言处理等领域获得成功的深度学习方法被迁移到语义分割领域，图像语义分割得到了重大的突破，相对应适应各方向如自动驾驶、卫星遥感分割、农植物分割以及医学影像分割等多种具体应用方向上也得到了全面的发展。对于自动驾驶而言，面对道路场景的语义分割算法是实现自动驾驶的重要辅助手段，通过对车辆自身的摄像头返回的图像数据当中的行人、车辆以及建筑等与行车安全相关的目标进行精确到像素的分割，为自动驾驶汽车或机器智能提供切实的路况信息，从而保证行驶的安全性。然而在现实道路中，场景的复杂性、目标的多样性以及图像处理的实时性都极大要求了语义分割的效果。由此可见，如何提高道路场景语义分割的准确性和网络反应的快速性具有很重要的研究意义。
[0003]为了有效提升网络的分类准确性和快速性，相关研究人员从不同角度进行了大量的研究工作，并且取得了不错的效果。根据语义分割演变历程，在深度学习出来之前传统的语义分割算法主要根据图像的颜色、纹理、灰度、几何特征等信息将图像分割成不同的区域，但是这种方法实施过程比较繁琐、效率低且准确度不高，而且在很多方面具有局限性，特定的方法只能应用于特定的任务，泛化性能较弱。近年来，随着深度学习的发展，尤其是卷积神经网络的迅速迭代，受到了各相关领域研究人员的广泛关注，随之提出了AlexNet、GoogleNet、VGG、ResNet等优秀的网络模型。这些模型能够在大量的带有标签的样本中学习到有用的特征，相对于传统方法具有较高的准确率。2015年，Shelhamer等人提出了全卷积神经网络FCN(Fully Convolutional Network)的方法，设计了一种面对任意大小输入图像端到端逐像素分类的框架，奠定了使用深度卷积神经网络解决语义分割问题的一种基础框架。但是由于FCN的结果在边缘问题的处理上不够精细，而且仅仅是对单一尺度进行处理。在此基础上，Ronneberger等人提出了一种基于对称原理的语义分割模型U
‑
Net，该模型通过收缩通路捕获上下文信息再将边缘信息映射到扩张通路形成对图像的语义分割。U
‑
Net针对图像切块的方式进行训练，这样即使在训练数据集较少的情况下训练出的模型数据也能较好的拟合所需性能，有较好的鲁棒性。针对于FCN中会出现的感受野大小较为固定且分割细节易丢失问题，Brdrinarayanan等人提出一种深度卷积神经网络SegNet用于对图像语义分割。SegNet模型是一种典型的编码器
‑
解码器结构，在编码的过程中将图像的特征提取出来，然后在解码时将高尺度特征图映射到原图分辨率的特征图中从而对像素进行分类。其创新在于解码端对低分辨率特征图以池化索引方式进行上采样，训练参数较少，在模型
规模以及反应实时性上极为有优势。
[0004]针对于全卷积形式的对称网络分割算法忽略了对应像素点的空间一致性等问题，基于全卷积神经网络的空洞卷积语义分割算法纷纷涌现。Chen等人提出了一种基于空洞卷积的语义分割算法DeepLabV1，该网络主干部分采用VGG
‑
16，并且引入空洞卷积与条件随机场，提高了整体模型对于图像细节和图形边界的敏感度，获得了较为良好的分割效果。DeepLabV2网络相对于DeepLabV1网络将主干网络改进为了ResNet
‑
101，并且在主干网络后引入了空洞空间金字塔池化模块(ASPP)，ASPP模块以多个膨胀率的滤波器输入卷积，从而将输入图像的多尺度信息整合。DeepLabV3为了实现在多个尺度对输入图像进行分割，设计了级联并行的空洞卷积模块，以多种膨胀率捕获各种尺度的上下文信息。DeepLabV3+网络通过在DeepLabV3网络的基础上添加了解码器模块，使网络整体变成了编码器
‑
解码器结构，融合了多尺度信息，获得了更加清晰的边界，优化了分割结果。
[0005]然而，目前的语义分割算法模型参数量过多，参数过大，导致在面对轻量级场景以及实时性要求较强的场景时不够理想，限制了语义分割技术的实际落地应用。例如在自动驾驶中，具有语义分割的实时性十分重要，能够及时的将图像获取设备获得的信息处理并即使反馈给控制系统。而现在追求快速的语义分割算法往往只采用了编码到解码的简单结构，忽略了多尺度信息以及边缘信息的重要性，导致分割精度过低，难以满足日常使用的需求。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于双注意力和密集连接的城市道路语义分割方法。
[0007]一种基于双注意力和密集连接的城市道路语义分割方法，包括以下步骤：
[0008]步骤1、构建城市道路语义分割数据集；
[0009]步骤2、构建深度卷积神经网络，所述深度卷积神经网络包括编码器模块、双注意力机制融合模块、密集连接并联池化模块、多尺度特征融合模块以及解码分支；所述编码器模块用于对输入图像进行编码获得多种尺度特征信息，所述双注意力机制融合模块对特征图重点区域提高权重并抑制对无用信息的获取，所述密集连接并联池化模块用于扩大同等卷积核下感受野范围并增加信息复用效率，所述多尺度特征融合模块用于将编码器的部分特征图与密集连接空洞空间金字塔池化模块特征图相融合，所述解码分支用于将高维度特征图通过上采样恢复到原图尺寸得到语义分割预测图；
[0010]步骤3、利用城市道路场景数据集对深度卷积神经网络进行训练修正相关网络参数；
[0011]步骤4、将待分割道路场景图片输入进训练完成的深度卷积神经网络获得语义分割结果。
[0012]进一步的，所述编码器模块结构为：
[0013]移除MobileNetV3最后四层用于分类任务的卷积池化层；
[0014]将MobileNetV3中连续的下采样瓶颈结构，根据所要产生的多尺度特征图重新划分为四个连续的瓶颈结构。
[0015]进一步的，所述瓶颈结构的输出特征为：
[0016][0017]其中：k表示瓶颈结构中倒残差块的个数，x表示输入此环节的特征图，A
i
表示1
×
1的升维卷积，D
i
表示倒残差块中的3
×
3深度可分卷积，α表示注意力参数，E
i
表示空间注意力机制权重，B
i
表示1
×
1降维卷积，
⊕
表示加权操作。
[0018]进一步的，所述双注意力机制融合模块的结构具体包括：
[0019]对于输入特征图F分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双注意力和密集连接的城市道路语义分割方法，其特征在于，包括以下步骤：步骤1、构建城市道路语义分割数据集；步骤2、构建深度卷积神经网络，所述深度卷积神经网络包括编码器模块、双注意力机制融合模块、密集连接并联池化模块、多尺度特征融合模块以及解码分支；所述编码器模块用于对输入图像进行编码获得多种尺度特征信息，所述双注意力机制融合模块对特征图重点区域提高权重并抑制对无用信息的获取，所述密集连接并联池化模块用于扩大同等卷积核下感受野范围并增加信息复用效率，所述多尺度特征融合模块用于将编码器的部分特征图与密集连接空洞空间金字塔池化模块特征图相融合，所述解码分支用于将高维度特征图通过上采样恢复到原图尺寸得到语义分割预测图；步骤3、利用城市道路场景数据集对深度卷积神经网络进行训练修正相关网络参数；步骤4、将待分割道路场景图片输入进训练完成的深度卷积神经网络获得语义分割结果。2.根据权利要求1所述的一种基于双注意力和密集连接的城市道路语义分割方法，其特征在于，所述编码器模块结构为：移除MobileNetV3最后四层用于分类任务的卷积池化层；将MobileNetV3中连续的下采样瓶颈结构，根据所要产生的多尺度特征图重新划分为四个连续的瓶颈结构。3.根据权利要求2所述的一种基于双注意力和密集连接的城市道路语义分割方法，其特征在于，所述瓶颈结构的输出特征为：其中：k表示瓶颈结构中倒残差块的个数，x表示输入此环节的特征图，A
i
表示1
×
1的升维卷积，D
i
表示倒残差块中的3
×
3深度可分卷积，α表示注意力参数，E
i
表示空间注意力机制权重，B
i
表示1
×
1降维卷积，
⊕
表示加权操作。4.根据权利要求1或3所述的一种基于双注意力和密集连接的城市道路语义分割方法，其特征在于，所述双注意力机制融合模块的结构具体包括：对于输入特征图F分为三个特征分支，其中对于第一个特征分支进行通道注意力特征化具体为：对F分别进行平均池化与最大池化，然后经过同一个多层感知机获得两个输出特征F
avg_feature
和F
max_feature
，将这两个特征经过一个卷积得到通道特征图F
channel_feature
，最后将F
channel_feature
与F融合特征得到此特征分支的输出F
c
；对于第二个特征分支空间注意力特征化具体为：对F分别进行平均池化与最大池化，然后经过特征堆叠获得F
concat
，经过空间注意力卷积池化与标准化操作后得到空间特征图F
spatial_feature
，然后将F
spatial_feature
与F进行特征融合得到此特征分支的输出F
s
；对第三个特征分支特征细节保留，将输入F进行3
×
3卷积之后得到此特征分支的输出F
r
，最后将三个特征分支的输出F
c
，F
s
，F
r
进行堆叠作为双注意力机制融合结构的输出F
out
。5.根据权利要求4所述的一种基于双注意力和密集连接的城市道路语义分割方法，其特征在于，所述密集...

【专利技术属性】
技术研发人员：林勇，苏羿安，林学威，方贤宝，钟乐天，金钊，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：