基于改进U-Net的道路场景图像实时语义分割方法技术

本发明专利技术公开一种基于改进U

【技术实现步骤摘要】
基于改进U
‑
Net的道路场景图像实时语义分割方法


[0001]本专利技术涉及路况场景检测
，尤其涉及一种基于改进U
‑
Net的道路场景图像实时语义分割方法。

技术介绍

[0002]路况场景检测是在无人驾驶领域需要重点关注的内容。实时的语义分割技术能够对道路驾驶情况场景进行分割,帮助无人驾驶系统掌握道路情况，及时做出决策。图像处理领域中，常用语义分割技术实现图像分析。目前已有的图像语义分割方式并不能很好的达到精度和效率之间的平衡点，这就极大影响了其在实际环境中的使用，在进行更快速的图像语义分割的同时保证了其精确度,这也将使得分割网络得以真正的运用在实际情景中，尤其是对于某些计算资源受限的特殊应用场景。所以能否快速实现图像语义分割，提升语义分割的速度，同时保证语义分割模型的准确性，这也是当前图像语义分割待解决的关键。
[0003]传统语义分割任务主要利用图像的原始像素特征进行分类，这些像素特征包括亮度、纹理、颜色等。随着卷积神经网络(CNN)的发展，多种基于全卷积的语义分割算法相继提出，解决了传统语义分割精度差、丢失信息等不足。Long等
[4]提出全卷积神经网络(FCN)以编解码器方式实现低高层特征融合，实现更高精度的图像语义分割。随后，Ronneberger等提出一种对称语义分割模型U
‑
Net，U
‑
Net网络则采用了编码和解码结构，通过收缩路径及扩张路径的特征融合，在医学图像分割应用上取得较好效果。在面对一些小目标时表现，比如城市道路场景下的行人、树木或者其他外形相似的非同类别目标。U
‑
Net网络比其他深度神经网络表现更好。Badrinarayanan等提出SegNet模型，解决了FCN在语义分割过程中丢失感受野及细节信息的问题，该模型在解码器阶段通过池化索引方式对低分辨率的特征图进行上采样，在推理及计算时间上有较大优势。针对全卷积的对称语义分割网络忽略像素空间信息的问题，新型的扩张网络出现。Chen等提出DeepLabv1，该模型采用VGG
‑
16作为骨干网络，引入空洞卷积和全连接条件随机场(CRF)提高模型捕获细节能力。DeepLabv2将骨干网络替换为ResNet
‑
101，加入了空洞空间金字塔池化(ASPP)模块整合多尺度特征信息。DeepLabv3将空洞卷积应用在级联模块并改进了ASPP，DeepLabv3+使用空间金字塔池化模块(SPP)用于深度网络结构。由于这些网络更精细化，也意味着更多的计算量和参数量，语义分割在自动驾驶领域视为图像的密集分类，需要更高的实时性，因此DeepLab系列网络不适用于存储资源和计算资源有限的可移动设备。目前，已经出现较多的轻量级网络达到较高的精度及实时性，Zhang等提出了shuffleNet采用group convolution和channel shuffle两种操作在速度和精度之间做到平衡。Paszke等提出ENet，该网络采用早期下采样策略降低计算，利用非对称结构优化细节，加入非线性激活和空洞卷积实现较高的运行速度。Fan等认为BiSeNet额外增加分支增加了网络的运行时间，提出了STDC(short
‑
term dense concatenate)模块，该模块能够使用较少的参数量提取多尺度特征，同时改进了BiSeNet的multi
‑
path结构，提取低层细节特征同时减少网络计算量。
[0004]但是现有的实时语义分割网络对图像细节特征的处理能力较差，速度慢，并且难
以部署在移动端的问题。

技术实现思路

[0005]本专利技术针对现有的实时语义分割网络对图像细节特征的处理能力较差，速度慢，并且难以部署在移动端的问题，提出一种基于改进U
‑
Net的道路场景图像实时语义分割方法，采样阶段重设卷积模块，减少模型参数量，提高实时性推理速度。卷积之后增加通道域注意力，更高效提取上下文特征，提高像素所属类别的划分。优化上下采样融合阶段，增加多尺度空间注意力机制，补充对空间信息捕获能力，增强网络对特征表征，提升物体边界准确性，在少量参数的情况下保证实时效率并增加识别精度。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]一种基于改进U
‑
Net的道路场景图像实时语义分割方法，包括：
[0008]步骤1：在采样阶段，将原始U
‑
Net结构中标准卷积替换为深度可分离卷积，得到优化后的卷积块，并引入注意力模块来增强特征获取能力，补充上下文信息，得到通道域注意力深度卷积模块结构；
[0009]步骤2：在上下采样融合阶段，添加多尺度空间注意力级联模块，通过关注重点区域获取低维度空间并经过转换与高维特征融合，得到改进U
‑
Net；
[0010]步骤3：基于改进U
‑
Net对道路场景图像进行实时语义分割。
[0011]进一步地，所述深度可分离卷积针对输入特征图的每个通道先分别进行一个n
×
n的卷积，输出n个通道分离的特征，然后进行1
×
1卷积得到输出。
[0012]进一步地，所述注意力模块包含压缩和激励两个操作，压缩是一个全局平均池化过程，经过压缩操作后特征图变为1
×1×
C向量，激励操作由两个全连接层组成，压缩的输出向量作为激励的输入向量，经过转换再与原特征图相乘得到最后同原始特征大小的输出结果，其中C是通道数。
[0013]进一步地，所述多尺度空间注意力级联模块的输入特征为上采样阶段过程结果，经过两次池化操作得到不同信息特征表示。
[0014]与现有技术相比，本专利技术具有的有益效果：
[0015]本专利技术通过在采样阶段重设卷积模块，减少模型参数量，提高实时性推理速度。卷积之后增加通道域注意力，更高效提取道路场景图像上下文特征，提高像素所属类别的划分。优化上下采样融合阶段，增加多尺度空间注意力机制，补充对空间信息捕获能力，增强网络对特征表征，提升物体边界准确性，在少量参数的情况下保证实时效率并增加识别精度。所提方法在Cityscapes和CamVid两个数据集上的平均交并比(mIoU)分别达到70.6％和67.9％，相较于其他轻量级网络具有明显优势。
附图说明
[0016]图1为本专利技术实施例一种基于改进U
‑
Net的道路场景图像实时语义分割方法基本流程图。
[0017]图2为本专利技术实施例原始U
‑
Net结构示意图；
[0018]图3为本专利技术实施例CADCM结构示意图；
[0019]图4为本专利技术实施例DSConv结构示意图；
[0020]图5为本专利技术实施例SE注意力模块结构示意图；
[0021]图6为本专利技术实施例MSACM结构示意图；
[0022]图7为本专利技术实施例CSAU...

【技术保护点】

【技术特征摘要】
1.一种基于改进U
‑
Net的道路场景图像实时语义分割方法，其特征在于，包括：步骤1：在采样阶段，将原始U
‑
Net结构中标准卷积替换为深度可分离卷积，得到优化后的卷积块，并引入注意力模块来增强特征获取能力，补充上下文信息，得到通道域注意力深度卷积模块结构；步骤2：在上下采样融合阶段，添加多尺度空间注意力级联模块，通过关注重点区域获取低维度空间并经过转换与高维特征融合，得到改进U
‑
Net；步骤3：基于改进U
‑
Net对道路场景图像进行实时语义分割。2.根据权利要求1所述的基于改进U
‑
Net的道路场景图像实时语义分割方法，其特征在于，所述深度可分离卷积针对输入特征图的每个通道先分别进行一个n...

【专利技术属性】
技术研发人员：左方，罗振兴，白天水，
申请(专利权)人：河南大学，
类型：发明
国别省市：