基于密集连接和交叉融合的图像语义实时分割方法技术

本发明专利技术涉及一种基于密集连接和交叉融合的图像语义实时分割方法，属于图像语义分割技术领域，包括以下步骤：S1：构建通道交流瓶颈残差单元CBRU，在下采样的同时，补充空间信息和上下文信息；S2：构建密集连接的通道交流瓶颈残差模块DCBR，在CBRU单元间使用元素加密集连接的方法，在各个阶段对深层次语义信息和低层次细节信息进行融合；S3：构建多分辨率交叉融合模块MCFM，将浅层空间信息和深层语义信息相融合；S4：基于步骤S1

【技术实现步骤摘要】
基于密集连接和交叉融合的图像语义实时分割方法


[0001]本专利技术属于图像语义分割
，涉及一种基于密集连接和交叉融合的图像语义实时分割方法。

技术介绍

[0002]传统的语义分割算法包括阈值分割、聚类、基于边缘分割、基于图分割和基于区域分割算法等。但以上传统的图像语义分割算法只能运用于简单的分割场景，不能满足自动驾驶场景需求，其对图像的特征描述不够深入，难以区分城市街景中的不同目标类。但在深度学习被应用于图像语义分割之前，传统的图像语义分割算法对简单场景具有积极影响。
[0003]自卷积神经网络提出以来，基于深度学习的语义分割方法在预测精度上不断提高，但依旧由于参数量和计算量过大而无法用于简单的移动设备资源上。直至ENet的出现，实时分割网络算法模型开始展现。
[0004]随着自动驾驶领域的不断发展，对实时性语义分割网络的需求在不断提高。目前，有很多技术减轻了网络模型的沉重，轻量级模型也不断涌现。ESNet遵循对称的编码器
‑
解码器架构，提出一个并行分解卷积单元模块，具有多分支并行卷积、多分支空洞卷积和逐点卷积。ESNet体系结构的对称性降低了网络的复杂性，从而减少了推理时间。并行分解卷积单元模块以一种强大的方式学习非并行特征表示，而不增加计算复杂度。ShelfNet18由多个编码器
‑
解码器分支组成，使用了共享权重和残差块。为了减少推理时间，ShelfNet18提出了信道缩减策略，有效地减少了计算成本。不同编码器
‑
解码器分支的使用改善了计算过程，提高了分割精度。在相同残差块的卷积层之间共享权重，以减少网络参数的数量而不降低精度。LEDNet是一种新型的轻量级网络，其重点在于减少网络参数的数量。它遵循非对称编码器
‑
解码器架构，并使用信道变换来提高推理速度。LEDNet的解码器中使用基于注意力的金字塔网络，以扩大感受野，同时减轻网络额外的计算复杂性。此外，非对称编码器
‑
解码器结构表明了小解码器尺寸可以提高推理速度方面的性能。RGPNet提出密集连接的编解码器网络架构，该架构基于ResNet骨干，具有轻量级编码器。RGPNet通过引入一个适配器模块来捕获多个抽象级别，以帮助细分片段的边界细化。适配器还通过增加短路径来辅助梯度流动。RGPNet结合多尺度特征的策略带来了出色的性能，但与其他一些方法相比，该模型相当大且缓慢。
[0005]目前实时语义分割网络相关研究已经不断涌现，为使网络处理速度有所提升，意味着要减少卷积神经网络的深度以及参数，这使得网络预测精度有所下降。但过于追求推理速度的提升，也会导致分割效果不佳，失去语义分割的最初目的，因此对于网络结构的精度、推理速度和参数之间难以达到良好的平衡。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于针对城市街景下轻量级网络过多依赖精度指标或过多依赖推理速度指标而忽略性能和效率平衡的问题，提供一种提出基于密集连接和交叉融
合的实时分割网络(DCCFNet)。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]一种基于密集连接和交叉融合的图像语义实时分割方法，包括以下步骤：
[0009]S1：构建通道交流瓶颈残差单元(Channel Communication Bottleneck Residual Unit，CBRU)，在下采样的同时，补充空间信息和上下文信息；
[0010]S2：构建密集连接的通道交流瓶颈残差模块(Densely Connected Channel Communication Bottleneck Residual，DCBR)，在CBRU单元间使用元素加密集连接的方法，在各个阶段对深层次语义信息和低层次细节信息进行融合；在CBRU单元间使用元素加密集连接的方法，该模块消除CBRU单元中由于空洞卷积造成的网格伪影。同时，DCBR模块在各个阶段对深层次语义信息和低层次细节信息进行融合，使模型给出更平滑的决策边界。本方案不会增加模型设置的通道数，参数量低，计算量也大大降低。
[0011]S3：构建多分辨率交叉融合模块(Multi
‑
resolution Cross
‑
fusion Module，MCFM)，将浅层空间信息和深层语义信息相融合；
[0012]S4：基于步骤S1
‑
S3构建的模块，构建基于密集连接和交叉融合的实时分割网络DCCFNet，对图像语义进行实时分割。
[0013]进一步，所述通道交流瓶颈残差单元CBRU在开头使用3
×
3卷积，将通道数减少为原来的一半，这大大减少了模型的通道数，也保留了空间信息和上下文信息；
[0014]在经过3
×
3卷积之后，特征分别通过两分支的深度卷积操作，使用3
×
1和1
×
3的深度可分离卷积和1
×
3和3
×
1的深度可分离卷积分别对特征进行处理；
[0015]然后再进行元素加法操作，增强两分支的信息交流；
[0016]接着使用空洞卷积对特征进一步提取，对上下文信息进一步融合；
[0017]再然后使用1
×
1卷积恢复原本通道数，提高模型表达能力；
[0018]最后利用通道混洗操作对特征进行处理，进一步便于信息在特征通道中传输。
[0019]本方案将深度可分离卷积和空洞卷积相结合，深度可分离卷积在保持精度的同时大大减少了参数，对局部信息和全局信息进行提取，空洞卷积放大了感受野，帮助上下文信息交流而不会降低分辨率。
[0020]进一步，所述多分辨率交叉融合模块MCFM的处理步骤如下：
[0021]S31：将1/8分辨率的特征图经过3
×
1和1
×
3的分解卷积进行降维，然后使用1
×
1卷积和Sigmoid激活函数得到注意力图与1/8分辨率的输入特征图相乘，得到x1；
[0022]S32：将1/2分辨率的特征图分支同样经过3
×
1和1
×
3的分解卷积，然后进行下采样操作，得到分辨率为1/4的特征，得到x3；
[0023]S33：将1/4分辨率的特征图输入经过3
×
1和1
×
3的分解卷积为x2；
[0024]S34：使用像素级相乘将各支路特征x1、x2、x3进行交叉相乘，对应得到特征f1、f2、f3；
[0025]S35：将各分支的特征进行元素加法融合得到最终结果F。
[0026]由于DCCFNet只将输入特征图下采样1/8分辨率，因此使用1
×
1卷积和Sigmoid激活函数得到的注意力图对语义特征进一步的加强。此外，使用分解卷积，减少模型总体参数，加快推理速度。使用多分支融合加强了通道间的信息交流，对深层语义特征和浅层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于密集连接和交叉融合的图像语义实时分割方法，其特征在于：包括以下步骤：S1：构建通道交流瓶颈残差单元CBRU，在下采样的同时，补充空间信息和上下文信息；S2：构建密集连接的通道交流瓶颈残差模块DCBR，在CBRU单元间使用元素加密集连接的方法，在各个阶段对深层次语义信息和低层次细节信息进行融合；S3：构建多分辨率交叉融合模块MCFM，将浅层空间信息和深层语义信息相融合；S4：基于步骤S1
‑
S3构建的模块，构建基于密集连接和交叉融合的实时分割网络DCCFNet，对图像语义进行实时分割。2.根据权利要求1所述的基于密集连接和交叉融合的图像语义实时分割方法，其特征在于：所述通道交流瓶颈残差单元CBRU在开头使用3
×
3卷积，将通道数减少为原来的一半；在经过3
×
3卷积之后，特征分别通过两分支的深度卷积操作，使用3
×
1和1
×
3的深度可分离卷积和1
×
3和3
×
1的深度可分离卷积分别对特征进行处理；然后再进行元素加法操作；接着使用空洞卷积对特征进一步提取；再然后使用1
×
1卷积恢复原本通道数；最后利用通道混洗操作对特征进行处理。3.根据权利要求1所述的基于密集连接和交叉融合的图像语义实时分割方法，其特征在于：所述多分辨率交叉融合模块MCFM的处理步骤如下：S31：将1/8分辨率的特征图经过3
×
1和1
×
3的分解卷积进行降维，然后使用1
×
1卷积和Sigmoid激活函数得到注意力图与1/8分辨率的输入特征图相乘，得到x1；S32：将1/2分辨率的特征图分支同样经过3
×
1和1
×
3的分解卷积，然后进行下采样操作，得到分辨率为1/4的特征，得到x3；S33：将1/4分辨率的特征图输入经过3
×

【专利技术属性】
技术研发人员：文凯，杨一鹏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：