一种基于上下文和浅层空间编解码网络的图像语义分割方法技术

当前图像语义分割研究基本围绕如何提取有效的语义上下文信息和还原空间细节信息两个因素来设计更有效算法。现有的语义分割模型，有的忽视了网络浅层的空间细节信息，有的没有获取高质量的语义上下文特征。针对此问题，本发明专利技术提出了一种基于上下文和浅层空间编解码网络的图像语义分割方法。在编码端采用二分支策略，其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息，而空间分支设计成反U型结构，并结合链式反置残差模块，在保留空间细节信息的同时提升语义信息。解码端，本发明专利技术设计优化模块对融合后的上下文信息与空间信息进一步优化。通过大量实验，本发明专利技术在三个基准数据集CamVid、SUN RGB‑D和Cityscapes上取得了有竞争力的结果。

An image semantic segmentation method based on context and shallow space codec network

【技术实现步骤摘要】
一种基于上下文和浅层空间编解码网络的图像语义分割方法
本专利技术涉及计算机视觉、深度学习领域，具体为一种基于上下文和浅层空间编解码网络的图像语义分割方法。
技术介绍
语义分割是计算机视觉领域最热门的研究问题之一，由于其具有广泛的应用前景，如当下备受关注的自动驾驶技术，VR技术以及自动医疗分析等。语义分割任务是为图像中每一个像素点分配与之对应的语义标签，例如小汽车，路面，天空等，也被认为是像素级分类任务。与图像分类和目标检测不同，图像语义分割需要识别图像中的物体类别以及发现图像中物体位置，因此语义分割也是计算机视觉中最具挑战性任务之一。传统的图像分割方法需要人工手动地获取图像特征，一般只能提取到图像的低级特征信息，例如颜色、纹理、边界等，这些低级特征信息很难适应复杂的图像场景。不同于传统方法，基于深度学习的图像语义分割方法可以自动地提取图像的高级特征，使得网络模型能够学习到更加抽象的图像特征，推动了复杂场景中的图像理解。当前，基于深度学习的语义分割模型，有的采用全卷积网络结构以获取有效的语义上下文信息，而忽视了网络浅层的空间细节信息；有的采用U型结构，通过复杂的网络连接利用编码端的空间细节信息，但没有获取高质量的语义上下文特征。针对此问题，本专利技术提出了一种基于上下文和浅层空间编解码网络的图像语义分割方法，在编码端采用二分支策略，其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息，而空间分支设计成反U型结构，并结合链式反置残差模块，在保留空间细节信息的同时提升语义信息。解码端，本专利技术设计了优化模块对融合后的上下文信息与空间信息进一步优化。
技术实现思路
为了解决现有技术的不足，本专利技术提供了一种基于上下文和浅层空间编解码网络的图像语义分割方法。本专利技术提供如下技术方案：一种基于上下文和浅层空间编解码网络的图像语义分割方法，该语义分割方法包括以下步骤：步骤一：构建混合扩张卷积模块和残差金字塔特征提取模块，将这两个模块作为网络模型的语义上下文提取模块；步骤二：本专利技术的骨干网络使用了在ImageNet数据集上预训练的ResNet-34，去除了最大池化层和全连接层以适应语义分割任务，在骨干网络的末端结合步骤一的语义上下文提取模块来构建编码端的语义上下文路径；步骤三：构建链式反置残差模块，对骨干网络浅、中层的空间信息进行处理，在保留空间信息的同时提升特征图的语义表达能力；步骤四：为了利用编码端骨干网络浅、中层特征信息，将编码端的空间信息路径设计为反U型结构以共享编码端浅、中层特征，同时结合步骤三设计的链式反置残差模块，在保留浅层空间信息的同时提升特征的语义信息；步骤五：在解码端，设计残差循环卷积模块。首先将步骤二得到的高级语义上下文特征进行双线性上采样再与步骤四的空间细节特征以逐像素点求和方式进行融合；其次，使用残差循环卷积模块对融合后的特征进行优化处理；步骤六：最后，将步骤五提取的优化特征通过像素级预测器和转置卷积操作产生最终的预测分割图。优选地，步骤一中的所述混合扩张卷积模块有两个分支，首先特征图通过一个1×1卷积减少通道数，其次，一个分支通过3×3的卷积，另一个分支进入五种不同的扩张卷积：扩张率为2的3×3卷积层、扩张率为4的3×3卷积层、扩张率为3的5×5卷积层进行融合，再融合扩张率为2的5×5卷积层与扩张率为2的7×7卷积层,目的是获取像素点的周围特征信息。优选地，步骤一中的所述残差金字塔特征提取模块，采用了四个不同扩张率的扩张卷积,它们的扩张率分别为:2、3、5、7。同时,为了利用全局场景上下文信息，引入全局池化操作，以并行方式将它们组合在一起。然后对它们进行拼接操作以获取多尺度特征信息。最后与残差进行融合，提升语义表达能力的同时加速梯度反向传播。优选地，步骤三中的所述链式反置残差模块，每个链式反置残差模块由多个反置残差结构以链式结构相结合，反置残差结构由两个1×1点级卷积层和一个3×3分组卷积层组成。本专利技术中所用的三个链式反置残差模块的链长不一样,连接低层特征的CRB_1链长为3,即由3个反置残差结构链接而成,CRB_2的链长为2,而连接中层特征的CRB_3链长为1。通过链长的不同设置，可以有针对性地提升浅层特征的语义表达能力。优选地，步骤五中的所述残差循环卷积模块，由两个3x3的循环卷积网络以及残差组成。本专利技术具有以下有益效果：本专利技术采用二分支结构的编解码网络框架，结合所提出的改进模块，提出了一种新的端到端的深度学习模型用于图像语义分割，该模型在获取高质量的上下文语义特征同时有效地保留了编码端浅、中层的空间细节信息，本专利技术在三个基准数据集CamVid、SUNRGB-D和Cityscapes上取得了有竞争力的结果。附图说明图1为本专利技术网络框架。图2ResNet-34骨干网络结构图。图3为混合扩张卷积模块结构图。图4残差金字塔特征提取模块结构图。图5链式反置残差模块结构图。图6残差循环卷积模块结构图。图7在CamVid测试集上的定性比较。图8在SUNRGB-D测试集上的定性结果。图9在Cityscapes验证集上的定性结果。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-9，本专利技术所述的基于上下文和浅层空间编解码网络的图像语义分割方法具体实施步骤为：(S1)：构建混合扩张卷积模块扩张卷积根据扩张率在卷积核中相邻两个权值之间插入相应的零，因此通过增加扩张率可以增大卷积核对特征图的局部计算区域，从而可以识别更大范围的图像特征信息。扩张卷积在二维信号中的定义如公式1，其中输入特征图x(m,n)与卷积核w(i,j)进行卷积操作产生输出y(m,n)，卷积核的长度和宽度为M、N,r是扩张率,后面部分出现的r都表示扩张率,它控制卷积核对输入x的采样大小,这相当于在卷积核中相邻两个权值之间插入r-1个零。相比于传统卷积，扩张卷积在没有增加网络参数的情况下就可以获得更大的感受野。扩张卷积是一种稀疏计算，即当扩张率很大时，卷积核的参数数量没有变化，但对特征图的作用区域却很大，这就导致扩张卷积从特征图中提取到的有用信息量很少，从而使扩张卷积失去了建模能力。本专利技术提出的混合扩张卷积模块的设计动机是获取像素点周围特征信息的同时可以提升网络感受野,并且减少特征信息的丢失。混合扩张卷积模块通过混合叠加的方式来获取周围特征信息以及增加网络感受野。如图3所示，整个模块分为两个分支,首先特征图通过一个1×1的卷积，目的是减少特征通道数，从而减少网络参数。然后，一个分支通过3×3的卷积，另一分支进入五种不同的扩张卷积：扩张率为2的3×3卷积层、扩张率为4的3×3卷积层以及扩本文档来自技高网...

【技术保护点】
1.一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于，该语义分割方法包括以下步骤：/n步骤一：构建混合扩张卷积模块和残差金字塔特征提取模块，将这两个模块作为网络模型的语义上下文提取模块；/n步骤二：本专利技术的骨干网络使用了在ImageNet数据集上预训练的ResNet-34，去除了最大池化层和全连接层以适应语义分割任务，在骨干网络的末端结合步骤一的语义上下文提取模块来构建编码端的语义上下文路径；/n步骤三：构建链式反置残差模块，对骨干网络浅、中层的空间信息进行处理，在保留空间信息的同时提升特征图的语义表达能力；/n步骤四：为了利用编码端骨干网络浅、中层特征信息，将编码端的空间信息路径设计为反U型结构以共享编码端浅、中层特征，同时结合步骤三设计的链式反置残差模块，在保留浅层空间信息的同时提升特征的语义信息；/n步骤五：在解码端，设计残差循环卷积模块，首先将步骤二得到的高级语义上下文特征进行双线性上采样再与步骤四的空间细节特征以逐像素点求和方式进行融合；其次，使用残差循环卷积网络对融合后的特征进行优化处理；/n步骤六：最后，将步骤五提取的优化特征通过像素级预测器和转置卷积操作产生最终的预测分割图。/n...

【技术特征摘要】
1.一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于，该语义分割方法包括以下步骤：
步骤一：构建混合扩张卷积模块和残差金字塔特征提取模块，将这两个模块作为网络模型的语义上下文提取模块；
步骤二：本发明的骨干网络使用了在ImageNet数据集上预训练的ResNet-34，去除了最大池化层和全连接层以适应语义分割任务，在骨干网络的末端结合步骤一的语义上下文提取模块来构建编码端的语义上下文路径；
步骤三：构建链式反置残差模块，对骨干网络浅、中层的空间信息进行处理，在保留空间信息的同时提升特征图的语义表达能力；
步骤四：为了利用编码端骨干网络浅、中层特征信息，将编码端的空间信息路径设计为反U型结构以共享编码端浅、中层特征，同时结合步骤三设计的链式反置残差模块，在保留浅层空间信息的同时提升特征的语义信息；
步骤五：在解码端，设计残差循环卷积模块，首先将步骤二得到的高级语义上下文特征进行双线性上采样再与步骤四的空间细节特征以逐像素点求和方式进行融合；其次，使用残差循环卷积网络对融合后的特征进行优化处理；
步骤六：最后，将步骤五提取的优化特征通过像素级预测器和转置卷积操作产生最终的预测分割图。


2.如权利要求1所述的一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于：步骤一中所述的混合扩张卷积模块有两个分支，首先特征图通过...

【专利技术属性】
技术研发人员：罗会兰，黎宵，童康，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：江西;36