一种基于上下文和浅层空间编解码网络的图像语义分割方法技术

当前图像语义分割研究基本围绕如何提取有效的语义上下文信息和还原空间细节信息两个因素来设计更有效算法。现有的语义分割模型，有的忽视了网络浅层的空间细节信息，有的没有获取高质量的语义上下文特征。针对此问题，本发明专利技术提出了一种基于上下文和浅层空间编解码网络的图像语义分割方法。在编码端采用二分支策略，其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息，而空间分支设计成反U型结构，并结合链式反置残差模块，在保留空间细节信息的同时提升语义信息。解码端，本发明专利技术设计优化模块对融合后的上下文信息与空间信息进一步优化。通过大量实验，本发明专利技术在三个基准数据集CamVid、SUN RGB‑D和Cityscapes上取得了有竞争力的结果。

An image semantic segmentation method based on context and shallow space codec network

【技术实现步骤摘要】
一种基于上下文和浅层空间编解码网络的图像语义分割方法
本专利技术涉及计算机视觉、深度学习领域，具体为一种基于上下文和浅层空间编解码网络的图像语义分割方法。
技术介绍
语义分割是计算机视觉领域最热门的研究问题之一，由于其具有广泛的应用前景，如当下备受关注的自动驾驶技术，VR技术以及自动医疗分析等。语义分割任务是为图像中每一个像素点分配与之对应的语义标签，例如小汽车，路面，天空等，也被认为是像素级分类任务。与图像分类和目标检测不同，图像语义分割需要识别图像中的物体类别以及发现图像中物体位置，因此语义分割也是计算机视觉中最具挑战性任务之一。传统的图像分割方法需要人工手动地获取图像特征，一般只能提取到图像的低级特征信息，例如颜色、纹理、边界等，这些低级特征信息很难适应复杂的图像场景。不同于传统方法，基于深度学习的图像语义分割方法可以自动地提取图像的高级特征，使得网络模型能够学习到更加抽象的图像特征，推动了复杂场景中的图像理解。当前，基于深度学习的语义分割模型，有的采用全卷积网络结构以获取有效的语义上下文信息，而忽视了网络浅层的空间细节信息；有的本文档来自技高网...

【技术保护点】
1.一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于，该语义分割方法包括以下步骤：/n步骤一：构建混合扩张卷积模块和残差金字塔特征提取模块，将这两个模块作为网络模型的语义上下文提取模块；/n步骤二：本专利技术的骨干网络使用了在ImageNet数据集上预训练的ResNet-34，去除了最大池化层和全连接层以适应语义分割任务，在骨干网络的末端结合步骤一的语义上下文提取模块来构建编码端的语义上下文路径；/n步骤三：构建链式反置残差模块，对骨干网络浅、中层的空间信息进行处理，在保留空间信息的同时提升特征图的语义表达能力；/n步骤四：为了利用编码端骨干网络浅、中层特征信息，将编码端的空间...

【技术特征摘要】
1.一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于，该语义分割方法包括以下步骤：
步骤一：构建混合扩张卷积模块和残差金字塔特征提取模块，将这两个模块作为网络模型的语义上下文提取模块；
步骤二：本发明的骨干网络使用了在ImageNet数据集上预训练的ResNet-34，去除了最大池化层和全连接层以适应语义分割任务，在骨干网络的末端结合步骤一的语义上下文提取模块来构建编码端的语义上下文路径；
步骤三：构建链式反置残差模块，对骨干网络浅、中层的空间信息进行处理，在保留空间信息的同时提升特征图的语义表达能力；
步骤四：为了利用编码端骨干网络浅、中层特征信息，将编码端的空间信息路径设计为反U型结构以共享编码端浅、中层特征，同时结合步骤三设计的链式反置残差模块，在保留浅层空间信息的同时提升特征的语义信息；
步骤五：在解码端，设计残差循环卷积模块，首先将步骤二得到的高级语义上下文特征进行双线性上采样再与步骤四的空间细节特征以逐像素点求和方式进行融合；其次，使用残差循环卷积网络对融合后的特征进行优化处理；
步骤六：最后，将步骤五提取的优化特征通过像素级预测器和转置卷积操作产生最终的预测分割图。


2.如权利要求1所述的一种基于上下文和浅层空间编解码网络的图像语义分割方法，其特征在于：步骤一中所述的混合扩张卷积模块有两个分支，首先特征图通过...

【专利技术属性】
技术研发人员：罗会兰，黎宵，童康，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：江西;36