【技术实现步骤摘要】
基于上下文感知的图像语义分割模型及建模方法
本专利技术涉及图像语义分割，具体涉及一种基于上下文感知的图像语义分割模型及建模方法。
技术介绍
图像语义分割是图像处理和计算机视觉技术的重要任务，需要为图像中的每个像素分配一个所属类别标签。图像语义分割任务可以分为两个子任务：定位和分类，因此像素的位置信息和语义信息都很重要。现有的用于处理图像语义分割任务的手段主要包括：全卷积网络(FullyConvolutionNetwork，FCN)、编码器-解码器(Encoder-decoder)结构的网络、FastFCN等。FCN由用于图像分类的卷积神经网络(ConvolutionalNeuralNetwork，CNN)改进而来，用步长不为1的卷积操作或者空间池化层，使网络最终输出特征图的分辨率比输入图像的分辨率小32倍。但使用大倍率的上采样操作让网络输出特征图恢复到输入图像的尺寸大小时，特征图的边缘信息可能会严重丢失。编码器-解码器结构的网络，如DeepLab系列网络，使用残差网ResNet作为骨干网，并将最后两个阶段的普...
【技术保护点】
1.一种基于上下文感知的图像语义分割模型，其特征在于，包括：编码骨干网、解码器；所述编码骨干网和所述解码器之间连接有稠密注意力上下文网络；所述稠密注意力上下文网络包括分级细化残差模块、联合通道注意力模块、堆叠模块和注意力增强的空间金字塔模块；/n所述编码骨干网被配置为将第一输入图像进行逐层提取，得到由低层到高层的多层不同尺寸的第一特征图像；/n所述分级细化残差模块被配置为对每层的第一特征图像进行特征提取，得到每层的第二特征图像；/n所述联合通道注意力模块被配置为针对每层的第二特征图像，融合所有高层特征得到本层的通道注意力权重向量，并将本层的通道注意力权重向量与本层的第二特征...
【技术特征摘要】
1.一种基于上下文感知的图像语义分割模型，其特征在于，包括：编码骨干网、解码器；所述编码骨干网和所述解码器之间连接有稠密注意力上下文网络；所述稠密注意力上下文网络包括分级细化残差模块、联合通道注意力模块、堆叠模块和注意力增强的空间金字塔模块；
所述编码骨干网被配置为将第一输入图像进行逐层提取，得到由低层到高层的多层不同尺寸的第一特征图像；
所述分级细化残差模块被配置为对每层的第一特征图像进行特征提取，得到每层的第二特征图像；
所述联合通道注意力模块被配置为针对每层的第二特征图像，融合所有高层特征得到本层的通道注意力权重向量，并将本层的通道注意力权重向量与本层的第二特征图像相乘，得到每层的第三特征图像；
所述堆叠模块被配置为将每层的第三特征图像调整至相同的特征尺寸后沿通道方向进行堆叠，得到堆叠特征图；
所述注意力增强的空间金字塔模块被配置为针对堆叠特征图在空间注意力和通道注意力上进行提升，得到待解码特征图；
所述解码器用于将待解码特征图进行解码，得到图像语义分割结果。
2.根据权利要求1所述的模型，其特征在于，所述分级细化残差模块包括与所述第一特征图像一一对应的多个分级细化残差子块；所述分级细化残差子块包括降维单元、分支提取单元和通道联系建立单元；
所述降维单元被配置为采用1×1卷积将本层的第一特征图像进行降维；
所述分支提取单元被配置为采用普通卷积、多个分解卷积以及全局平均池化层分别对降维后的第一特征图像分别进行提取处理，得到各自对应的分支特征图；
所述通道联系建立单元被配置为将所有分支特征图堆叠后，采用1×1卷积建立通道联系，将卷积后结果与本层的第一特征图相加，得到本层的第二特征图像。
3.根据权利要求1所述的模型，其特征在于，所述联合通道注意力模块包括与所述第二特征图像一一对应的多个联合通道注意力子块和第一加性融合子块；
所述联合通道注意力子块被配置为：
将本层与高层的第二特征图像堆叠后，分别进行针对分辨率的全局平均池化处理和全局最大池化处理；
将处理后的结果分别输入参数共享的卷积层，将卷积层的输出相加后输入Sigmoid函数中激活，得到本层的通道注意力权重向量；
所述第一加性融合子块被配置为将本层的通道注意力权重向量与本层的第二特征图像相乘，得到本层的第三特征图像。
4.根据权利要求1所述的模型，其特征在于，所述堆叠模块包括堆叠子块以及与高层的第三特征图像一...
【专利技术属性】
技术研发人员：周全，李圣华，刘嘉，王杰，强勇，樊亚文，吴晓富，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。