一种基于多分类器的图像语义分割方法技术

一种基于多分类器的图像语义分割方法，包括：S100：分别设计三个不同的分类器；在第一个分类器中，输入图像经过主干网络提取语义特征，然后输入到基于坐标注意力的空洞空间金字塔池化C

【技术实现步骤摘要】
一种基于多分类器的图像语义分割方法


[0001]本公开属于计算机视觉、图像处理
，特别涉及一种基于多分类器的图像语义分割方法。

技术介绍

[0002]语义分割是根据标签对图像中的每个像素进行分类，可以分辨出图像中的不同物体，描绘出不同个体和背景之间的轮廓，同时对同一类的物体给予相同的颜色表示。作为计算机视觉领域中的热点问题，图像语义分割在自动驾驶、视频会议、医学影像诊断等实际场景中有着广泛的作用。
[0003]传统图像分割技术如基于阈值、边缘的分割方法难以获得良好的分割效果，在分割精度上无法满足实际应用的要求。近年来，随着深度学习的发展，卷积神经网络显示出强大的特征提取和对象表示能力，一系列经典网络模型如AlexNet、VGG、GoogLeNet相继出现，使得基于卷积神经网络的图像分割模型取得了较好的分割性能。FCN作为卷积神经网络应用于图像语义分割的开山之作，实现了端到端的方式进行训练，并在各种基准数据集上取得了不错的性能，其核心思想是用卷积层替换全连接层，并通过跳跃连接应用中间层的语义信息来改善最终的预测结果。由于FCN的分割结果相对粗糙，为了细化输出，在网络输出上使用结构化预测模块并利用概率图模型，如条件随机场(CRF)、马尔可夫随机场(MRF)。SegNet利用索引记录池化操作时丢失的空间位置信息，以便在上采样时恢复相应的像素信息。为了得到更加多样化的特征，PSPNet构建了金字塔池化模块聚合不同区域的上下文信息。Deeplabv2提出空洞空间金字塔池化(ASPP)模块，并行不同速率的空洞卷积捕获多尺度语义特征。Deeplabv3优化了ASPP模块，引入全局平均池化进一步捕获深层特征的全局语义信息。基于DeepLabv3的DeepLabv3plus将空洞卷积和深度可分离卷积结合代替普通的卷积，极大减少了模型的参数量，提高了分割精度。
[0004]在Deeplabv3plus网络结构中，为了获得多尺度语义信息，进一步优化了空洞空间金字塔池化模块，在并行不同空洞率卷积的同时将主干网络输出的信息进行全局平局池化后上采样恢复其尺寸，最终将尺寸相同的特征图进行通道连接。然而空洞卷积的使用使得输入信息不能被充分利用，并且部分信息的丢失造成错误的分割结果。
[0005]Deeplabv3plus通过添加一个简单有效的解码器进一步扩展了Deeplabv3，添加的解码器在目标轮廓、边界等图像细节处细化分割结果。在该解码器中，将ASPP输出的语义特征4倍上采样，并与主干网络中具有相同分辨率的浅层特征连接。但该操作并没有充分利用浅层特征，可能造成边缘分割不准确以及部分像素分割错误的结果。

技术实现思路

[0006]为了解决上述问题，本公开提供了一种基于多分类器的图像语义分割方法，包括如下步骤：
[0007]S100：分别设计三个不同的分类器；在第一个分类器中，输入图像经过主干网络提
取语义特征，然后输入到基于坐标注意力的空洞空间金字塔池化C
‑
ASPP模块捕获不同感受野的语义信息；在第二个分类器中，输入图像经过主干网络和空洞空间金字塔池化ASPP模块获得语义特征，然后采用基于特征融合的解码器，将浅层特征和深层特征分别赋予权重并进行融合；在第三个分类器中引入新的损失函数监督细节信息；
[0008]S200：通过集成学习的方法对上述三个不同的分类器进行融合，产生最终的分割结果。
[0009]通过上述技术方案，实现了在增强语义特征的同时利用浅层网络具有的细节信息。本方法在Deeplabv3plus的基础上提出三个不同的分类器，并对三个不同的分类器进行集成学习以产生最终的分割图。在第一个分类器中，设计了基于注意力的空间金字塔池化模块替换ASPP模块用来充分利用主干网络的输出信息从而获得丰富的语义信息，C
‑
ASPP在ASPP的基础上新构建了一个分支路径使用注意力机制增强全局语义特征，并将该分支的输出与ASPP的输出相融合，提高分割的准确性。在第二个分类器中重新设计了一个基于特征融合模块的解码器，该解码器简单有效，能够充分融合浅层特征和深层特征，融合后的结果能够准确保留丰富的细节信息，有利于产生更加精细的分割图。在第三个分类器中引入新的损失函数监督细节信息，在浅层特征处引入新的损失函数，可以使该分类器编码更多的空间细节，提高分割精度。基于上述三个不同的分类器搭建一个集成学习系统，取得更好的分割性能。
附图说明
[0010]图1是本公开一个实施例中所提供的一种基于多分类器的图像语义分割方法的流程示意图；
[0011]图2是本公开一个实施例中网络结构的示意图；
[0012]图3是本公开一个实施例中基于坐标注意力的空洞空间金字塔池化C
‑
ASPP结构的示意图；
[0013]图4是本公开一个实施例中基于特征融合的解码器FF
‑
Decoder结构的示意图；
[0014]图5是本公开一个实施例中在PASCAL VOC 2012数据集上分割结果的可视化图；
[0015]图6是本公开一个实施例中C
‑
ASPP结构在PASCAL VOC 2012验证集上的具体类别IoU与基线的比较图；
[0016]图7是本公开一个实施例中C
‑
ASPP结构在PASCAL VOC 2012数据集上分割结果可视化图；
[0017]图8是本公开一个实施例中引入的损失函数在PASCAL VOC 2012验证集上的具体类别IoU与基线的比较图；
[0018]图9是本公开一个实施例中引入的损失函数在PASCAL VOC 2012数据集上分割结果可视化图。
具体实施方式
[0019]在一个实施例中，如图1所示，公开了提供了一种基于多分类器的图像语义分割方法，包括如下步骤：
[0020]S100：分别设计三个不同的分类器；在第一个分类器中，输入图像经过主干网络提
取语义特征，然后输入到基于坐标注意力的空洞空间金字塔池化C
‑
ASPP模块捕获不同感受野的语义信息；在第二个分类器中，输入图像经过主干网络和空洞空间金字塔池化ASPP模块获得语义特征，然后采用基于特征融合的解码器，将浅层特征和深层特征分别赋予权重并进行融合；在第三个分类器中引入新的损失函数监督细节信息；
[0021]S200：通过集成学习的方法对上述三个不同的分类器进行融合，产生最终的分割结果。
[0022]就该实施例而言，基于Deeplabv3plus构建三个不同的分类器，通过对不同分类器的集成学习，提高了算法的分割性能。第一个分类器依赖提出的基于注意力的空洞空间金字塔池化模块(C
‑
ASPP)，通过并行的注意力机制和空洞空间金字塔池化模块捕获更加丰富的全局语义信息。第二个分类器中设计了一个新的解码器(FF
‑
Decoder)，采取特征融合的方式得到浅层网络具有的边缘形状等细节信息。第三个分类器中引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分类器的图像语义分割方法，包括如下步骤：S100：分别设计三个不同的分类器；在第一个分类器中，输入图像经过主干网络提取语义特征，然后输入到基于坐标注意力的空洞空间金字塔池化C
‑
ASPP模块捕获不同感受野的语义信息；在第二个分类器中，输入图像经过主干网络和空洞空间金字塔池化ASPP模块获得语义特征，然后采用基于特征融合的解码器，将浅层特征和深层特征分别赋予权重并进行融合；在第三个分类器中引入新的损失函数监督细节信息；S200：通过集成学习的方法对上述三个不同的分类器进行融合，产生最终的分割结果。2.根据权利要求1所述的方法，其中，优选的，所述基于坐标注意力的空洞空间金字塔池化C
‑
ASPP模块是在空洞空间金字塔池化ASPP的基础上新构建了一个分支路径，使用注意力机制增强全局语义特征，并将该分支路径的输出与ASPP的输出相融合。3.根据权利要求2所述的方法，其中，所述注意力机制为轻量级坐标注意力。4.根据权利要求3所述的方法，其中，所述坐标注意力机制通过将二维全局集合操作分解成两个一维编码增强特征表示。5.根据权利要求2所述的方法，其中，所述将该分支路径的输出与ASPP的输出相融合的具体步骤如下：S1011：将主干网络的输出通过ASPP后获得多尺度特征图其中，R表示实数集，C1、H1、W1分别表示多尺度特征图0的通道数、高、宽；S1012：同时将主干网络的输出信息通过3
×
3卷积降低通道数，然后经过坐标注意力机制得到特征图其中，R表示实数集，C1、H1、W1分别表示特征图P的通道数、高、宽；S1013：将所述特征图P和所述特征图0输入公式Q＝O*(1
‑
...

【专利技术属性】
技术研发人员：马素刚，赵子一，杨小宝，蒲磊，侯志强，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：