用于图像语义分割的SAUNet++网络与图像语义分割方法技术

本发明专利技术涉及一种用于图像语义分割的SAUNet++网络与图像语义分割方法，解决如何提高图像语义分割精度的技术问题。通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U‑Net++网络结构，从而得到SU‑Net++网络，使得SU‑Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；在所述SU‑Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络。本发明专利技术可以学习到图像中更丰富更重要的特征，提高分割准确率，医学图像和自然图像都能有效分割。

【技术实现步骤摘要】
用于图像语义分割的SAUNet++网络与图像语义分割方法
本专利技术属于图像语义分割

技术介绍
图像分割是计算机视觉的重要分支，它将图像划分为互不相交的的子区域，属于同一个子区域的像素点具有一定相关性，而在不同子区域的像素点存在一定差异性，即对图片中像素点分类的过程。图像分割具体可分为语义分割、实例分割和全景分割。图像语义分割是将属于同一类别的区域分割出来，而不区分相同类别中的不同个体。图像语义分割算法可分为传统图像处理方法和深度学习方法。传统图像处理方法又可分为基于阈值的方法、基于边缘的方法、基于区域的方法、基于活动轮廓的方法等。由于受到计算机算力的限制，该类方法只能提取图像的颜色、形状、纹理等低层特征对图像进行分割，而且需要手动设置参数，因此分割效果不佳，难以满足实际需求。随着深度学习的发展，卷积神经网络成为了图像处理的重要手段。在图像语义分割任务中，深度学习方法能够学习到图像中的深层特征，充分利用图像中的语义信息，实现自动精确快速的分割。Long等人于2015年提出的全卷积网络(fullyconvolutionalnetworks，FCN)将图像级分类网络转变为像素级分类网络，并且实现了端到端的训练，是将卷积神经网络应用到图像语义分割的开山之作。但是，FCN由于没有考虑到像素点之间的关联性，导致对图像细节不够敏感，分割边界模糊。此后，大量基于FCN的深度学习方法被提出，可分为基于编解码的方法(U-Net、SegNet)、基于注意力机制的方法(DANet、CCNet)、基于空洞卷积的方法(DeepLabV1～V3+)等。基于编解码的方法以U-Net网络最为经典，编码网络提取高层特征，解码网络恢复图像空间信息，并使用跳跃连接将编解码网络对应的特征图拼接到一起，融合了高层和低层特征的U-Net使得图像分割更加精确，但网络结构简单。原始U-Net使用四次下采样来获取高维信息，然后使用四次上采样将特征图恢复到原始大小，并使用四个跳跃连接来合并特征图。然而，并不是所有基于U-Net的改进方法都采用四层结构，但是下采样、上采样和跳跃连接的组合一直没有改变。参考图1所示，U-Net++网络是U-Net网络的改进：在大的U-Net网络框架内部形成多层子U-Net网络，每个圆圈代表原型单元，用于实现卷积和激活函数。U-Net++可以从不同深度的结构中提取不同的特征，这些特征对分割都很重要，因此U-Net++结合了四个不同深度的结构，并使用不同长度的跳跃连接。由于U-Net++采用无填充卷积，经过两次卷积后，同一层特征图的边界像素会丢失，因此需要先对编码网络中的特征图进行裁剪，然后再与解码网络中的特征图进行连接。但是，现有的U-Net++网络结构不能很好的区分各个图像特征的重要性，对于场景较复杂的图像的分割效果不理想，尤其是对于边界信息较弱的分割目标，另外现有的U-Net++网络结构对细小目标的分割准确率也有待提高。
技术实现思路
针对上述现有技术的不足，本专利技术提供一种基于U-Net++网络的图像语义分割系统，解决如何提高图像语义分割精度的技术问题。为解决上述技术问题，本专利技术提供一种用于图像语义分割的SAUNet++网络，通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入。进一步的，所述SER模块首先使用C个1×1卷积核来改变通道数，然后通过两次3×3的卷积得到更深层次的特征图u，再通过全局平均池化实现挤压操作得到特征图z：其中，Fsq(u)为挤压函数，u为卷积后的特征图，H为特征图u的高度，W为特征图u的宽度；挤压操作之后通过两个全连接层FC进行激励操作获得特征图S：第一个FC以r的比例对通道进行降维，通过激活函数后，第二个FC将通道个数恢复到原来的维数；s＝Fex(z,W)＝σ(W2δ(W1z))其中，Fex为激励函数，δ为ReLU激活函数，σ为sigmoid激活函数，C为1×1卷积核的数量；SER模块的输出表示为：y＝x+u×s；其中，x为SER模块的输入，y为SER模块的输出。进一步的，ASPP模块使用了采样率分别为1、2、4、6的空洞卷积来捕获多尺度信息，然后在通道方向上将特征图连接起来，并将叠加后的特征图提供给1×1卷积、BN和LeakyReLU以合成具有多尺度信息的深度特征图。本专利技术还提供一种图像语义分割方法，采用样本集对权利要求1所述的用于图像语义分割的SAUet++网络进行训练，将训练完成后的SAUet++网络用于图像语言分割，包括以下步骤：将SAUet++网络的下采样链路的首端上的SER模块作为输入端，输入待分割图像并提取待分割图像的初始特征图I0；通过所述下采样链路逐步增大初始特征图I0的通道数并调整各通道的权值得到加权深度特征图，并输出加权深度特征图给所述ASPP模块；所述ASPP模块将所述加权深度特征图转化为具有多尺度信息的多尺度加权深度特征图，并作为所述最深层上采样链路的输入；其余各层上采样链路获取在下采样链路上相应层深度的下采样特征图，重新加权并逐步还原为通道数和图像尺寸均与初始特征图I0相等的重加权还原特征图；最深层上采样链路将所述多尺度加权深度特征图逐步还原为不同通道数的特征图并进行重加权，同时通过跳跃连接网络将相同通道数的特征图进行叠加，从而得到通道数和图像尺寸均与初始特征图I0相等的多尺度重加权还原特征图；将SAUet++网络的最深层上采样链路的末端上的SER模块作为输出端，将所述多尺度重加权还原特征图的通道数转化为与待分割图像的通道数相等，从而得到图像语义分割结果。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术融合了编解码网络(U-Net++网络)、通道注意力机制(SER模块)和空洞卷积(ASPP模块)。在U-Net++模型的基础上引入了挤压激励残差(squeezeexcitationresidual，SER)模块和空洞空间卷积池化金字塔(atrousspatialpyramidpooling，ASPP)模块。SER模块可以将更多的权重分配给更重要的通道，缓解梯度消失的问题，以更加准确的提取边缘信息。ASPP模块可以通过不同采样率的并行空洞卷积来捕获多尺度信息，无论是大的区域还是细小区域都能很好的分割。模型可以学习到图像中更本文档来自技高网...

【技术保护点】
1.一种用于图像语义分割的SAUNet++网络，其特征在于：通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；/n所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；/n在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入。/n

【技术特征摘要】
1.一种用于图像语义分割的SAUNet++网络，其特征在于：通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；
所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；
在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入。


2.根据权利要求1所述的用于图像语义分割的SAUNet++网络，其特征在于：所述SER模块首先使用C个1×1卷积核来改变通道数，然后通过两次3×3的卷积得到更深层次的特征图u，再通过全局平均池化实现挤压操作得到特征图z：



其中，Fsq(u)为挤压函数，u为卷积后的特征图，H为特征图u的高度，W为特征图u的宽度；
挤压操作之后通过两个全连接层FC进行激励操作获得特征图S：第一个FC以r的比例对通道进行降维，通过激活函数后，第二个FC将通道个数恢复到原来的维数；
s＝Fex(z,W)＝σ(W2δ(W1z))
其中，Fex为激励函数，δ为ReLU激活函数，σ为sigmoid激活函数，C为1×1卷积核的数量；
SER模块的输出表示为：y＝x+u×s；其中，x为SER模块的输入，y为SER模块的输出。

<...

【专利技术属性】
技术研发人员：肖汉光，冉智强，张勃龙，陈凯，李月韦，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆;50