融合局部与全局特征的快速语义分割网络和语义分割方法技术

本发明专利技术提供了融合局部与全局特征的快速语义分割网络和语义分割方法，通过双分支结构分别提取输入图像的局部信息和全局信息，使其更好地融合得到包含较多信息的分割特征，解决了局部和全局特征难以交互的问题，有效实现了提高分割效率和整体性能的功能。本发明专利技术提出了一种新的多尺度特征融合模块，利用Transformer的语境信息以及卷积的局部表示特征；可以同时处理局部以及全局特征信息，在快速的医学图像分割中展示出了非常优秀的性能。本发明专利技术在提取全局特征与局部特征的同时降低了计算时的复杂度，在保证分割结果的同时减少了网络训练所需的时间，实现了在保证分割速度的同时提高分割性能的功能。的同时提高分割性能的功能。的同时提高分割性能的功能。

【技术实现步骤摘要】
融合局部与全局特征的快速语义分割网络和语义分割方法


[0001]本专利技术属于深度学习
，具体涉及融合局部与全局特征的快速语义分割网络和语义分割方法。

技术介绍

[0002]图像分割在医学图像分析中起着重要的作用，特别是在临床诊断中被广泛用于解剖结构的定量分析。随着深度学习技术的发展，卷积神经网络在医学图像分割方面取得了实质性的进展，特别是全卷积网络和它的变体，比如UNet、DeepLab这些已经成为了实际上的选择。基于这些方法，许多工作在医学应用方面已经取得了很大的进展，比如说胸部CT血管分割，MRI心脏分割以及淋巴结分割等。
[0003]早期关于目标检测以及图像分割的研究时已经显示出了多尺度特征融合的效率。然而，现在仍不是特别清楚能否可以通过整合来自与卷积层以及Transformer层的特征来进一步的提高分割性能。所以，我们提出了一个多尺度特征融合模块。对于低分辨率的特征图，我们使用了一个线性瓶颈结构以及插值操作，与之前的输出相比，这样的操作可以得到相同的维度和分辨率的特征图。比如说分辨率为原图像1/32的输入在线性瓶颈结构后经过上采样操作会具有相同的尺寸。
[0004]尽管基于FCN的方法具有特殊的表示能力，但是由于卷积操作的局部接受能力，它们捕获全局的上下文信息以及远程依赖关系的能力受到了限制。这种限制在捕获多尺度上下文信息时会导致可变形状和尺度结构的次优分割。以往的研究都试图通过DeepLab中的扩展卷积，PSPNet中的特征金字塔池化，UNet中的自注意力机制等来减轻这一问题。然而，在医学图像分割任务中，仍然没有研究能够完全提取出全局语境特征。
[0005]基于Transformer的模型在NLP领域的序列到序列的建模中被提出，并在各种任务中都取得了先进的成果。Transformer中的自注意力机制使得它们可以学习远程依赖关系并建立序列之间的全局关系。Transformer在计算机视觉方面的图像分类任务中也取得了最先进的表现。后来，人们提出了许多基于Transformer的语义分割方面的工作，比如SETR，Swin Transformer，TransUNet，Swin
‑
UNet，DS
‑
TransUNet，TransFuse，VOLO等。然而，这种基于Transformer的方法，在对远程依赖关系建模时，存在的很大的计算量以及空间结构非常复杂。这对医学图像处理中的实时医疗诊断，比如说放疗，有极大的阻碍。

技术实现思路

[0006]本专利技术要解决的技术问题是：提供融合局部与全局特征的快速语义分割网络和语义分割方法，用于提高分割图像的性能。
[0007]本专利技术为解决上述技术问题所采取的技术方案为：一种融合局部特征与全局特征的快速语义分割网络，包括第一分支、第二分支和MSFFM多尺度融合模块；第一分支为CNN分支，包括多个卷积层，用于提取图像的局部特征信息；第二分支为Transformer分支，包括LN层、多个Outlooker注意力层和一系列转换器MLP，用于通过下采样和自注意力机制提取图
像的全局特征信息和上下文特征信息；第一分支和第二分支输出的特征信息通过多个双边连接以交互的方式融合；第二分支的每次计算输出与第一分支的输出进行交互，用于让第一分支更好的学习全局特征且不增加计算复杂度；第二分支的每次计算输出连接到MSFFM多尺度融合模块，MSFFM多尺度融合模块用于融合通过交互方式融合后的第一分支和第二分支输出的特征信息，对信息做多尺度的融合操作。
[0008]按上述方案，第一分支中，设X为输入的特征图像，Conv为卷积操作，BN为层归一化操作，ReLU为激活操作；每个卷积层包括一次Conv操作、一次BN操作和激活操作ReLU函数对其进行；Conv操作用于提取特征图的特征；BN操作用于避免图像在进行梯度运算的过程中产生梯度爆炸以及梯度消失现象；ReLU函数用于将每一层的输出控制在预设范围内，并使其数值为小于0的负数；
[0009]则卷积层的公式为：
[0010]X
′
＝F.ReLU(BN(Conv(X)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)。
[0011]进一步的，第二分支中，设LN为层标准化；OutlookerAtt为Outlooker注意力层，用于进行空间编码生成精细化的表示；MLP用于进行通道间信息交互聚合全局信息，建立远距离的依赖关系；每个部分前都有块嵌入模块用于将输入映射到指定形状；输入的特征图像X依次经过LN层、Outlooker模块和MLP提取该图像的全局特征：
[0012]X
′
＝OutlookerAtt(LN(X))+X
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，
[0013]Z＝MLP(LN(X
′
))+X
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。
[0014]一种融合局部特征与全局特征的快速语义分割方法，包括以下步骤：
[0015]S1：设输入的待进行语义分割的图像为A；对图像A进行双分支操作，分别通过CNN操作和Transformer操作提取图像的局部特征和全局特征；
[0016]S2：将双分支的输出进行交互后输入到MSFFM多尺度融合模块中，对CNN操作提取的局部特征和Transformer操作提取的全局特征进行不同尺度的融合，得到融合了全局特征信息以及局部特征信息的特征图。
[0017]进一步的所述的步骤S1中，具体步骤为：
[0018]S11：图像A经过两次带下采样的卷积操作，产生分辨率为图像A的1/4的特征图A1，并分别输入到CNN分支和Transformer分支；
[0019]S12：Transformer分支产生分辨率为图像A的1/8的特征图A2；将特征图A2输入到MSFFM多尺度融合模块；同时对特征图A2做带上采样的卷积操作后再与特征图A1进行相加操作，并输入到CNN分支；
[0020]S13：对经过CNN分支的卷积操作后得到的新的特征图进行一次带下采样的CNN操作，然后与特征图A2进行相加操作；
[0021]S14：Transformer分支使用Transformer操作来融合相加起来的特征图；
[0022]S15：重复步骤S12至S14三次，Transformer分支分半产生特征图A2、特征图A3和特征图A4，对应的分辨率分别为图像A的1/8、1/16和1/32；
[0023]S16：对特征图A4做带上采样的卷积操作后再与CNN分支上一步输出的特征图进行相加操作，并输入到CNN分支经过卷积操作输出特征图A5，其分辨率为图像A的1/4。
[0024]进一步的所述的步骤S2中，具体步骤为：
[0025]S21：将CNN分支得到的特征图A5和Transformer分支得到的特征图A2、特征图A3、
特征图A4输出载入融合模块；
[0026]S22：根据输出特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合局部特征与全局特征的快速语义分割网络，其特征在于：包括第一分支、第二分支和MSFFM多尺度融合模块；第一分支为CNN分支，包括多个卷积层，用于提取图像的局部特征信息；第二分支为Transformer分支，包括LN层、多个Outlooker注意力层和一系列转换器MLP，用于通过下采样和自注意力机制提取图像的全局特征信息和上下文特征信息；第一分支和第二分支输出的特征信息通过多个双边连接以交互的方式融合；第二分支的每次计算输出与第一分支的输出进行交互，用于让第一分支更好的学习全局特征且不增加计算复杂度；第二分支的每次计算输出连接到MSFFM多尺度融合模块，MSFFM多尺度融合模块用于融合通过交互方式融合后的第一分支和第二分支输出的特征信息，对信息做多尺度的融合操作。2.根据权利要求1所述的一种融合局部特征与全局特征的快速语义分割网络，其特征在于：第一分支中，设X为输入的特征图像，Conv为卷积操作，BN为层归一化操作，ReLU为激活操作；每个卷积层包括一次Conv操作、一次BN操作和激活操作ReLU函数对其进行；Conv操作用于提取特征图的特征；BN操作用于避免图像在进行梯度运算的过程中产生梯度爆炸以及梯度消失现象；ReLU函数用于将每一层的输出控制在预设范围内，并使其数值为小于0的负数；则卷积层的公式为：X
′
＝F.ReLU(BN(Conv(X)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)。3.根据权利要求2所述的一种融合局部特征与全局特征的快速语义分割网络，其特征在于：第二分支中，设LN为层标准化；OutlookerAtt为Outlooker注意力层，用于进行空间编码生成精细化的表示；MLP用于进行通道间信息交互聚合全局信息，建立远距离的依赖关系；每个部分前都有块嵌入模块用于将输入映射到指定形状；输入的特征图像X依次经过LN层、Outlooker模块和MLP提取该图像的全局特征：X
′
＝OutlookerAtt(LN(X))+X
ꢀꢀꢀꢀꢀꢀ
(2)，Z＝MLP(LN(X
′
))+X
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。4.一种基于权利要求1至3中任意一项所述的融合局部特征与全局特征的快速语义分割网络的语义分割方法，其特征在于：包括以下步骤：S1：设输入的待进行语义分割的图像为A；对图像A进行双分支操作，分别通过CNN操作和Transformer操作提取图像的局部特征和全局特征；S2：将双分支的输出进行交互后输入到MSFFM多尺度融合模块中，对CNN操作提取的局部特征和Transformer操作提取的全局特征进行不同尺度的融合，得到融合了全局特征信息以及局部特征信息的特征图。5.根据权利要求4所述的语义分割方法，其特征在于：所...

【专利技术属性】
技术研发人员：徐国平，冷雪松，王霞霞，廖文涛，张炫，吴兴隆，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：