一种基于CSSNet的医学图像分割方法技术

本发明专利技术提供一种基于级联空间移位网络（Cascaded Spatial Shift Network，CSSNet）的医学图像分割方法，其中CSSNet是用于医学图像分割的新型Multilayer Perceptron（MLP）模型。具体而言，本发明专利技术中的CSSNet采用分层金字塔结构来获取多尺度特征图，以解决MLP模型中图像分辨率固定的问题。为了避免医学图像数据集上的过拟合问题，本发明专利技术从MLP模型中移除标记混合MLP块，避免其全局接受域导致的大量参数。然而，由于MLP模型中剩余的Channel MLP块的接收野较小，无法在不同空间位置之间进行信息通信。因此，本发明专利技术提出了一个级联的空间移位块，以扩大接收野，用于特征提取。而且，该级联空间移位块参数较少，能够有效分割高分辨率医学图像。像。像。

【技术实现步骤摘要】
一种基于CSSNet的医学图像分割方法


[0001]本专利技术涉及医学图像分割
，尤其涉及一种基于CSSNet的医学图像分割方法。

技术介绍

[0002]在临床应用中，医学图像分割是后续疾病诊断和治疗的基础，对临床诊断和治疗具有重要意义。然而，由于医学图像对比度较低，难以对感兴趣区域进行准确分割，并且人工标注感兴趣区域耗时较长，高度依赖领域知识和专家经验。因此，迫切需要一种准确的医学图像标注的自动分割方法。
[0003]卷积神经网络(Convolutional neural networks,CNNs)已经成为医学图像分割的主流方法。在卷积神经网络中，U
‑
Net及其变体。由于其编码器
‑
解码器结构和跳接连接，具有出色的性能，这些方法在前列腺分割、肝脏肿瘤分割等医学图像分割任务中取得了巨大的成功。尽管卷积神经网络在特征表示方面有很好的表现，但基于卷积神经网络的方法存在局部感受野，不利于捕获长期特征依赖。为了克服这一限制，基于自注意力机制的Transformer被提出用于计算机视觉任务，如图像分类和医学图像分割。多层感知器(Multilayer Perceptron,MLP)模型用全连接层取代了Transformer的自注意力机制，并在ImageNet分类上取得了惊人的性能，甚至超过了许多基于卷积神经网络的方法，在大数据集(ImageNet
‑
21k和JFT
‑
300M)上训练。MLP模型的结构比卷积神经网络和基于Transformer的模型更简单，但纯MLP模型(如MLP
‑
mixer)在医学图像分割方面的表现不如卷积神经网络(如U
‑
Net)。
[0004]MLP模型中的块保持相同的图像分辨率，不能提供金字塔特征表示；标记混合MLP块使用了具有大量参数的全连接层，因此传统的MLP模型往往会在医学图像数据集上过拟合。传统MLP模型具有全局接受域，因此参数数量是图像尺度的二次方，这给高分辨率三维医学图像分割带来了昂贵的计算费用。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中传统MLP模型具有全局接受域，因此参数数量是图像尺度的二次方，在进行高分辨率三维医学图像分割时需要较大的成本的技术问题。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于CSSNet的医学图像分割方法，使用级联空间移位网络(CSSNet)，所述CSSNet由编码器和解码器组成，并采用分层金字塔结构来获取多尺度特征图。
[0008]优选的，包含以下步骤：
[0009]S1：使用编码器对输入的切片进行块划分操作，获得每个块(patch)的特征；
[0010]S2：一个线性特征嵌入操作将特征投影到沿着通道的高维向量中；
[0011]S3：特征向量通过一个层次化的金字塔结构，由几个级联的空间移位块和块合并
来生成层次化的特征表示。
[0012]优选的，所述S1中输入的切片为图像医学的横向切片，块划分使用q(q>1)卷积层。
[0013]优选的，所述S2中使用级联空间移位块捕捉医学图像的局部性，所述级联空间移位块由两层归一化层、级联空间移位操作和通道MLP操作组成。
[0014]优选的，所述级联空间移位块的管道为：
[0015]X
′
＝X
in
+CsdSS(LayerNorm(X
in
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0016]X
out
＝X
′
+ChlMLP(LayerNorm(X
′
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0017]其中，上述公式中，X
in
X
out
为输入和输出特征。CsdSS和ChlMLP分别表示级联空间移位操作和MLP通道操作。
[0018]优选的，所述级联空间移位操作是通过输入特征图沿通道轴等分得到，然后用级联的方式将不同段的移位特征进行聚合，并使用Channel
‑
Shuffle进行不同信道之间的通信，公式表现为：
[0019][0020]k
i，2
＝H
*
(k
i
‑
1，1
+k
i
)，i＝s
[0021]上述公式中，k
i
表示第i个特征段，H表示空间移位操作
→
全连接层
→
拆分操作，H*表示空间移位操作
→
全连接层，+表示拼接操作。
[0022]优选的，所述空间移位操作是在级联空间移位块中进行空间特征提取的操作，所述空间移位操作包括两个部分：
[0023](1)沿着通道轴将输入特征拆分为m部分；
[0024](2)将每个部分在不同的空间方向上进行移位：
[0025](γ1，γ2，γ3，γ4)＝γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0026][0027][0028]上述公式中，表示空间移位操作的输入，因此每个部分可以表示为公式5
‑
6中的Height和Width表示不同的空间移位方向。
[0029]优选的，所述S3中使用双路径聚合网络块作为解码器实现多尺度特征融合和特征细化，所述双路径聚合网络块由上行路径和下行路径两部分组成。上行路径负责多尺度特征融合，下行路径设计用于特征细化。
[0030]优选的，所述上行路径中，通过上样本运算和坐标卷积融合来自不同尺度的特征，所述上行路径的主要组成部分为上样本操作和坐标卷积；所述下行路径中，使用下行样本操作和拼接操作进一步融合来自不同尺度的特征，使用3
×
3卷积来减少通道数和提取特征。
[0031]所述S3中使用自细化模型对双路径聚合网络块的输出进行自我注意融合，以实现
进一步的特征聚合，所述自细化模型包括两个子模型：通道提取子模型和特征细化子模型。
[0032]本申请中提供一种基于CSSNet的医学图像分割方法，使用CSSNet采用分层金字塔结构来获取多尺度特征图，以解决MLP模型中图像分辨率固定的问题。同时为了避免医学图像数据集上的过拟合，本专利技术从MLP模型中移除标记混合MLP块，因为它的全局接受域导致了大量的参数，并提出了一种级联的空间移位块，以扩大接收野，用于特征提取。同时，该级联空间移位块参数较少，能够有效分割高分辨率医学图像。此外，本专利技术还提出了一种双路径聚合网络块来融合不同尺度的特征，并细化特征图，从而获得了更好的分割性能。
附图说明
[0033]图1是本专利技术提出的级联空间移位网络体系图；
[0034]图2是本专利技术级联空间移位块和级联空间移位运算的结构图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于基于级联空间移位网络(Cascaded Spatial Shift Network，CSSNet)的医学图像分割方法，其特征在于：使用级联空间移位网络(CSSNet)，所述CSSNet由编码器和解码器组成，并采用分层金字塔结构来获取多尺度特征图。2.根据权利要求1所述的基于CSSNet的医学图像分割方法，其特征在于：包含以下步骤：S1：使用编码器对输入的切片进行块划分操作，获得每个块(patch)的特征；S2：一个线性特征嵌入操作将特征投影到沿着通道的高维向量中；S3：特征向量通过一个层次化的金字塔结构，由几个级联的空间移位块和块合并来生成层次化的特征表示。3.根据权利要求2所述的基于CSSNet的医学图像分割方法，其特征在于：所述S1中输入的切片为图像医学的横向切片，块划分使用q(q&gt;1)卷积层。4.根据权利要求2所述的基于CSSNet的医学图像分割方法，其特征在于：所述S2中使用级联空间移位块捕捉医学图像的局部性，所述级联空间移位块由两层归一化层、级联空间移位操作和通道MLP操作组成。5.根据权利要求4所述的基于CSSNet的医学图像分割方法，其特征在于：所述级联空间移位块的管道为：X
′
＝X
in
+CsdSS(LnyerNorm(X
in
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(I)X
out
＝X
′
+ChlMLP(LayerNorm(X
′
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，上述公式中，X
in
X
out
为输入和输出特征。CsdSS和ChlMLP分别表示级联空间移位操作和MLP通道操作。6.根据权利要求4所述的基于CSSNet的医学图像分割方法，其特征在于：所述级联空间移位操作是通过输入特征图沿通道轴等分得到，然后用级联的方式将不同段的移位特征进行聚合，并使用Channel
‑<...

【专利技术属性】
技术研发人员：邵叶秦，周昆阳，许昌炎，桑子江，施佺，
申请(专利权)人：南通大学，
类型：发明
国别省市：