【技术实现步骤摘要】
本专利技术属于图像分割，具体地讲，设计一种基于swin transformer与cnn并行网络的医学图像分割方法，实现不同器官的准确分割。
技术介绍
1、医学图像的广泛应用已经改变了现代医学的面貌，使医生能够更全面地理解人体结构，不再像过去那样依赖于有限的触摸和经验。医学图像检查已成为疾病诊断的标准程序，医学图像所提供的信息已成为医生确定治疗方案的关键依据。然而，目前医学图像的分割通常需要有经验的医生手动标注可疑的病灶区域，这一过程非常耗时费力。此外，完全依赖人工标注的方法容易受到多种因素的影响，如医生疲劳、主观判断等，这可能导致误诊和不必要的矛盾。
2、在人工智能的大背景下，通过辅助手段来精确分割医学图像中的目标区域已成为一个重要的研究课题。合适的方法可以提高整个治疗过程的效率，改善患者的就诊体验。近年来，随着计算机技术和人工智能的快速发展，卷积神经网络（convolutional neuralnetwork，cnn）强大的建模能力被广泛研究。相比传统的算法，基于卷积神经网络的深度学习算法在图像处理各领域带来了突破性的进展，如图像分类、语义分割等，基于深度学习的图像分割算法也被引入到医学影像分割中。深度学习算法的自动提取特征能力有效地克服了传统医学图像分割算法过多依赖医疗专家先验认知这一弊端，且深度学习算法的可移植性高，借助迁移学习能够快速地拓展到不同的任务场景下。
3、尽管基于cnn的方法取得了良好的性能，但仍难以满足医学图像精确分割的要求。由于卷积核的感受野大小有限，基于cnn的方法通常很难捕获全局
4、但是，在医学图像分割领域中引入transformer模型，也面临一些挑战和问题。
5、1.数据稀缺性：医学图像数据集通常相对较小，这对深度学习模型的训练构成了挑战。transformer模型尤其需要大量数据来训练，但医学图像数据的获取和标注是耗时且昂贵的，因此很难获得足够大规模的数据集来支持transformer模型的训练。
6、2.预训练模型的通用性：许多医学图像领域的研究者已经开始探索将预训练的transformer模型（如bert或gpt）应用于医学图像分割任务。然而，这些模型通常是在自然语言处理领域进行预训练的，因此它们的特征提取能力在医学图像领域可能不够强大或不够适用。
7、3.高计算成本：transformer模型通常具有大量的参数，因此需要大量的计算资源来进行训练和推理。这会增加研究和应用的成本，对于一些医疗机构和研究团队可能不太可行。
8、4.结构多样性：医学图像中，不同疾病或不同部位的器官具有多样性的结构和形态。这使得一个通用的transformer模型难以适应所有不同的医学图像分割任务，因为每个任务都可能需要特定的架构或调整。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提出一种基于swin transformer与cnn并行网络的医学图像分割方法，用于准确分割医学图像。
2、为了实现上述目的，本专利技术所采用的技术方案如下。
3、基于swin transformer与cnn并行网络的医学图像分割方法，具体实现步骤如下。
4、步骤一，将医学图像统一经过nnunet默认的方式处理后输入网络模型。
5、步骤二，本专利技术构建了分割模型phunet，采用swin transformer和cnn构建的并行混合模块搭建主干网络来完成编码和解码任务。
6、步骤三，将u型网络中的普通跳跃连接更换为跨层特征增强模块（clfe模块），以增强低层特征与跨层特征的学习能力。
7、步骤四，加入空间和信道挤压与激励模块（scse模块），给予位置更高的激活度，重新校准激励网络学习更有意义的特征，并增强局部区域的显著特征。
8、在步骤一中，所述数据预处理采用nnunet默认的处理方式，数据划分采用nnformer的数据划分方式。
9、在步骤二中，所述构建分割模型phunet，采用swin transformer和cnn构建的并行混合模块搭建主干网络来完成编码和解码任务。构建分割模型phunet包括：基于u-net的编码器-解码器结构构建分割模型phunet，编码器部分由纯卷积模块和并行混合模块组成，解码器部分同样由纯卷积模块和并行混合模块部署在对应阶段。
10、在编码器中，输入医学图像后，首先利用2个纯卷积模块来获得特征图f，随后应用由swin transformer和cnn组成的并行混合模块对局部和全局特征的层次表示进行建模，该过程重复4次。
11、在解码器中，与编码器相对应，对称解码器同样基于并行混合模块和纯卷积模块构建。训练期间，解码器的每个阶段都使用深度监督，总共产生2+4个输出，损失函数采用由交叉熵和dice损失组成的联合损失。
12、并行混合模块中，输入图像进过纯卷积模块缩小比例输出特征图，分别输入到swin transformer块和conv块中。在swin transformer的输入分支开头和结尾分别引入volume-to-sequence（v2s）和sequence-to-volume（s2v）操作，实现体积和序列的变换，目的是使swin transformer块的分支输出与conv块的分支输出的维度空间保持一致。
13、swin transformer块由基于位移窗口的多头自注意力（msa）模块组成，之后是2层mlp，中间有gelu激活函数。在每个msa模块和每个mlp之前应用layernorm（ln）层，在每个模块之后应用残差连接。swin transformer块重复2次。对于医学图像分割，本专利技术将标准的swin transformer拓展为3d版本，该版本在局部 3d 窗口内计算自注意力，这些窗口以非重叠方式均匀划分体积。
14、conv块由3×3×3卷积层、gule激活函数和实例归一化层为单位重复2次。最后通过加法运算融合swin transformer块和conv块的输出。
15、编码器中的并行混合模块计算过程公式如下：
16、
17、其中，是编码器第级的下采样结果。表示并行混合模块中经过2个swin transformer块操作，表示并行混合模本文档来自技高网...
【技术保护点】
1.一种基于Swin Transformer与CNN并行网络的医学图像分割方法，具体的实现步骤如下：
2.根据权利要求1所述的基于Swin Transformer与CNN并行网络的医学图像分割方法，其特征在于：所述步骤一图像进行预处理具体为：数据预处理采用nnUNet默认的处理方式，数据划分采用nnFormer的数据划分方式。
3.根据权利要求1所述的基于Swin Transformer与CNN并行网络的医学图像分割方法，其特征在于：所述步骤二中，构建分割模型PHUNet，采用Swin Transformer和CNN构建的并行混合模块搭建主干网络来完成编码和解码任务。构建分割模型PHUNet包括：
4.根据权利要求1所述的基于Swin Transformer与CNN并行网络的医学图像分割方法，其特征在于：在步骤三中，将U型网络中的普通跳跃连接更换为跨层特征增强模块（CLFE模块），以增强低层特征与跨层特征的学习能力;
5.根据权利要求1所述的基于Swin Transformer与CNN并行网络的医学图像分割方法，其特征在于：在步骤四
...【技术特征摘要】
1.一种基于swin transformer与cnn并行网络的医学图像分割方法，具体的实现步骤如下：
2.根据权利要求1所述的基于swin transformer与cnn并行网络的医学图像分割方法，其特征在于：所述步骤一图像进行预处理具体为：数据预处理采用nnunet默认的处理方式，数据划分采用nnformer的数据划分方式。
3.根据权利要求1所述的基于swin transformer与cnn并行网络的医学图像分割方法，其特征在于：所述步骤二中，构建分割模型phunet，采用swin transformer和cnn构建的并行混合模块...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。