基于Transformer和卷积神经网络的三维医学图像分割方法技术

本发明专利技术提出一种基于Transformer和卷积神经网络的三维医学图像分割方法，包括以下步骤：步骤S1：对原始医学图像的标签图的边缘进行逐类提取；步骤S2：对原始医学图像的原图、标签图和标签图的边缘图像进行随机翻转、旋转和缩放处理；步骤S3：将处理后的图像输入医学图像分割模型进行各类组织器官的分割；所述医学图像分割模型是由训练集数据经过标签图的边缘提取后再对原图、标签图和标签图边缘图像随机翻转、旋转和缩放处理后产生的图像数据在基于Transformer和卷积神经网络的结合形态结构学习的网络模型进行训练获得。应用该技术方案可实现增强最终分割结果的准确性。可实现增强最终分割结果的准确性。可实现增强最终分割结果的准确性。

【技术实现步骤摘要】
基于Transformer和卷积神经网络的三维医学图像分割方法


[0001]本专利技术涉及图像处理
，特别是一种基于Transformer和卷积神经网络的三维医学图像分割方法。

技术介绍

[0002]作为医学图像分析的关键步骤，病灶、脏器的自动分割方法成为当前研究热点，这不仅是为了应对与器官相关的疾病的不断增加的情况，还是因为自动分割可以在大大减少人为因素干扰的情况下，区别出不同特征数据的结构信息从而更好地进行功能及差异分析。
[0003]研究医学图像三维分割技术实现自动化判读，可为医生提供更准确的诊断依据。当前医学图像的分割方法主要可分为两类：(1)基于传统图像处理的医学图像分割方法；(2)基于机器学习的医学图像分割方法。基于传统图像处理的医学图像分割方法主要由特征提取以及分类器所构成，不依赖训练样本，优点在于算法运行时间快，周期短，以及算法流程可视化，可以比较直观地看到算法中间处理的结果。基于机器学习的医学图像分割方法主要有基于传统机器学习算法和深度学习算法。鉴于深度学习算法强大的特征表征能力。目前大多数图像分割方法采集基于深度学习方法。基于深度学习的医学图像分割是一种数据驱动的算法，该算法需要从带有大量标注的训练数据集中学习数据之间的规律性信息，确定分割模型的参数，优点在于深度学习中的特征提取是通过大量的训练来自主学习，减少了人力成本，与传统图像处理方法相比，深度学习的泛化性更高，且最终的分割效果通常也更加精确。
[0004]虽然大多数算法已经对医学图像的分割可以达到一定精确度，但是包括U
‑
Net在内的许多神经网络的一个共同缺点是缺乏可解释性。因为这些神经网络是通过许多卷积层之间相连而搭建起来的，所以要将它正在学习的特征可视化就变得很有挑战性。这使神经网络成为一个“黑盒子”，使得在试图找到错误分类的根本原因时带来了挑战。此外，CNN受密集像素值的影响很大，与物体形状信息相比，这些像素值不具有鲁棒性特征。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于Transformer和卷积神经网络的三维医学图像分割方法，实现增强最终分割结果的准确性。
[0006]为实现上述目的，本专利技术采用如下技术方案：基于Transformer和卷积神经网络的三维医学图像分割方法，包括以下步骤：
[0007]步骤S1：对原始医学图像的标签图的边缘进行逐类提取；
[0008]步骤S2：对原始医学图像的原图、标签图和标签图的边缘图像进行随机翻转、旋转和缩放处理；
[0009]步骤S3：将处理后的图像输入医学图像分割模型进行各类组织器官的分割。
[0010]在一较佳的实施例中：所述步骤S1具体包括以下步骤：
[0011]步骤S11：通过独热编码One
‑
Hot对医学图像的标签图的各个类别进行逐通道的分离，每个通道代表一个类别；
[0012]步骤S12：对分离出来的每个类别通道进行边缘提取，然后压缩成一个通道，得到最终的各类组织器官的边缘。
[0013]在一较佳的实施例中：所述步骤S2具体包括以下步骤：
[0014]通过python内置的random函数随机生成在区间[0,1]的一个数作为图像翻转、旋转的概率，并将处理后的图像缩放至指定大小。
[0015]在一较佳的实施例中：所述步骤S3具体包括以下步骤：
[0016]医学图像分割模型是由训练集数据经过标签图的边缘提取后再对原图、标签图和标签图边缘图像随机翻转、旋转和缩放处理后产生的图像数据在基于Transformer和卷积神经网络的结合形态结构学习的网络模型进行训练获得。
[0017]在一较佳的实施例中：基于Transformer和卷积神经网络的结合形态结构学习的网络模型在采用TransUNet网络模型架构的基础上，结合形态结构模块学习分割目标在形状上的信息，采用最大池化和平均池化学习更丰富的特征；网络包含模块化的形态结构模块，Transformer层，残差模块层，最大池化和平均池化层，批标准化层和RELU激活函数，级联上采样层和跳跃连接；图像经过网络处理后，生成通道数与图像大小分别原图的类别数和大小都相同的预测分割结果，所述预测分割图像用于与真实分割图像计算及损失函数输出值。
[0018]在一较佳的实施例中：对基于Transformer和卷积神经网络的结合形态结构学习的分割网络使用三种损失函数，分别是：DICE损失函数，交叉熵损失函数和二分类交叉熵损失函数，损失函数分别表示为：
[0019][0020][0021]其中，y表示真值图中每个像素点在Ont
‑
Hot编码下的各个类的值，表示预测图中每个像素点在Ont
‑
Hot编码下的各个类的值，Ω表示图像高度为m，宽度为n，类别数为K的所有像素的域，形状为m
×
n
×
K。
[0022]与现有技术相比，本专利技术具有以下有益效果：
[0023]1.本专利技术所采用的形态结构模块，充分地利用了分割目标在形状上的信息，并将提取出的形状信息用于改善最终分割结果的准确性；
[0024]2.本专利技术采用最大池化和平均池化层对用于特征提取的卷积神经网络的结果进行进一步的特征提取，并将其作为形态结构模块的输入，为后续的组织器官的精确分割奠定基础。
[0025]本专利技术所采用的基于Transformer和卷积神经网络的结合形态结构学习的分割网络充分利用医学图像中分割目标的形状信息，并结合最大池化和平均池化层实现三维医学图像的高精度分割。
附图说明
[0026]图1为本专利技术优选实施例的整体流程示意图。
具体实施方式
[0027]下面结合附图及实施例对本专利技术做进一步说明。
[0028]应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0029]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0030]如图1所示，本实施例提供的基于Transformer和卷积神经网络的结合形态结构学习的三维医学图像的分割方法的训练过程包括以下步骤：
[0031]首先，通过独热编码(One
‑
Hot)对医学图像的标签图的各个类别进行逐通道的分离，每个通道代表一个类别；对分离出来的每个类别通道进行边缘提取，压缩成一个通道，得到最终的各类组织器官的边缘。然后，对原始医学图像的原图、标签图和标签图的边缘图像进行随机翻转、旋转和缩放处理，采用python内置的random函数随机生成在区间[0,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer和卷积神经网络的三维医学图像分割方法，其特征在于，包括以下步骤：步骤S1：对原始医学图像的标签图的边缘进行逐类提取；步骤S2：对原始医学图像的原图、标签图和标签图的边缘图像进行随机翻转、旋转和缩放处理；步骤S3：将处理后的图像输入医学图像分割模型进行各类组织器官的分割。2.根据权利要求1所述的基于Transformer和卷积神经网络的三维医学图像分割方法，其特征在于：所述步骤S1具体包括以下步骤：步骤S11：通过独热编码One
‑
Hot对医学图像的标签图的各个类别进行逐通道的分离，每个通道代表一个类别；步骤S12：对分离出来的每个类别通道进行边缘提取，然后压缩成一个通道，得到最终的各类组织器官的边缘。3.根据权利要求1所述的基于Transformer和卷积神经网络的三维医学图像分割方法，其特征在于：所述步骤S2具体包括以下步骤：通过python内置的random函数随机生成在区间[0,1]的一个数作为图像翻转、旋转的概率，并将处理后的图像缩放至指定大小。4.根据权利要求1所述的基于Transformer和卷积神经网络的三维医学图像分割方法，其特征在于：所述步骤S3具体包括以下步骤：医学图像分割模型是由训练集数据经过标签图的边缘提取后再对原图、标签图和标签图边缘图像随机翻转、旋转和缩放处理后产生的图像数据在基于Transformer和卷积神经网络的结合形态结构...

【专利技术属性】
技术研发人员：魏丽芳，李军，陈楠，叶欣怡，周晗，徐宏韬，杨长才，陈日清，
申请(专利权)人：福建农林大学，
类型：发明
国别省市：