一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法技术

本发明专利技术公开了一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，包括：(1)收集多中心的儿童X线胸片图像并进行预处理；(2)将数据划分为训练集、验证集和测试集；(3)构建分割模型，分割模型在UNet的基础上加入了Transformer层，包括三次下采样、线性层、Transformer层、上采样四个部分；(4)将训练集送入到构建的分割模型中进行训练，利用验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；(5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。本发明专利技术的方法，结合了Transformers与UNet两种网络的优点，具有较高的分割精度和效率。较高的分割精度和效率。较高的分割精度和效率。

A lung segmentation method based on transunet model for multi center chest X-ray images of children

【技术实现步骤摘要】
一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法


[0001]本专利技术属于医学人工智能领域，尤其是涉及一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法。

技术介绍

[0002]儿童肺炎是儿童类感染率前三的疾病，目前很多研究者都通过智能算法对儿童肺炎进行诊断，而基于影像的诊断前置步骤就是对肺部的分割。基于影像的肺部分类还有助于提供肺结节检测、支气管炎检测等精度。常规的儿童肺部检测影像主要有CT和X线胸片，前者切片多，分割精度一般较高，后者只有一张，且在不同机器上获取的图像质量不一，对其进行肺部分割的难度较大。
[0003]针对这一难题，很多研究者采用深度学习网络对X线胸片进行肺部分割，采用了诸如UNet、Res UNet、Att UNet等网络。
[0004]如公开号为CN111986206A的中国专利文献公开了一种基于UNet网络的肺叶分割方法，从影像输入设备获取肺部CT影像数据；对输入的肺部CT影像数据进行归一化处理；对处理后的影像数据利用2D UNet网络筛选出肺内区域和肺外区域，并将肺内区域作为肺区候选区域；对肺区候选区域利用3D UNet网络分割出五个肺叶掩膜区域，得到左上叶、左下叶、右上叶、右中叶以及右下叶的区域；对五个肺叶掩膜区域分别进行形态学处理，得到最终的肺叶分割结果。
[0005]公开号为CN113470042A的中国专利文献公开了一种肺部CT图像的支气管分割方法，包括：(a)获取肺部CT图像并进行支气管的标注；(b)对肺部CT图像进行预处理，包括肺实质提取和数据归一化，并计算图像对应的肺边界距离图；(c)将预处理后的图像、体素坐标及其到肺边界距离图输入到3D Unet网络模型进行端到端训练，得到3D Unet训练模型，其中在训练过程中，采用拉普拉斯过滤器来增强图像的边界区域，并计算边界增强损失和Dice损失；(d)基于所得到的3D Unet训练模型进行支气管分割。
[0006]然而，现有的这些网络由于卷积固有的局部性特征，基于卷积的方法不能有效建模长程关系，分割的精度和效率有待进一步提高。

技术实现思路

[0007]本专利技术提供了一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，结合了Transformers与UNet两种网络的优点，具有较高的分割精度和效率。
[0008]一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，包括以下步骤：
[0009](1)收集多中心的儿童X线胸片图像，对影像数据进行预处理；
[0010](2)将预处理后的影像数据划分为训练集、验证集和测试集；
[0011](3)构建分割模型，所述分割模型采用TransUNet网络模型，TransUNet网络模型在
UNet的基础上加入了Transformer层；具体包括三次下采样、线性层、Transformer层、上采样四个部分；
[0012]其中，UNet最后一层下采样得到特征矩阵Fu后输入到线性层，将三维特征矩阵变成二维特征向量，并送入到Transformer层进行分析，将分析得到的特征Ft与Fu拼接，然后再进行UNet的上采样，最终实现与原图大小一致的分割结果；
[0013](4)将预处理后的训练集送入到构建的分割模型中进行训练，利用预处理后的验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；
[0014](5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。
[0015]步骤(1)中，所述的预处理包括对影像进行灰度截断，然后进行缩放和尺度的归一化，并采用高斯滤波器滤除噪声。
[0016]灰度截断的步骤如下：首先获取图像大小(x,y)，然后截取中心区域[x/4:x*3/4,y/4:y*3/4]，即获取图像最中心的1/4的区域；求得此区域的最大值V
max
和最小值V
min
，然后对图像进行灰度截断：
[0017][0018]从而获取灰度截断后的图像。
[0019]步骤(2)中，将预处理后的影像数据按7:1:2划分为训练集、验证集和测试集。
[0020]步骤(3)中，分割模型的工作流程如下：
[0021]首先分割模型对大小为(x,y)的输入图像I，通过三次下采样，分别获得对应的特征矩阵F1,F2,F3，其大小分别为(x/2,y/2,c),(x/4,y/4,c),(x/8,y/8,c)，其中c为通道数；
[0022]然后，分割模型将特征矩阵F3输入到线性层，通过此层，将对特征矩阵F3进行切片，将(x/8,y/8,c)的三维特征矩阵变为(x*y/8*8,c)的c通道的二维特征向量，每个特征向量表示如下：
[0023]z0＝[x1E；x1E,
…
,x1E]+E
pos
，E∈R
64*c*D
,E
pos
∈R
N*D
[0024]其中，N＝x*y/64，E
pos
表示位置信息；
[0025]接着，分割模型将Z0送入到Transformer层，通过12次Transformer操作后，再通过reshape操作还原为(x/8,y/8,c)的三维特征矩阵F
t
；
[0026]最后，分割模型将F
t
与F3拼接，完成三次上采样后进行一次全连接卷积，得到F4,F5,F6,F7，最终的F7大小为(x,y)，与原图大小一致。
[0027]所述的线性层包括卷积、拉平、嵌入位置信息、dropout层四个步骤。
[0028]每次Transformer操作都一样，以第一次为例，首先对输入z0进行正则化，然后通过多重序列比对信息提取特征，然后将其与输入进行相加得到中间结果Z
’
，接着再次正则化，然后再送入多层感知器，将得到的结果与Z
’
相加得到一次Z1，完成一次Transformer操作。
[0029]步骤(4)中，采用监督训练方法对分割模型进行训练。
[0030]与现有技术相比，本专利技术具有以下有益效果：
[0031]本专利技术创新性地提出了用TransUNet对多中心儿童X线胸片进行肺部分割；此方法结合了Transformers与UNet两种网络的优点，且取得了相对UNet网络方法更好的分割性能，且在多中心数据集上有着较好的表现，分割精度和效率均有较大提升，说明了模型具有较好的泛化性。为后续基于影像的肺炎检测、肺结节检测、支气管炎的检测提供了良好的基础。
附图说明
[0032]图1为本专利技术一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法流程图；
[0033]图2为本专利技术中分割模型的整体结构图；
[0034]图3为本专利技术分割模型中下采样模块的示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，包括以下步骤：(1)收集多中心的儿童X线胸片图像，对影像数据进行预处理；(2)将预处理后的影像数据划分为训练集、验证集和测试集；(3)构建分割模型，所述分割模型采用TransUNet网络模型，TransUNet网络模型在UNet的基础上加入了Transformer层；具体包括三次下采样、线性层、Transformer层、上采样四个部分；其中，UNet最后一层下采样得到特征矩阵Fu后输入到线性层，将三维特征矩阵变成二维特征向量，并送入到Transformer层进行分析，将分析得到的特征Ft与Fu拼接，然后再进行UNet的上采样，最终实现与原图大小一致的分割结果；(4)将预处理后的训练集送入到构建的分割模型中进行训练，利用预处理后的验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；(5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。2.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(1)中，所述的预处理包括对影像进行灰度截断，然后进行缩放和尺度的归一化，并采用高斯滤波器滤除噪声。3.根据权利要求2所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，灰度截断的步骤如下：首先获取图像大小(x,y)，然后截取中心区域[x/4:x*3/4,y/4:y*3/4]，即获取图像最中心的1/4的区域；求得此区域的最大值V
max
和最小值V
min
，然后对图像进行灰度截断：从而获取灰度截断后的图像。4.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(2)中，将预处理后的影像数据按7:1:2划分为训练集、验证集和测试集。5.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(3)中，分割模型的工作...

【专利技术属性】
技术研发人员：俞刚，陈凌栋，黄坚，沈忱，李竞，孙晨升，马晓辉，余卓，
申请(专利权)人：浙江大学，
类型：发明
国别省市：