一种结合小波变换的级联U-N Net脑肿瘤分割方法技术

本发明专利技术公开了一种结合小波变换的级联U‑N Net脑肿瘤分割方法，包括以下步骤：S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U‑Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N‑Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。本发明专利技术既能提高分割效率，又能解决脑肿瘤MRI分割中肿瘤边界模糊、分割精度低等问题。

【技术实现步骤摘要】
一种结合小波变换的级联U-NNet脑肿瘤分割方法
本专利技术涉及医学图像分割的
，尤其涉及到一种结合小波变换的级联U-NNet脑肿瘤分割方法。
技术介绍
脑肿瘤分割是医学图像处理的分支之一，其特征在于根据图像中，脑肿瘤与脑部其他健康组织之间存在如纹理和灰度差值等的特异性信息，利用算法将脑肿瘤从图像中分离或标注出来。目前常见的脑肿瘤类型是神经胶质瘤，该类型肿瘤组成一般由肿瘤核部分、坏死部分以及水肿区域组成，这些组成部分在核磁共振成像(MagneticResonanceImaging,MRI)上的表现存在差异、侧重不同，FLAIR和T2模态能突出表现水肿区域，而T1和T1CE则对肿瘤核和坏死部分信息敏感。对脑肿瘤MRI精准的分割对提高肿瘤诊断、手术计划和预测患者预后有着重要的意义，然而，过去手工地从MRI中分割脑肿瘤是耗时且容易产生分割精度损失的。脑肿瘤分割的难点在于三点：肿瘤边界容易与健康组织混淆，肿瘤核的形状、结构、位置等信息带有随机性，以及成像过程中存在的伪影难以消除。为克服上述的困难，越来越多的深度学习技术应用到脑肿瘤分割当中，许多工作对常见的神经网络结构，如CNNs，FCN和U-Net等进行调整修改以达到更好的分割结果，但CNNs存在大量的池化层操作会丢失特征图中关键信息；FCN虽然在结构上减少了冗余的池化层操作，并在最后的全连接层生成与输入同样尺寸的结果，但因未考虑上下文信息而损失边界细节；为改进上述缺点，U-Net在FCN的基础上增加了反卷积的解码路径，同时为保留上下文信息加入了跳跃结构，但在多输入多分类问题上，单一的U-Net对特征处理能力有限。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种结合小波变换的级联U-NNet脑肿瘤分割方法，旨在利用级联网络的方法实现分步分割，解决脑肿瘤MRI分割中肿瘤边界模糊、分割精度低等问题；同时引入小波变换的轻量化设计，降低级联网络的参数量，提高分割效率。为实现上述目的，本专利技术所提供的技术方案为：一种结合小波变换的级联U-NNet脑肿瘤分割方法，包括以下步骤：S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。进一步地，所述预处理具体包括：对图像序列的四种模态数据进行N4偏移场校正和各向异性去噪，同时将对应的标注数据分成两份，一份不作处理，另一份作二值化处理，生成粗分割标注数据。进一步地，所述步骤S2中，以FLAIR和T2作为训练样本，处理过的标注数据作为样本的真值进行训练，然后将结合小波变换的U-Net模型的训练结果与其他两种模态数据T1和T1C进行相乘处理，生成粗分割图像。进一步地，所述步骤S2中，结合小波变换的U-Net模型的具体结构为：以U-Net网络的4层编码解码架构为基础架构，每一层的层卷积块由原来的2个帧间卷积块替换成1个帧间卷积块和1个Haar小波变换模块；编码路径的层间池化层操作替换成Haar小波变换操作，以Haar小波变换后的低频分量作为下一层的输入，同时保留Haar小波变换的高频分量；在解码路径中，层间的反卷积操作由原来的1次上采样操作和1个反卷积块替换成1次Haar逆小波变换和1个帧间卷积块，在Haar逆小波变换过程中，所述的高频分量经过跳跃结构后参与图像重构。进一步地，所述步骤S3中，用步骤S2生成的粗分割图像作为训练样本，以步骤S1中未作处理的标注数据作为训练样本的真值，对结合小波变换的N-Net模型进行训练，生成最终的脑肿瘤分割结果。进一步地，所述步骤S3中，结合小波变换的N-Net模型的具体结构为：以U-Net网络的拓扑结构为基本结构，在主体编码过程中增添旁路编码路径，使得输入图像经过数量与所述主体编码层数相同的卷积块，每个卷积块由2个帧间卷积块组成，且每个卷积块输出的特征图会通过跳跃结构，拼接到对应的编码路径层加入到运算当中。与现有技术相比，本方案原理及优点如下：1)通过级联结合小波变换的U-Net和N-Net，使原本的四分类问题分两步分解为两个二分类问题，减少分割难度。2)利用Haar小波变换替代池化层操作，并通过跳跃结构，在解码路径中进行Haar逆小波变换来还原特征图，保留上下文信息，提高分割精度。3)设计带有Haar小波变换的轻量化模块，保证级联网络分割精度的同时降低级联网络的参数量，提高训练效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种结合小波变换的级联U-NNet脑肿瘤分割方法的原理流程图；图2为结合小波变换的级联U-NNet中U-Net的结构图；图3为粗分割阶段结果图，其中图(a)为T1CE模态，图(b)为结合小波变换的U-Net训练结果，图(c)为粗分割结果；图4为结合小波变换的级联U-NNet中N-Net结构图；图5为本专利技术方法的数据集，以及最终分割结果对比图，其中图(a)～图(d)分别对应是FLAIR,T2,T1,T1CE模态数据，图(e)是本专利技术方法的最终分割结果，图(f)是训练样本的真值。具体实施方式下面结合具体实施例对本专利技术作进一步说明：如图1所示，本实施例所述的一种结合小波变换的级联U-NNet脑肿瘤分割方法，包括以下步骤：第一步，对输入的图像序列进行预处理：1.1)本实施例使用BRATS2018数据集，包括四种模态的MRI数据FLAIR、T2、T1、T1C以及标注数据；每份模态数据尺寸为240*240*155；其中，高胶质肿瘤HGG序列有210例，低胶质肿瘤LGG序列有75例；按7：3的比例划分成训练集和测试集后读入，读入过程中去掉像素值全为0的切片(又称背景切片)，取其一模态数据，记作(其中S为模态数据，是由n张二维切片组成的三维体数据，D是Sn的定义域，映射到值域实数集R上)，由于去掉了背景切片，因此j,k∈{1,…,155}，这样读入的目的是减少GPU资源的开销；1.2)为消除偏置场对模型训练的影响，对S进行N4偏置场校正，随后应用各向异性滤波器平滑图像，目的是保留肿瘤的边缘细节，结果记作S′；1.3)在读入标注数据时，复制成两份数据，记作I和I′，其中I＝{In：D→{0，1，2，4}，n＝j，...，k}不作处理，用于结合小波变换的本文档来自技高网...

【技术保护点】
1.一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，包括以下步骤：/nS1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；/nS2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；/nS3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。/n

【技术特征摘要】
1.一种结合小波变换的级联U-NNet脑肿瘤分割方法，其特征在于，包括以下步骤：
S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；
S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；
S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。


2.根据权利要求1所述的一种结合小波变换的级联U-NNet脑肿瘤分割方法，其特征在于，所述预处理具体包括：对图像序列的四种模态数据进行N4偏移场校正和各向异性去噪，同时将对应的标注数据分成两份，一份不作处理，另一份作二值化处理，生成粗分割标注数据。


3.根据权利要求2所述的一种结合小波变换的级联U-NNet脑肿瘤分割方法，其特征在于，所述步骤S2中，以FLAIR和T2作为训练样本，处理过的标注数据作为样本的真值进行训练，然后将结合小波变换的U-Net模型的训练结果与其他两种模态数据T1和T1C进行相乘处理，生成粗分割图像。


4.根据权利要求3所述的一种结合小波变换的级联U-NNet脑肿瘤分割方法，其特征在于，所...

【专利技术属性】
技术研发人员：战荫伟，黄炜倬，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44