一种基于级联深度神经网络模型的脑胶质瘤分割方法技术

本发明专利技术涉及一种基于级联深度神经网络模型的脑胶质瘤分割方法，属于医学图像处理领域。该模型包括WT‑Net、TC‑Net和ET‑Net编码解码子模块，并且WT‑Net编码解码子模块与TC‑Net编码解码子模块级联，TC‑Net编码解码子模块与ET‑Net编码解码子模块级联；编码解码子模块皆包括编码部分、解码部分和跳层连接。本发明专利技术将复杂的多分类问题分解成三个二分类问题，级联模型解决了样本利用程度不高、训练样本不均衡以及特征提取过程中全局信息损失问题，实现了MRI图像脑胶质瘤自动分割，对医生诊断病情具有辅助作用。

【技术实现步骤摘要】
一种基于级联深度神经网络模型的脑胶质瘤分割方法
本专利技术属于医学图像处理领域，涉及一种基于级联深度神经网络模型的脑胶质瘤分割方法。
技术介绍
脑胶质瘤是最普遍的脑肿瘤，具有极高的致死率。根据胶质瘤的病理性评估，可以分为高级胶质瘤(High-gradeGliomas，HGG)和(Low-gradeGliomas，LGG)。HGG子区域包括水肿、坏死核心、增强区域以及非增强区域，且生长快速具有较高致死率，而LGG不包含增强区域，且生长缓慢对病人有更小的侵略性。核磁共振图像(MagneticResonanceImaging,MRI)对软组织有较好成像效果，能够差异呈现不同脑胶质瘤区域。脑胶质瘤核磁共振图像通常使用多种模态，例如：T1-weighted(T1)，ContrastEnhancedT1-weighted(T1ce)，T2-weighted(T2)以及FluidAttenuationInversionRecovery(FLAIR)。四种模态对不同肿瘤组织的敏感程度不同。FlAIR模态对瘤周水肿更为敏感，更利于完整肿瘤图像分割，而T2和T1ce对肿瘤核心和增强区域更为敏感。MRI图像的脑胶质瘤分割结果能够辅助医生诊断脑胶质瘤形态，对手术治疗有指导意义。虽然MRI能够对脑胶质瘤很好地成像，但是分割肿瘤图像仍然存在困难。由于平滑的图像强度梯度、部分容积效应和场偏移效应，相邻结构之间的边界往往不明确，且不同病人的肿瘤位置、形状、大小高度异质。目前，主要依赖于专家手动分割，分割结果容易出错、受分割者主观影响、花费时间长并且花费昂贵。因此，高效准确的脑肿瘤自动分割算法的研究尤为重要。近几年，随着以卷积神经网络为代表的深度学习方法的提出，医学图像分析与处理领域的研究取得了突破性进展。深度学习通过搭建卷积神经网络，在模型参数的不断迭代更新的过程中，学习图像的深层次且具有代表性的抽象特征，构建模型供后续分割任务使用。卷积神经网络通常由卷积模块堆叠而成。卷积模块包括卷积层、激活层和池化层，其中卷积层通过卷积核在特征图上进行卷积操作，获取图像特征，然后由激活层对特征图做非线性变化，经过池化层获取多尺度特征。基于深度学习的脑胶质瘤分割方法可以分为：基于图像块的方法和基于全连接网络的方法。图像块的方法通过提取领域像素的特征预测中心像素标签概率。图像块方法对每一个像素都进行一次单独的卷积网络计算，导致大量冗余计算且破坏全局特征。全卷积网络，关注图像全局特征，一次性在对所有像素点分类且同时保留原始图像的全局信息，与图像块方法相比，能够减少计算量，其改进模型U-Net在脑胶质瘤分割算法中应用广泛。基于U-Net模型，Kong等人使用金字塔思想加强多尺度特征的利用，Chen等人使用空间可分离卷积提取样本3D特征。这些方法虽然针对特征提取进行了改进，但忽略了不同任务对不同数据模态的差异需求。Lachinov等人提出了改进3DU-Net方法，在模型编码阶段采用模态分离学习方法高效处理输入的多模态MRI，提高模型对多模态图像的利用程度。Wang等人和Chen等人根据脑胶质瘤组织的层次结构，提出级联模型方法，以较大区域肿瘤组织作为子区域的预分割区域，约束子区域的分割范围。这种粗暴的预分割方法虽然能有效提高复杂子区域的分割效果，但要求预分割结果容错率低，且预分割结果形变会破坏图像结构。简言之，基于深度学习的脑胶质瘤分割方法面临训练样本不均衡的挑战，同时存在对训练样本利用程度不高、提取肿瘤区域过程中破坏全局信息的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于级联深度神经网络模型的脑胶质瘤分割方法，分解成三个简单的二分类任务，提升了对多模态样本图像的利用程度；在不破坏全局信息的前提下，解决了由于增强肿瘤和肿瘤核心样本少产生的样本不平衡问题。为达到上述目的，本专利技术提供如下技术方案：一种基于级联深度神经网络模型的脑胶质瘤分割方法，该方法包括以下步骤：S1、将数据集预处理并打乱，划分成训练集和测试集，对训练集进行数据增强；S2、使用训练集数据训练级联深度神经网络模型；S3、分批次投入所有训练样本切片，训练并优化网络参数；S4、把测试集数据分批送入训练好的模型，对模型进行分割性能评估。可选地，步骤S1具体为：去除不包含脑组织区域的图片并进行切片，截取剩余切片中间尺寸为176×176的图像，去除图像四周背景区域，标准化同一个样例所有的切片，即将每个像素值减去图像矩阵均值再除以图像矩阵方差，降低不同模态像素强度差异对训练效果的影响，每一张切片进行随机小于20度的旋转、随机平移、随机弹性形变、以及随机垂直和水平翻转，上述所有操作的概率设置为0.5。可选地，步骤S2具体为：S21、取一批次训练样本切片，同时送入三个子模块编码部分，下采样卷积模块经过两次分组卷积独立提取四种模态的浅层特征得到多模态特征，然后经过池化操作，特征图大小减少一半，并送入下一层下采样卷积模块；S22、经过步骤S21所述的下采样模块得到多模态特征图，同时使用模态增强机制，获取增强特征，同时以特征图相加的方式融合来自前一子模块同层上采样卷积模块特征图，成为跳层部分特征图；S23、经过5层下采样卷积模块后，执行双线性插值算法，特征图大小扩大至两倍，然后送入上采用卷积模块，同时接受步骤S22所述的跳层部分特征图，经过上采样卷积模块提取高级语义特征；S24、经过4层上采样卷积模块后，使用1×1卷积，得到1个输出特征图，经过softmax激活函数获取分割结果，三个子模块得到三个任务的分割结果图。可选地，步骤S3具体为：每次训练随机选取16张切片数据，每轮训练学习完所有切片，共完成100轮，训练过程中，若最新迭代轮次的评估优于已存最优模型评估，则更新最优模型参数；使用Adam梯度下降方法优化参数，学习率为2×10E-4，β1＝0.9，β2＝0.999；学习率从随机指定的学习轮数开始衰减至最后一轮；三个SoftDice损失函数带权相加构成损失函数；具体公式如下所示：Losstotal_dice＝λ1Losswt+λ2Lossct+λ3Losset其中取λ1＝0.3，λ2＝0.4，λ3＝0.3；具体为：其中，C表示子模块个数，c代表第c个子模块，N表示每次参与损失计算的特征值个数总数，ci表示相应子模块c下的第i个特征值；g是groundtruth，指真实标签值，p是prediction，表示预测值。可选地，步骤S4为对模型进行性能评估，具体过程为：将测试集切片样本进行随机打乱，每一批次训练抽取16个样本切片放入模型得到模型评估结果，测试完所有测试集样本，取所有批次测试结果的平均值作为模型评估结果；所用评估标准具体包括：Dice评估、Sensitivity评估、Sensitivity评估和双向豪斯多夫距离评估。可选地，级联深度神经网络模型包括带模态增强机制的WT-Net、TC-Net和ET-Net编码解码子模块；...

【技术保护点】
1.一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述方法包括以下步骤：/nS1、将数据集预处理并打乱，划分成训练集和测试集，对训练集进行数据增强；/nS2、使用训练集数据训练级联深度神经网络模型；/nS3、分批次投入所有训练样本切片，训练并优化网络参数；/nS4、把测试集数据分批送入训练好的模型，对模型进行分割性能评估。/n

【技术特征摘要】
1.一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述方法包括以下步骤：
S1、将数据集预处理并打乱，划分成训练集和测试集，对训练集进行数据增强；
S2、使用训练集数据训练级联深度神经网络模型；
S3、分批次投入所有训练样本切片，训练并优化网络参数；
S4、把测试集数据分批送入训练好的模型，对模型进行分割性能评估。


2.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S1具体为：
去除不包含脑组织区域的图片并进行切片，截取剩余切片中间尺寸为176×176的图像，去除图像四周背景区域，标准化同一个样例所有的切片，即将每个像素值减去图像矩阵均值再除以图像矩阵方差，降低不同模态像素强度差异对训练效果的影响，每一张切片进行随机小于20度的旋转、随机平移、随机弹性形变、以及随机垂直和水平翻转，上述所有操作的概率设置为0.5。


3.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S2具体为：
S21、取一批次训练样本切片，同时送入三个子模块编码部分，下采样卷积模块经过两次分组卷积独立提取四种模态的浅层特征得到多模态特征，然后经过池化操作，特征图大小减少一半，并送入下一层下采样卷积模块；
S22、经过步骤S21所述的下采样模块得到多模态特征图，同时使用模态增强机制，获取增强特征，同时以特征图相加的方式融合来自前一子模块同层上采样卷积模块特征图，成为跳层部分特征图；
S23、经过5层下采样卷积模块后，执行双线性插值算法，特征图大小扩大至两倍，然后送入上采用卷积模块，同时接受步骤S22所述的跳层部分特征图，经过上采样卷积模块提取高级语义特征；
S24、经过4层上采样卷积模块后，使用1×1卷积，得到1个输出特征图，经过softmax激活函数获取分割结果，三个子模块得到三个任务的分割结果图。


4.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S3具体为：
每次训练随机选取16张切片数据，每轮训练学习完所有切片，共完成100轮，训练过程中，若最新迭代轮次的评估优于已存最优模型评估，则更新最优模型参数；使用Adam梯度下降方法优化参数，学习率为2×10E-4，β1＝0.9，β2＝0.999；学习率从随机指定的学习轮数开始衰减至最后一轮；三个SoftDice损失函数带权相加构成损失函数；具体公式如下所示：
Losstotal_dice＝λ1Losswt+λ2Lossct+λsLosset
其中取λ1＝0.3，λ2＝0.4，λ3＝0.3；具体为：



其中，C表示子模块个数，c代表第c个子模块，N表示每次参与损失计算的特征值个数总数，ci表示相应子模块c下的第i个特征值；g是groundtruth，指真实标签值，p是prediction，表示预测值。


5.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S4...

【专利技术属性】
技术研发人员：左瑾，栾晓，李智星，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50