基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法技术

本发明专利技术提供一种基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，包括以下步骤：深度级联卷积神经网络分割模型搭建；模型训练与参数优化；多模态MRI脑肿瘤的快速定位与瘤内分割。本发明专利技术提供的基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，构建由全卷积神经网络和分类卷积神经网络组成的深度级联混合神经网络，把分割过程分为完整肿瘤区定位和瘤内子区分割两个阶段，实现层级化MRI脑肿瘤快速精确定位及瘤内子区分割，首先采用全卷积网络法从MRI图像中定位出完整肿瘤区域，然后采用图像块分类法将完整肿瘤进一步分割成水肿区、非增强肿瘤区、增强肿瘤区和坏死区，实现了多模态MRI脑肿瘤的精确定位与瘤内子区的快速精确分割。

Localization and intratumoral segmentation of MRI brain tumors based on deep concatenated convolutional network

The invention provides an MRI brain tumor localization and intratumoral segmentation method based on a deep cascaded convolution network, which comprises the following steps: constructing a deep cascaded convolution neural network segmentation model; training and parameter optimization of the model; fast localization and intratumoral segmentation of brain tumors on multi-modal MRI. The method of MRI brain tumor localization and intratumoral segmentation based on deep cascaded convolution network is provided, and a deep cascaded hybrid neural network composed of full convolution neural network and classified convolution neural network is constructed. The segmentation process is divided into two stages of complete tumor region localization and intratumoral molecular region segmentation, and the hierarchical MRI brain tumor is realized. Fast and accurate localization and intratumoral segmentation are achieved. Firstly, the whole tumor region is located from MRI image by full convolution network method, and then the whole tumor is further divided into edema region, non-enhanced tumor region, enhanced tumor region and necrosis region by image block classification method. The accurate localization and intratumoral localization of brain tumors on multimodal MRI are realized. Fast and accurate segmentation of subregions.

【技术实现步骤摘要】
基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法
本专利技术涉及医学图像分析
，具体涉及一种基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法。
技术介绍
脑肿瘤是严重危害人类健康的重大疾病。其中，神经胶质瘤是恶性脑肿瘤主要类型，虽然不常见，但致死率非常高。据文献统计，高等级神经胶质瘤平均存活时间为14个月。磁共振成像(MagneticResonanceImaging，MRI)是临床上最常用的脑肿瘤检查与诊断手段，从MRI图像中精确分割出脑肿瘤及瘤内结构，对神经病理分析与精准诊断具有重要价值，其可为手术方案、放疗化疗计划制订及预后评估提供重要支持。MRI脑肿瘤的分割需要同时参考T1、T1c、T2和FLAIR四种模态图像，每个模态又包含若干切片的三维体数据。人工分割虽然可行但非常耗时，且受医师经验影响，具有一定主观性，可重复性差。因此，探索人工智能算法进行MRI脑肿瘤全自动分割成为必然需求。传统机器学习采用人工抽取特征，接着使用抽取特征来训练一个分类器，然后使用训练好的分类器对图像像素进行分类，从而产生分割图。但是，这种方法受特征抽取算法影响，抽取的特征并不一定是适合于某一特定分类任务的可鉴别特征。然而，基于卷积神经网络的深度学习技术，能从数据集中自动学习适合于特定任务的层级化特征，能大大提升像素分类精度。本专利技术的专利技术人经过研究发现，当前基于深度学习的MRI脑肿瘤自动分割方法主要有两类：图像块分类法和全卷积网络像素级分类法。其中，图像块分类法采用滑动窗方式取以每一像素为中心的周围邻域块进行分类，存在以下不足：(1)计算冗余度高，分割速度慢；(2)分类只采用图像块局部特征，没有综合图像的全局特征，容易产生误分类点；(3)模型效果与训练图像块抽取方法直接相关。全卷积网络像素级分类法将整幅图像直接输入网络，一次前向计算可完成整副图像的各类型肿瘤区域分割，但是存在以下不足：(1)医学图像中病灶区尤其是瘤内子区通常只占图像的很小部分，各类别像素存在严重不平衡，整幅图像输入训练不能解决标签不平衡问题；(2)由于小区域样本不足导致训练不充分，因此图像分割边界粗糙，无法实现小区域的细粒度分割。
技术实现思路
针对现有MRI脑肿瘤分割中，图像块分类法没有利用全局上下文特征且分割速度慢，而全卷积网络像素级分类法训练样本严重不平衡导致小区域分割边界不精确问题，本专利技术提供一种基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，该方法通过搭建深度级联混合卷积神经网络，把分割过程分为完整肿瘤区定位和瘤内子区分割两个阶段，实现多模态MRI脑肿瘤快速精确定位与瘤内子区分割。为了解决上述技术问题，本专利技术采用了如下的技术方案：一种基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，包括以下步骤：S1、深度级联卷积神经网络分割模型搭建：S11、深度级联卷积神经网络由肿瘤定位网和瘤内分类网组成，所述肿瘤定位网适于输入FLAIR、T1、T1c和T2四模态MRI图像，输出肿瘤候选区和正常组织的二值图，所述瘤内分类网适于输入肿瘤定位网输出的肿瘤候选区，输出瘤内子区分割结果；S12、所述肿瘤定位网由全卷积网络组成，包括第一至第五共五个卷积层组、第一至第五共五个池化层、卷积层六和卷积层七，所述第一池化层位于第一卷积层组后，所述第二池化层位于第二卷积层组后，依次类推，所述第五池化层位于第五卷积层组后，所述卷积层六和卷积层七顺序设于第五池化层后；S13、所述肿瘤定位网中采用跳跃连接，将卷积层七输出的高级语义特征进行2倍上采样后与各池化后的低级细节特征逐层融合，用最终融合特征对像素类别进行精确预测；S14、所述瘤内分类网由两个卷积层组、两个池化层、三个全连接层和一个Softmax分类层组成，其中，每个卷积层组后跟随一个池化层，所述三个全连接层和一个Softmax分类层顺序设于最后一个池化层后；S2、模型训练与参数优化：使用扩充后的标注数据对深度级联卷积神经网络分割模型进行有监督训练，设计目标函数优化网络参数，产生最优分割模型，其具体包括：S21、将标准化并扩充后的整幅图像数据集按8：1：1的比例分为训练集、验证集和测试集，将同一大脑切面的FLAIR、T1、T1c和T2四模态整幅图像作为肿瘤定位网的四通道输入；S22、采用分类交叉熵损失函数作为优化目标，其目标函数定义如下：其中，Y'是分割标签，Y是预测的概率，C为像素类别数，S是图像像素的个数；S23、采用随机梯度下降算法优化目标函数，运用误差反向传播算法更新肿瘤定位网模型参数；S24、将抽取的MRI图像块数据集按8：1：1的比例分为训练集、验证集和测试集，将同一大脑切面的FLAIR、T1、T1c和T2四模态图像块作为瘤内分类网的四通道输入；S25、采用步骤S22中的分类交叉熵损失函数作为优化目标，但C表示肿瘤分类类别数，S表示批次中图像块样本数；S26、采用步骤S23中的随机梯度下降算法优化目标函数，运用误差反向传播算法更新瘤内分类网模型参数，且本步骤在进行瘤内分类网训练时，三个全连接层中的第一全连接层和第二全连接层使用了Dropout正则化方法，其Dropout率设为0.50；S3、多模态MRI脑肿瘤的快速定位与瘤内分割，其包括：S31、将预处理标准化后的四模态MRI图像作为四通道输入步骤S2已训练和优化后的肿瘤定位网，自动定位并输出包括肿瘤区和非肿瘤区的二值分割图；S32、取以肿瘤区像素为中心的四模态图像块输入步骤S2已训练和优化后的瘤内分类网，预测该像素的类别，并采用滑动窗方式，对肿瘤像素逐个预测，最后得到瘤内子区分割图；S33、将瘤内子区分割图叠加到原始MRI图像上，得到最终MRI脑肿瘤定位与分割图。进一步，所述方法还包括以下步骤：S4、脑肿瘤多模态MRI图像预处理，预处理后的图像数据适用于步骤S21、S24和S31输入，其包括：S41、对多模态MRI图像进行偏移场校正操作；S42、提取FLAIR、T1、T1c和T2四个模态的MRI图像切片，在每一个MRI图像切片中，移去最高1％和最低1％的灰度值；S43、对每一个MRI图像的灰度值采用下式进行数据标准化操作：其中，x(i,j)对应切片X的第i行j列的灰度值，和Xs分别是切片X的均值和标准差，x′(i,j)是x(i,j)标准化的灰度；S44、对标准化操作后的灰度图像使用数据扩充技术，使训练数据样本增加为初始的10倍；S45、对扩充后的数据集以肿瘤像素为中心随机抽取大小为33×33的图像块，每个肿瘤类别抽取数量相同，采用分层采样法将图像块数据集平均分为10组，每组中每个类别的图像块所占比例相同。进一步，所述步骤S12中，第一和第二卷积层组中分别有2个卷积层，卷积层的卷积核个数分别为64和128，第三、第四和第五卷积层组中分别有3个卷积层，卷积层的卷积核个数分别为256、512和512，所有卷积层的卷积核大小为3×3、步长为1，每个池化层的核大小为2×2、步长为2，卷积层六和卷积层七的卷积核个数为4096、大小均为1×1、步长为1。进一步，所述方法中任意一个卷积核所对应的输出特征图Zi采用下式进行计算：其中，f表示非线性激励函数，bi表示第i个卷积核所对应的偏置项，r表示输入通道索引号，k表示输入通道数，Wir表示第i个卷积核的第r本文档来自技高网...

【技术保护点】
1.基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，其特征在于，包括以下步骤：S1、深度级联卷积神经网络分割模型搭建：S11、深度级联卷积神经网络由肿瘤定位网和瘤内分类网组成，所述肿瘤定位网适于输入FLAIR、T1、T1c和T2四模态MRI图像，输出肿瘤候选区和正常组织的二值图，所述瘤内分类网适于输入肿瘤定位网输出的肿瘤候选区，输出瘤内子区分割结果；S12、所述肿瘤定位网由全卷积网络组成，包括第一至第五共五个卷积层组、第一至第五共五个池化层、卷积层六和卷积层七，所述第一池化层位于第一卷积层组后，所述第二池化层位于第二卷积层组后，依次类推，所述第五池化层位于第五卷积层组后，所述卷积层六和卷积层七顺序设于第五池化层后；S13、所述肿瘤定位网中采用跳跃连接，将卷积层七输出的高级语义特征进行2倍上采样后与各池化后的低级细节特征逐层融合，用最终融合特征对像素类别进行精确预测；S14、所述瘤内分类网由两个卷积层组、两个池化层、三个全连接层和一个Softmax分类层组成，其中，每个卷积层组后跟随一个池化层，所述三个全连接层和一个Softmax分类层顺序设于最后一个池化层后；S2、模型训练与参数优化：使用扩充后的标注数据对深度级联卷积神经网络分割模型进行有监督训练，设计目标函数优化网络参数，产生最优分割模型，其具体包括：S21、将标准化并扩充后的整幅图像数据集按8：1：1的比例分为训练集、验证集和测试集，将同一大脑切面的FLAIR、T1、T1c和T2四模态整幅图像作为肿瘤定位网的四通道输入；S22、采用分类交叉熵损失函数作为优化目标，其目标函数定义如下：...

【技术特征摘要】
2017.12.25 CN 20171141994571.基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，其特征在于，包括以下步骤：S1、深度级联卷积神经网络分割模型搭建：S11、深度级联卷积神经网络由肿瘤定位网和瘤内分类网组成，所述肿瘤定位网适于输入FLAIR、T1、T1c和T2四模态MRI图像，输出肿瘤候选区和正常组织的二值图，所述瘤内分类网适于输入肿瘤定位网输出的肿瘤候选区，输出瘤内子区分割结果；S12、所述肿瘤定位网由全卷积网络组成，包括第一至第五共五个卷积层组、第一至第五共五个池化层、卷积层六和卷积层七，所述第一池化层位于第一卷积层组后，所述第二池化层位于第二卷积层组后，依次类推，所述第五池化层位于第五卷积层组后，所述卷积层六和卷积层七顺序设于第五池化层后；S13、所述肿瘤定位网中采用跳跃连接，将卷积层七输出的高级语义特征进行2倍上采样后与各池化后的低级细节特征逐层融合，用最终融合特征对像素类别进行精确预测；S14、所述瘤内分类网由两个卷积层组、两个池化层、三个全连接层和一个Softmax分类层组成，其中，每个卷积层组后跟随一个池化层，所述三个全连接层和一个Softmax分类层顺序设于最后一个池化层后；S2、模型训练与参数优化：使用扩充后的标注数据对深度级联卷积神经网络分割模型进行有监督训练，设计目标函数优化网络参数，产生最优分割模型，其具体包括：S21、将标准化并扩充后的整幅图像数据集按8：1：1的比例分为训练集、验证集和测试集，将同一大脑切面的FLAIR、T1、T1c和T2四模态整幅图像作为肿瘤定位网的四通道输入；S22、采用分类交叉熵损失函数作为优化目标，其目标函数定义如下：其中，Y'是分割标签，Y是预测的概率，C为像素类别数，S是图像像素的个数；S23、采用随机梯度下降算法优化目标函数，运用误差反向传播算法更新肿瘤定位网模型参数；S24、将抽取的MRI图像块数据集按8：1：1的比例分为训练集、验证集和测试集，将同一大脑切面的FLAIR、T1、T1c和T2四模态图像块作为瘤内分类网的四通道输入；S25、采用步骤S22中的分类交叉熵损失函数作为优化目标，但C表示肿瘤分类类别数，S表示批次中图像块样本数；S26、采用步骤S23中的随机梯度下降算法优化目标函数，运用误差反向传播算法更新瘤内分类网模型参数，且本步骤在进行瘤内分类网训练时，三个全连接层中的第一全连接层和第二全连接层使用了Dropout正则化方法，其Dropout率设为0.50；S3、多模态MRI脑肿瘤的快速定位与瘤内分割，其包括：S31、将预处理标准化后的四模态MRI图像作为四通道输入步骤S2已训练和优化后的肿瘤定位网，自动定位并输出包括肿瘤区和非肿瘤区的二值分割图；S32、取以肿瘤区像素为中心的四模态图像块输入步骤S2已训练和优化后的瘤内分类网，预测该像素的类别，并采用滑动窗方式，对肿瘤像素逐个预测，最后得到瘤内子区分割图；S33、将瘤内子区分割图叠加到原始MRI图像上，得到最终MRI脑肿瘤定位与分割图。2.根据权利要求1所述的基于深度级联卷积网络的MRI脑肿瘤定位与瘤内分割方法，其特征在于，所述方法还包括以下步骤：S4、脑肿瘤多模态MRI图像预处理，预处理后的图像数据适用于步骤S21、S24和S31输入，其包括：S41、对多模态MRI图像进行偏移场校正操作；S42、提取FLAIR、T1、T1c和T2四个模态的MRI图像切片，在每一个MRI图像切片中，移去最高1％和最低1％的灰度值；S43、对每一个MRI图像的灰度值采用下式进行数据标准化操作：其中，x(i,j)对应切片X的第i行j列的灰度值，和Xs分别是切片X的均值和标准差，x′(i,j)是x(i,j)标准化的灰度；S44、对标准化操作后的灰度图像使用数据扩充技术，使训练数据样本增加为初始的10倍；S45、对扩充后的数据集以肿瘤像素为中心随机抽取大小为33×33的图像...

【专利技术属性】
技术研发人员：崔少国，张建勋，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆,50