一种基于深度学习的CT切片图像语义分割系统及方法技术方案

本发明专利技术提供一种基于深度学习的CT切片图像语义分割系统及方法，涉及图像处理技术领域。本发明专利技术具体步骤为：获取CT数据集和标签CT数据集；对数据进行阈值和切片处理；将原始CT切片数据集内的数据划分为原始CT切片训练集和原始CT切片测试集；根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；根据原始CT切片训练集和病变标签切片训练集建立病变区域分割模型；根据原始CT切片测试集中的数据对肝脏区域分割模型和病变区域分割模型进行测试；本方法结合计算机视觉领域的深度学习技术，通过这个系统可以在临床上自动、准确而又快速地切割出CT切片的肝脏区域和肝脏的病变区域，提高放射科医生的工作效率。

A system and method of CT slice image semantic segmentation based on deep learning

【技术实现步骤摘要】
一种基于深度学习的CT切片图像语义分割系统及方法
本专利技术涉及图像处理
，尤其涉及一种基于深度学习的CT切片图像语义分割系统及方法。
技术介绍
肝癌是最为常见的癌症疾病之一，每一年，世界上都有大多数人因患有这种癌症而死亡。现代的医学领域，都是需要通过对病人肝脏CT图像的准确测量，包括肿瘤的体积、形状还有位置以及肝脏的体积等等这些指标，来协助医生制定对病人肝脏癌细胞病变情况的评估和治疗计划。为了完成以上任务，传统上都是放射科的医生，在病人肝脏CT图像上，逐个切片地描绘出肝脏区域和肝脏的病变区域。这种做法是非常耗时和低效率的，因此，临床上非常需要针对CT切片里面肝脏区域以及其病变区域的自动分割方法。为了应对这个挑战，很多传统的分割算法被提出来了，譬如强度阈值、区域增长等等。但是这些传统的方法，基本上都需要人工手动操作的环节，而且，这些算法的能力也有很大的局限性。所以，通过计算机视觉领域的深度学习技术，来对病人肝脏的CT图像进行处理，自动、准确并且快速地分割出肝脏以及病变区域，会是一个更好的选择。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的CT切片图像语义分割系统及方法，本系统结合计算机视觉领域的深度学习技术，通过这个系统可以在临床上自动、准确而又快速地切割出CT切片的肝脏区域和肝脏的病变区域，提高放射科医生的工作效率。为解决上述技术问题，本专利技术所采取的技术方案是：一方面，本专利技术提供一种基于深度学习的CT切片图像语义分割系统，包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接；所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标βj进行评价，并设计损失函数Lj＝1-βj，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′j进行评价，并设计损失函数L′j＝1-β′j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵；另一方面，本专利技术提供一种基于深度学习的CT切片图像语义分割方法，通过所述的一种基于深度学习的CT切片图像语义分割系统实现，包括以下步骤：步骤1：获取训练深度学习模型所需要的原始CT数据集和标签CT数据集；采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，所述腹腔CT数据包括患有肝癌病人的CT数据和未患有肝癌病人的CT数据，所述标签CT数据集包括肝脏标签数据集和病变标签数据集，所述肝脏标签数据集包括原始CT数据集所对应的标注有肝脏区域和非肝脏区域的腹腔CT数据；所述病变标签数据集包括原始CT数据集所对应的标注有病变区域和非病变区域的腹腔CT数据；步骤2：对原始CT数据集内的数据进行阈值和切片处理，用传统的阈值处理去掉噪音区域；将去掉噪音区域的腹腔CT数据沿着通道方向进行切片处理，每个CT数据进行切片处理后会得到与其通道数相对应的病理切片；对标签CT数据集内的所有数据沿着通道方向进行切片处理，每个CT数据处理后都会得到与其通道数相对应的病理切片；得到原始CT切片数据集和标签CT切片数据集；所述标签CT切片数据集包括肝脏标签切片数据集和病变标签切片数据集；步骤3：将原始CT切片数据集内的数据随机按照8:2的比例划分为原始CT切片训练集和原始CT切片测试集；将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片训练集相对应的数据分别设置为肝脏标签切片训练集和病变标签切片训练集，将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片测试集数据相对应的数据分别设置为肝脏标签切片测试集和病变标签切片测试集；步骤4：根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；步骤4.1：设定待建立的肝脏区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为肝脏区域分割模型的输入，肝脏区域分割模型的输出为标记好肝脏区域的CT切片；步骤4.2：基于语义分割的U型网络结构的初始深度学习模型建立肝脏区域分割模型；设置肝脏区域分割模型的初始权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；步骤4.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于肝脏区域的特征以及融合属于非肝脏区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为肝脏区域和非肝脏区域，将14x14尺度与步骤4.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融合特征进行上采样得到28x28尺度，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的CT切片图像语义分割系统，其特征在于：包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接；所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标βj进行评价，并设计损失函数Lj＝1‑βj，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′j进行评价，并设计损失函数L′j＝1‑β′j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵。...

【技术特征摘要】
1.一种基于深度学习的CT切片图像语义分割系统，其特征在于：包括数据采集模块、数据预处理模块、建立初始模型单元、肝脏区域分割单元、病变区域分割单元；所述数据采集模块用于采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，数据采集模块的输出端与数据预处理模块的输入端相连接；所述数据预处理模块用于对原始CT数据集内的数据进行阈值和切片处理，对标签CT数据集内的数据进行切片处理，得到原始CT切片数据集和标签CT切片数据集；数据预处理模块的输出端分别与肝脏区域分割单元和病变区域分割单元的输入端相连接；所述建立初始模型单元用于通过DenseNet将输入的图片进行下采样得到224x224、112x112、56x56、28x28、14x14和7x7的逐层空间尺度划分，并提取各个尺度上的所有特征，空间尺度划分层级由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，对提取的每个尺度上的所有特征不断进行重组融合，上采样得到14x14，并提取该尺度上的任务特征，并将上采样得到的14x14尺度与下采样得到的14x14尺度通过拼接和卷积操作进行特征融合得到14x14尺度的融合特征图像，卷积操作采用DenseNet自身结构里面的bottleneck卷积操作，依次进行其他尺度的特征融合，得到28x28尺度的融合特征图像、56x56尺度的融合特征图像、112x112尺度的融合特征图像，对112x112尺度的融合特征进行一次上采样得到224x224尺度的图像，形成初始深度学习模型，所述建立初始模型单元的输出端分别与肝脏区域分割单元的输入端和病变区域分割单元的输入端相连接；所述肝脏区域分割单元用于根据数据预处理模块输出的数据对建立初始模型单元输出的初始深度学习模型进行训练，在肝脏标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的肝脏标签CT切片，并将肝脏标签CT切片与初始深度学习模型输出的图像根据评价指标βj进行评价，并设计损失函数Lj＝1-βj，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵，所述肝脏区域分割单元的输出端与病变区域分割单元的输入端相连接；所述病变区域分割单元用于根据数据预处理模块输出的数据和肝脏区域分割单元输出的最优权重矩阵对建立初始模型单元输出的初始深度学习模型进行训练，在病变标签切片训练集中选择出与初始深度学习模型输入的原始CT切片相对应的病变标签CT切片，并将病变标签CT切片与初始深度学习模型输出的图像根据评价指标β′j进行评价，并设计损失函数L′j＝1-β′j，根据损失函数执行后向传播算法对初始权重矩阵进行调整；得到肝脏区域分割模型和最优权重矩阵。2.一种基于深度学习的CT切片图像语义分割方法，通过权利要求1所述的一种基于深度学习的CT切片图像语义分割系统实现，其特征在于：包括以下步骤：步骤1：获取训练深度学习模型所需要的CT数据集和标签CT数据集；采集多组腹腔CT数据以及与腹腔CT数据相对应的带有标签的腹腔CT数据，形成原始CT数据集和标签CT数据集，所述腹腔CT数据包括患有肝癌病人的CT数据和未患有肝癌病人的CT数据，所述标签CT数据集包括肝脏标签数据集和病变标签数据集，所述肝脏标签数据集包括原始CT数据集所对应的标注有肝脏区域和非肝脏区域的腹腔CT数据；所述病变标签数据集包括原始CT数据集所对应的标注有病变区域和非病变区域的腹腔CT数据；步骤2：对原始CT数据集内的原始CT数据集内的数据进行阈值和切片处理，用传统的阈值处理去掉噪音区域；将去掉噪音区域的腹腔CT数据沿着通道方向进行切片处理，每个CT数据进行切片处理后会得到与其通道数相对应的病理切片；对标签CT数据集内的所有数据沿着通道方向进行切片处理，每个CT数据处理后都会得到与其通道数相对应的病理切片；得到原始CT切片数据集和标签CT切片数据集；所述标签CT切片数据集包括肝脏标签切片数据集和病变标签切片数据集；步骤3：将原始CT切片数据集内的数据随机按照8:2的比例划分为原始CT切片训练集和原始CT切片测试集；将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片训练集相对应的数据分别设置为肝脏标签切片训练集和病变标签切片训练集，将肝脏标签切片数据集和病变标签切片数据集内与原始CT切片测试集数据相对应的数据分别设置为肝脏标签切片测试集和病变标签切片测试集；步骤4：根据原始CT切片训练集和肝脏标签切片训练集建立肝脏区域分割模型；步骤4.1：设定待建立的肝脏区域分割模型输入及输出的CT切片图像高为224像素、宽为224像素、颜色通道数量为1，将原始CT切片训练集中的原始CT切片作为肝脏区域分割模型的输入，肝脏区域分割模型的输出为标记好肝脏区域的CT切片；步骤4.2：基于语义分割的U型网络结构的初始深度学习模型建立肝脏区域分割模型；设置肝脏区域分割模型的初始权重矩阵；U型网络结构的DenseNet部分将原始CT切片作为输入图像按照112x112、56x56、28x28、14x14和7x7进行逐层空间尺度划分，并提取上述各个尺度上的所有特征；步骤4.3：由7x7尺度按照14x14、28x28、56x56、112x112尺度进行上采样，从上采样开始，这个时候的任务就变成了对提取的每个尺度上的所有特征根据拼接和卷积操作不断进行特征重组融合，融合属于肝脏区域的特征以及融合属于非肝脏区域的特征，上采样到14x14尺度，并对提取的所有特征进行分类，分为肝脏区域和非肝脏区域，将14x14尺度与步骤4.2中的14x14尺度的特征通过拼接和卷积操作进行特征融合，得到14x14尺度的融合特征；将14x14尺度的融...

【专利技术属性】
技术研发人员：朱志良，占淦，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21