基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法及系统技术方案

本发明专利技术公开了一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法。该方法首先粗略分割出CT造影图像中的肾脏区域，并对其中的肾脏和肿瘤分别标注，生成数据集，然后将训练集送入基于金字塔池化和逐步特征增强模块的卷积神经网络中训练，得到训练模型，利用得到的训练模型对新的肾脏数据进行预测，得到肾脏肿瘤的分割掩模。本发明专利技术还提出一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割系统，本发明专利技术主要解决了肾脏肿瘤难图像分割的问题，通过本发明专利技术能够直接得到肾脏肿瘤的分割掩模。

【技术实现步骤摘要】
基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法及系统
本专利技术涉及一种医学图像处理技术，属于计算机应用

技术介绍
肾癌是人类最常见的十种癌症之一。近年来，针对临床治疗局部肾癌问题，传统的根治性肾切除术(RN)正日益取代微创腹腔镜肾部分切除术(LPN)[1]。LPN手术可以切除肾肿瘤并保留正常肾组织。特别是，新提出的基于肾动脉阻断技术的部分切除手术可以最大程度地保护肾功能[2]。为了进行LPN手术，一些有用的信息，如肿瘤的大小、位置、肾的解剖结构，肾动脉和输尿管等，应于术前从CT图像中获得。然而，手工勾画超过200个CT层是一项费时费力的工作。因此，自动或半自动的分割方法对于提高手术的效率和准确性是必不可少的。目前已经提出的有几种在CT或MR图像中进行肾脏分割。Cuingnet等人[3]提出了一种两步肾脏分割法，利用回归森林检测肾脏位置，并利用分类森林获得每个肾脏的概率图。杨等人[4]利用多模板的方法实现了由粗到细的分割。但是，所提出的方法只解决了整个肾脏的分割，正常肾组织和肿瘤病变区域不能被区分。此外，这种基于多模板的方法的先验形状特征在模板图像存在巨大血管瘤时可能会失败。关于肾脏肿瘤分割的研究工作比较少。Linguraru等人[5]提出了一种基于水平集(level-set)的肾脏肿瘤提取方法。但是，这种方法用户定义的点需要以交互方式提供给每一个肿瘤，而且在静脉期CT图像中进行肿瘤病灶分割。考虑到辐射剂量的限制，静脉相位CT图像对PN手术没有必要，只有动脉期CT图像可用于研究。图1为动脉相位CT图像的几个例子，如图1所示，肿瘤的位置和大小，或肾脏的灰度和纹理都有显著差异。因此，精确地自动分割这些图像中的肾脏肿瘤仍然是一项具有挑战性的工作。近年来，二维的深度神经网络在医学图像和自然图像中有一些成功的应用。然而，在这些二维网络中使用的二维卷积内核将限制空间的特征提取能力。例如，如图1所示，肾脏和肿瘤的区域具有相似的灰度分布和纹理。仅仅根据这些二维图像中的信息很难将它们分开。然而，目前没有方法直接作用于肾和肾肿瘤分割。[1]B.Ljungberg,K.Bensalah,S.Canfield,S.Dabestani,F.Hofmann,M.Hora,M.A.Kuczyk,T.Lam,L.Marconi,andA.S.Merseburger,“Eauguidelinesonrenalcellcarcinoma:2014update,”EuropeanUrology,vol.67,no.5,p.913-924,2015；[2]P.Shao,C.Chao,X.Meng,Xiaobing,Qiang,Zhang,andZhengquan,“Laparoscopicpartialnephrectomywithsegmentalrenalarteryclamping:techniqueandclinicaloutcomes,”EuropeanUrology,vol.59,no.7,pp.849–55,2011；[3]P.Shao,C.Chao,X.Meng,Xiaobing,Qiang,Zhang,andZhengquan,“Laparoscopicpartialnephrectomywithsegmentalrenalarteryclamping:techniqueandclinicaloutcomes,”EuropeanUrology,vol.59,no.7,pp.849–55,2011；[4]G.Yang,G.,Gu,J.,Chen,Y.,Liu,W.,Tang,L.,Shu,H.,Toumoulin,C.:“AutomatickidneysegmentationinCTimagesbasedonmulti-atlasimageregistration,”In:EngineeringinMedicine&BiologySocietyConference,2014:5538；[5]M.G.Linguraru,S.Wang,F.Shah,R.Gautam,J.Peterson,W.M.Linehan,etal..“AutomatednoninvasiveclassificationofrenalcanceronmultiphaseCT,”MedicalPhysics,2011,vol.38,no.10,pp.5738-5746。
技术实现思路
本专利技术所要解决的技术问题：针对现有的肾脏肿瘤分割难、分割效果差的问题，本专利技术提出了一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法及系统。技术方案：为解决上述技术问题，本专利技术采用以下技术方案：一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法，利用基于金字塔池化和逐步特征增强模块的三维卷积神经网络对肾脏CT造影图像处理，得到肾脏和肿瘤的分割掩模，具体包括以下步骤：步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；步骤(2)、将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。进一步的，本专利技术所提出的方法，所述步骤(1)具体包括以下步骤：(101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；(102)、利用步骤(101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；(103)、将步骤(102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果；(104)、人工标注肾脏和肿瘤区域，作为标签；(105)、使用翻转、平移、裁剪方法对训练数据集进行数据增强。进一步的，本专利技术所提出的方法，所述步骤(2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。进一步的，本专利技术所提出的方法，金字塔池化模块由一个池化层、一个卷积模块和一个反卷积模块构成，其中反卷积模块由反卷积层、归一化层和Relu激活层构成。进一步的，本专利技术所提出的方法，金字塔池化模块的数量为三个，其中，三个金字塔池化模块的池化层的核尺寸分别设置为2、4、8；三个金字塔池化模块的反卷积模块的核尺寸分别设置为2、4、8。进一步的，本专利技术所提出的方法，步骤(2)所述逐步特征增强模块由m个分支组成；对于每个分支，均采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，是卷积核的权重，finput经过卷积得到公式(2)表示特征增强过程，其中，表示卷积层的权重，g表示第g个分支；将作为输入送入增强系数函数得到增强因子，所述增强系数函数由卷积和sigmoid激活函数组成；然后本文档来自技高网...

【技术保护点】
1.一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法，其特征在于：利用基于金字塔池化和逐步特征增强模块的三维卷积神经网络对肾脏CT造影图像处理，得到肾脏和肿瘤的分割掩模，具体包括以下步骤：步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；步骤(2)、将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。

【技术特征摘要】
1.一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法，其特征在于：利用基于金字塔池化和逐步特征增强模块的三维卷积神经网络对肾脏CT造影图像处理，得到肾脏和肿瘤的分割掩模，具体包括以下步骤：步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；步骤(2)、将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。2.根据权利要求1所述的方法，其特征在于：所述步骤(1)具体包括以下步骤：(101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；(102)、利用步骤(101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；(103)、将步骤(102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果；(104)、人工标注肾脏和肿瘤区域，作为标签；(105)、使用翻转、平移、裁剪方法对训练数据集进行数据增强。3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。4.根据权利要求1或3任一所述的方法，其特征在于：金字塔池化模块由一个池化层、一个卷积模块和一个反卷积模块构成，其中反卷积模块由反卷积层、归一化层和Relu激活层构成。5.根据权利要求1或3或4任一所述的方法，其特征在于：金字塔池化模块的数量为三个，其中，三个金字塔池化模块的池化层的核尺寸分别设置为2、4、8；三个金字塔池化模块的反卷积模块的核尺寸分别设置为2、4、8。6.根据权利要求1所述的方法，其特征在于：步骤(2)所述逐步特征增强模块由m个分支组成；对于每个分支，均采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，是卷积核的权重，finput经过卷积得到公式(2)表示特征增强过程，其中，表示卷积层的权重，g表示第g个分支；将作为输入送入增强系数函数得到增强...

【专利技术属性】
技术研发人员：杨冠羽，潘覃，李国清，周忠稳，王传霞，孔佑勇，伍家松，杨淳沨，舒华忠，罗立民，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32