基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法技术

本发明专利技术公开了一种基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其步骤是：1)CT图像预处理；2)采用分水岭法分割预处理后的CT图像，提取候选结节；3)为候选结节构建对应的神经网络输入；4)搭建深度卷积神经网络模型，使用已标记候选结节对应的神经网络输入训练神经网络模型；5)使用神经网络模型预测未标记候选结节为肿瘤结节的概率，最后输出确定标记的所有CT图像，其中阴性标记表示未发生肿瘤腹膜转移，阳性标记表示发生了腹膜转移。本发明专利技术方法能够完成大量腹腔CT图像腹膜转移的自动标记，为恶性肿瘤诊疗提供依据；易于理解、实施简易，适用于海量腹腔CT图像的自动标记，具有良好的扩展性、鲁棒性和实用性。

【技术实现步骤摘要】
基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法
本专利技术属于医学图像处理领域，涉及一种基于深度卷积神经网络的腹腔CT图像肿瘤腹膜转移自动标记方法，运用图像处理技术和深度学习方法，实现大量腹腔CT图像中肿瘤结节的自动标记。
技术介绍
腹膜是腹腔内多种恶性肿瘤常见的转移部位，标记腹膜转移是评价恶性肿瘤治愈效果的重要依据。存在腹膜转移的肿瘤患者病情发展快、预后差，临床治疗难度大，需要尽早诊断、及时治疗。标记腹膜转移可通过结节检测来完成，腹腔CT图像是检测肿瘤结节的重要诊断依据。但CT会产生大量的图像，其中包含淋巴、血管等类似于结节的图像颗粒，通过结节检测腹腔转移需要经验丰富的医师来完成，现有的人工阅片方式会消耗大量人力和时间资源，而且受主观因素影响，检测精度低且难以重复。通过人工智能技术处理腹腔CT图像，自动标记腹膜转移以进行恶性肿瘤诊断是计算机辅助医疗的新趋势之一，能够在减少医师工作量的同时提高诊断准确性。计算机辅助进行结节检测的步骤一般包括1)预处理；2)候选结节检测；3)假正例缩减。预处理通常用于规范化数据、限制结节搜索空间、减少噪声影响等；候选结节检测的目标是检测到尽可能多的肿瘤结节，但通常会检测到大量的假结节，即假正例；假正例缩减阶段的目标是尽可能排除候选结节中的假结节。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度卷积神经网络的腹腔CT图像腹膜转移自动标记方法，首先对CT图像进行预处理和分割，基于颗粒图像提取候选结节；然后搭建并训练深度卷积神经网络模型，使用训练好的模型预测候选结节为肿瘤结节的概率；最后输出确定标记的CT图像。为实现上述目的，本专利技术采用如下的步骤：1)读取腹腔CT图像，对其进行预处理，包括调窗、中值滤波去噪、直方图均衡化，基于窗位和窗宽获取CT图像集；2)采用分水岭法分割预处理后的CT图像以获取颗粒图像，筛选、合并颗粒图像以提取候选结节；3)为候选结节构建对应的神经网络输入；4)搭建深度卷积神经网络模型，设定损失函数，使用已标记候选结节对应的神经网络输入训练深度卷积神经网络模型；5)使用深度卷积神经网络模型预测未标记候选结节为肿瘤结节的概率，由此标记腹腔CT图像，最后输出确定标记的所有CT图像。上述步骤1)中基于窗位和窗宽获取CT图像集的处理过程是：首先对每张原始CT图像进行调窗操作，将图像CT值转换成255个灰度级以突出显示设定范围内的CT值，调窗通过窗宽Hw(范围的大小，单位：HU)和窗位Hc(范围的中心，单位：HU)来设定；对每张原始CT图像进行三次不同窗宽、窗位的调窗操作，分别为：腹窗(窗位：Hc＝40HU，窗宽：Hw＝250HU)，窄窗(窗位：Hc＝30HU，窗宽：Hw＝150HU)，以及宽窗(窗位：Hc＝-600HU，窗宽：Hw＝700HU)；然后基于窗位Hc和窗宽Hw计算CT值范围的上、下界Hmin、Hmax，公式如下：基于Hmin、Hmax计算对应的像素灰度值Pmin和Pmax，公式如下：其中H为图像CT值，H为其对应的灰度值，slope、intercept(斜率、截距)为当前的CT图像参数；基于灰度值范围Pmin和Pmax，对CT图像中的每个像素灰度值x转换得到灰度值g，公式如下：其中U为转换后灰度值g的上限。按照上述转换，每张原始CT图像共产生三张不同窗宽和窗位的预处理后CT图像。上述步骤2)中在CT图像中提取候选结节的处理流程是：对三张预处理后CT图像分别进行分水岭法分割以获取颗粒图像；基于像素个数(颗粒图像中包含的像素个数)设置范围值(5到60)，筛选出满足范围条件的颗粒图像；汇聚来自三张CT图像筛选后的颗粒图像，根据颗粒图像在原始CT图像中的位置及占据范围去除完全处于其它颗粒图像范围的小颗粒图像，合并存在交叉的颗粒图像，记录剩余颗粒图像的位置及占据范围，即为从CT图像中提取到的候选结节。上述步骤3)中基于候选结节构建神经网络输入的处理流程是：基于每张CT图像提取到的候选结节集，对于每一个候选结节，计算其像素平均坐标作为中心坐标(x0，y0)，以(x0，y0)为中心分别划取M种尺度(M＝3，则有小尺度：20×20，中尺度：40×40，大尺度：60×60)的矩形范围；针对3张不同窗位和窗宽的CT图像，按M种尺度获得3×M张矩阵图像；将各张矩形图像通过线性插值法变换到224×224大小，得到该候选结节对应的神经网络输入。上述步骤4)中搭建深度卷积神经网络包括卷积层设置和结构设置组成，其中卷积的设置是：卷积层的输入是特征图F，为三维矩阵a×a×c，其中c是通道数，a是每一个通道中特征的边长；卷积层包含n个卷积核K，为二维矩阵k×k，记为K1，K2，...,Kn；在特征图F各通道特征上设定与卷积核对应的滑动窗口S，为二维矩阵k×k，S的位置通过其中心点位置确定，S中心点的初始位置为通道特征的左上角第一点，c个通道的滑动窗口记为S1，S2，...，Sc，S中如果有超出通道特征的点，则对应矩阵数值填充为0；步长s为滑动窗口S中心点一次滑动的距离；参数a,c,n,k,s在不同卷积层有不同的设置。卷积操作为基于卷积核Km(m是下标，1≤m≤n)计算特征图各通道滑动窗口内矩阵与卷积核矩阵的卷积，计算公式如下：下标i和j对应第i行和第j列；该值对应于新特征图在通道m上的一点，点的横、纵坐标由当前滑动窗口S的中心点在横、纵方向上与初始位置滑动窗口中心点相隔的中心点个数决定；按步长s不断同步滑动各通道窗口，直至窗口中心点滑出特征图F，即可得到新特征图的第m通道特征，使用n个卷积核得到n个通道的新特征，组成新的特征图F’，作为卷积层的输出。上述步骤4)中深度卷积神经网络模型的结构设置是：针对候选结节M(M＝3)种尺度获得的输入图像，分别构建M个相同的卷积网络分支；将提取的M组特征图按通道拼接，然后通过全局平均池化得到特征向量；将其输入全连接层、由输出层判断该候选结节为肿瘤结节的概率；其中每个卷积网络分支包含8组卷积层，设置如下：Conv1卷积层：卷积核大小k＝7，卷积核数n＝64，步长s＝2，输出特征图大小为112×112×64(即长和宽a＝112，通道数c＝64)；Conv2_x卷积层组：含有7层，输出特征图大小为56×56×64(即a＝56，c＝64)；第1层为最大值池化层，卷积核大小k＝3，步长s＝2，卷积核数n＝64；第2层到第7层为卷积层，卷积核大小k＝3，卷积核数n＝64，步长s＝1；Conv3_x卷积层组：含有8个卷积层，输出特征图大小为28×28×128(即a＝28，c＝128)；第1层为卷积层，卷积核大小k＝3，卷积核数n＝128，步长s＝2；第2层到第8层为卷积层，卷积核大小k＝3，卷积核数n＝128，步长s＝1；Conv4_x卷积层组：含有12个卷积层，输出特征图大小为14×14×256(即a＝14，c＝256)；第1层为卷积层，卷积核大小k＝3，卷积核数n＝256，步长s＝2；第2层到第12层为卷积层，卷积核大小k＝3，卷积核数n＝256，步长s＝1；Conv5_x卷积层组：含有6个卷积层，输出特征图大小为7×7×512(即a＝7，c＝512)；第1层为卷积层，卷积核大小k＝3，卷积核数n＝512，步长s＝2；第2层到第6层为卷积层，本文档来自技高网...

【技术保护点】
1.基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，首先对CT图像进行预处理和分割，基于颗粒图像提取候选结节；然后搭建并训练深度卷积神经网络模型，使用训练的模型预测候选结节为肿瘤结节的概率；最后输出确定标记的CT图像。

【技术特征摘要】
1.基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，首先对CT图像进行预处理和分割，基于颗粒图像提取候选结节；然后搭建并训练深度卷积神经网络模型，使用训练的模型预测候选结节为肿瘤结节的概率；最后输出确定标记的CT图像。2.根据权利要求1所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，所述方法具体好包括以下步骤：1)读取腹腔CT图像，对其进行预处理，基于窗位和窗宽获取CT图像集；2)采用分水岭法分割预处理后的CT图像以获取颗粒图像，筛选、合并颗粒图像以提取候选结节；3)为候选结节构建对应的神经网络输入；4)搭建深度卷积神经网络模型，设定损失函数，使用已标记候选结节对应的神经网络输入训练深度卷积神经网络模型；5)使用深度卷积神经网络模型预测未标记候选结节为肿瘤结节的概率，由此标记腹腔CT图像，最后输出确定标记的所有CT图像。3.根据权利要求2所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，所述步骤1)具体为：首先对每张原始CT图像进行调窗操作，将图像CT值转换成设定的灰度级，调窗通过窗宽Hw和窗位Hc来设定；对每张原始CT图像进行三次不同窗宽、窗位的调窗操作，分别为：腹窗、窄窗以及宽窗；然后基于窗位Hc和窗宽Hw计算CT值范围的上、下界Hmin、Hmax，公式如下：基于Hmin、Hmax计算对应的像素灰度值Pmin和Pmax，公式如下：其中H为图像CT值，H为其对应的灰度值，slope、intercept分别为斜率值、截距，为当前的CT图像参数；基于灰度值范围Pmin和Pmax，对CT图像中的每个像素灰度值x转换得到灰度值g，公式如下：其中U为转换后灰度值g的上限；每张原始CT图像共产生三张不同窗宽和窗位的预处理后CT图像。4.根据权利要求3所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，所述步骤2)具体为：对三张预处理后CT图像分别进行分水岭法分割以获取颗粒图像；基于像素个数设置范围值，筛选出满足范围条件的颗粒图像；汇聚来自三张CT图像筛选后的颗粒图像，根据颗粒图像在原始CT图像中的位置及占据范围去除完全处于其它颗粒图像范围的小颗粒图像，合并存在交叉的颗粒图像，记录剩余颗粒图像的位置及占据范围，即为从CT图像中提取到的候选结节。5.根据权利要求4所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，所述步骤3)具体为：对于每一个所述候选结节，计算其像素平均坐标作为中心坐标(x0，y0)，以(x0，y0)为中心分别划取M种尺度的矩形范围；针对M张不同窗位和窗宽的CT图像，按M种尺度获得3×M张矩阵图像；将各张矩形图像通过线性插值法变换到224×224大小，得到该候选结节对应的神经网络输入。6.根据权利要求4所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法，其特征在于，所述步骤4)具体为：步骤4.1，设置搭建深度卷积神经网络模型：卷积层的输入是特征图F，为三维矩阵a×a×c，其中c是通道数，a是每一个通道中特征的边长；卷积层包含n个卷积核K，为二维矩阵k×k，记为K1，K2，...,Kn；在特征图F各通道特征上设定与卷积核对应的滑动窗口S，为二维矩阵k×k，S的位置通过其中心点位置确定，S中心点的初始位置为通道特征的左上角第一点，c个通道的滑动窗口记为S1，S2，...，Sc，S中如果有超出通道特征的点，则对应矩阵数值填充为0；步长s为滑动窗口S中心点一次滑动的距离；参数a,c,n,k,s在不同卷积层有不同的设置；卷积操作为基于卷积核Km(m是下标，1≤m≤n)计算特征图各通道滑动窗口内矩阵与卷积核矩阵的卷积，计算公式如下：下标i和j对应第i行和第j列；该值对应于新特征图在通道m上的一点，点的横、纵坐标由当前滑动...

【专利技术属性】
技术研发人员：薛玉静，杜娟，刘松，顾庆，
申请(专利权)人：南京大学，南京鼓楼医院，
类型：发明
国别省市：江苏,32