一种基于集成深度卷积神经网络的胰腺CT图像分割方法技术

本发明专利技术公开了一种基于集成深度卷积神经网络的胰腺CT图像分割方法，采用由粗到细的两阶段分割框架对CT图像中的胰腺进行精确的分割。首先构建了一种引入注意力模块和跨层级密集连接的三维U型编码‑解码结构的CNN网络，即Unet模型作为识别网络应用在胰腺图像分割两阶段；在粗分割阶段，对原图进行降采样归一化预处理，然后随机取若干数据块作为网络的输入进行训练，得到胰腺的粗分割结果；在细分割阶段，用边界框包含胰腺区域，在边界框区域内取图像块进行训练；在识别时，使用粗分割结果确定胰腺所在区域，再用细分割进行预测，得到细分割结果。最终将两阶段的结果进行投票决策得到分割结果。本发明专利技术克服了手工标注的问题，得到了较为理想的分割结果。

【技术实现步骤摘要】
一种基于集成深度卷积神经网络的胰腺CT图像分割方法
本专利技术属于医学领域，具体涉及一种CT图像分割方法。
技术介绍
胰腺癌是一种恶性度很高的消化系统肿瘤，其早期临床症状较隐匿，大多数发现时已是晚期，因此往往预后不佳，虽然胰腺癌的整体发病率在所有恶性肿瘤中较低，但死亡率却居前列，且近年来发病率有上升趋势。利用现有的计算机辅助诊断系统对CT图像中胰腺进行自动的精确分割能够极大地促进对胰腺疾病的评估。然而，由于胰腺的特殊性，分割效果往往与理想情况相差甚远，胰腺分割的难点主要在于：严重的类别不平衡问题，即胰腺在整个CT图像中所占体素的比例往往不足1％，同时胰腺的解剖结构较为复杂，并且相对于其他组织在视觉上有一个模糊的类间边界。与此同时，经过多年的发展，深度学习的相关算法在计算机视觉领域取得了显著的成果。其中，深度学习的典型代表：卷积神经网络(ConvolutionalNeuralNetworks,CNN)也被逐渐地应用于医学图像处理领域之中。如Roth等人利用CNN模型对图像特征的高表示能力来对CT图像中的胰腺组织进行有效的分割，他们率先将全卷积网络(FullConvolutionNetwork，FCN)用于胰腺的分割，展示了CNN模型在医学图像分割上的潜力，但是无论是基于2D卷积还是3D卷积的CNN模型，都存在一定的缺陷。基于2D卷积的CNN模型只能处理二维的CT图像切片，无法学习到整体CT图像中蕴含的三维信息。而基于3D卷积的CNN模型使用三维数据块作为输入，这种方法充分的关注了三维CT图像中的上下文信息，但是3D的图像特征往往需要占用巨大的显存，因此限制了输入数据的大小，同时由于胰腺分割的类别不均衡问题，随机选取的3D图像块往往无法包含足够的正样本来有效的训练网络。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种基于集成深度卷积神经网络的胰腺CT图像分割方法，采用由粗到细的两阶段分割框架对CT图像中的胰腺进行精确的分割。首先构建了一种引入注意力模块和跨层级密集连接的三维U型编码-解码结构的CNN网络，即Unet模型作为识别网络，将识别网络应用在胰腺图像分割的两阶段；在粗分割阶段，对原图进行降采样归一化预处理，然后随机取若干数据块作为网络的输入进行训练，由此得到胰腺的粗分割结果；在细分割阶段，用边界框包含胰腺区域，在边界框区域内取图像块进行训练；在识别时，使用粗分割结果确定胰腺所在区域，再用细分割进行预测，得到细分割结果。最终将两阶段的结果进行投票决策，得到最后的分割结果。本专利技术克服了手工标注的问题，得到了较为理想的分割结果。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：构建引入注意力模块和跨层级密集连接的三维Unet网络；在三维Unet网络中，使用跳跃连接将当前层的编码模块与解码模块连接，同时在跳跃连接中加入注意力模块，当前层编码模块输出的特征和下一层解码模块输出的特征作为注意力模块的输入，注意力模块输出的特征输入到当前层解码模块；跨层级密集连接机制将第四层解码模块输出的特征分别输入至第一层与第二层解码模块，将第三层解码器输出的特征输入至第一层解码模块，每一层解码模块将通过跨层级密集连接接收到的跨层特征、从上一层接收到的特征以及从注意力模块接收到的特征进行拼接，再进行后续的卷积操作；步骤2：CT图像预处理；采用体素值为[a1,a2]的窗口对CT原图像进行体素值截取，将CT原图像中体素值大于a2的图像点体素值变为a2，将CT原图像中体素值小于a1的图像点体素值变为a1，其余图像点体素值保持不变，a1<a2；然后按照公式(1)将每个图像点的体素值归一化到[0,1]之间，其中，max和min分别为CT原图像中图像点所在图像层中所有图像点体素值的最大值和最小值；步骤3：粗分割阶段；将经过步骤2预处理后的CT图像的体素空间分辨率归一化为b×b×bmm3，形成降采样CT图像，降采样CT图像尺寸小于原图像的1/2；然后在降采样CT图像上随机截取多个c1×c2×c3大小的图像块作为粗分割训练数据集，每个图像块的尺寸大于降采样CT图像的1/2；采用粗分割训练数据集中的图像块作为训练样本，CT原图像胰腺的金标准作为标签对步骤1构建的引入注意力模块和跨层级密集连接的三维Unet网络进行训练，训练完成得到粗分割识别网络；步骤4：细分割阶段；细分割阶段包括第一分支和第二分支；在第一分支，使用CT原图像胰腺的金标准在CT原图像中找到胰腺的中心点，称为第一分支胰腺中心点；以第一分支胰腺中心点为基准，向xyz三个正交轴方向扩展得到一个d1×d2×d3大小的三维图像，称为第一分支三维图像，第一分支胰腺中心点为第一分支三维图像的中心点；在第一分支三维图像中随机截取多个e1×e2×e3大小的图像块作为细分割第一分支训练数据集；采用细分割第一分支训练数据集中的图像块作为训练样本，CT原图像胰腺的金标准作为标签对步骤1构建的引入注意力模块和跨层级密集连接的三维Unet网络进行训练，训练完成得到细分割第一分支识别网络；在第二分支，首先对CT原图像体素空间分辨率进行归一化，得到第二分支归一化CT图像，第二分支归一化CT图像的体素空间分辨率是CT原图像体素空间分辨率的d％，d∈[90,110]；使用CT原图像胰腺的金标准在第二分支归一化CT图像中找到胰腺的中心点，称为第二分支胰腺中心点；以第二分支胰腺中心点为基准，向xyz三个正交轴方向扩展得到一个d1×d2×d3大小的三维图像，称为第二分支三维图像，第二分支胰腺中心点为第二分支三维图像的中心点；在第二分支三维图像中随机截取多个e1×e2×e3大小的图像块作为细分割第二分支训练数据集；采用细分割第二分支训练数据集中的图像块作为训练样本，CT原图像胰腺的金标准作为标签对步骤1构建的引入注意力模块和跨层级密集连接的三维Unet网络进行训练，训练完成得到细分割第二分支识别网络；步骤5：测试阶段；将待测试CT图像输入粗分割识别网络，粗分割识别网络输出粗分割结果图像；对粗分割结果图像分别进行两次上采样：第一次上采样将粗分割结果图像的体素空间分辨率变为和CT原图像体素空间分辨率相同，得到第一次上采样粗分割结果图像；第二次上采样将粗分割结果图像的体素空间分辨率变为和第二分支归一化CT图像的体素空间分辨率相同，得到第二次上采样粗分割结果图像；以第一次上采样粗分割结果图像的中心点为基准，向xyz三个正交轴方向扩展得到一个d1×d2×d3大小的三维图像，将该三维图像输入细分割第一分支识别网络，细分割第一分支识别网络输出第一分支细分割识别结果图像；以第二次上采样粗分割结果图像的中心点为基准，向xyz三个正交轴方向扩展得到一个d1×d2×d3大小的三维图像，将该三维图像输入细分割第二分支识别网络，细分割第二分支识别网络输出第二分支细分割初步识别结果图；再将第二分支细分割初步识别结果图体素空间分辨率变为和CT原图像体素空间分辨率相同，得到第二分支细分割识别结果图像；对粗分割本文档来自技高网...

【技术保护点】
1.一种基于集成深度卷积神经网络的胰腺CT图像分割方法，其特征在于，包括以下步骤：/n步骤1：构建引入注意力模块和跨层级密集连接的三维Unet网络；/n在三维Unet网络中，使用跳跃连接将当前层的编码模块与解码模块连接，同时在跳跃连接中加入注意力模块，当前层编码模块输出的特征和下一层解码模块输出的特征作为注意力模块的输入，注意力模块输出的特征输入到当前层解码模块；/n跨层级密集连接机制将第四层解码模块输出的特征分别输入至第一层与第二层解码模块，将第三层解码器输出的特征输入至第一层解码模块，每一层解码模块将通过跨层级密集连接接收到的跨层特征、从上一层接收到的特征以及从注意力模块接收到的特征进行拼接，再进行后续的卷积操作；/n步骤2：CT图像预处理；/n采用体素值为[a

【技术特征摘要】
1.一种基于集成深度卷积神经网络的胰腺CT图像分割方法，其特征在于，包括以下步骤：
步骤1：构建引入注意力模块和跨层级密集连接的三维Unet网络；
在三维Unet网络中，使用跳跃连接将当前层的编码模块与解码模块连接，同时在跳跃连接中加入注意力模块，当前层编码模块输出的特征和下一层解码模块输出的特征作为注意力模块的输入，注意力模块输出的特征输入到当前层解码模块；
跨层级密集连接机制将第四层解码模块输出的特征分别输入至第一层与第二层解码模块，将第三层解码器输出的特征输入至第一层解码模块，每一层解码模块将通过跨层级密集连接接收到的跨层特征、从上一层接收到的特征以及从注意力模块接收到的特征进行拼接，再进行后续的卷积操作；
步骤2：CT图像预处理；
采用体素值为[a1,a2]的窗口对CT原图像进行体素值截取，将CT原图像中体素值大于a2的图像点体素值变为a2，将CT原图像中体素值小于a1的图像点体素值变为a1，其余图像点体素值保持不变，a1<a2；然后按照公式(1)将每个图像点的体素值归一化到[0,1]之间，其中，max和min分别为CT原图像中图像点所在图像层中所有图像点体素值的最大值和最小值；



步骤3：粗分割阶段；
将经过步骤2预处理后的CT图像的体素空间分辨率归一化为b×b×bmm3，形成降采样CT图像，降采样CT图像尺寸小于原图像的1/2；然后在降采样CT图像上随机截取多个c1×c2×c3大小的图像块作为粗分割训练数据集，每个图像块的尺寸大于降采样CT图像的1/2；
采用粗分割训练数据集中的图像块作为训练样本，CT原图像胰腺的金标准作为标签对步骤1构建的引入注意力模块和跨层级密集连接的三维Unet网络进行训练，训练完成得到粗分割识别网络；
步骤4：细分割阶段；
细分割阶段包括第一分支和第二分支；
在第一分支，使用CT原图像胰腺的金标准在CT原图像中找到胰腺的中心点，称为第一分支胰腺中心点；以第一分支胰腺中心点为基准，向xyz三个正交轴方向扩展得到一个d1×d2×d3大小的三维图像，称为第一分支三维图像，第一分支胰腺中心点为第一分支三维图像的中心点；在第一分支三维图像中随机截取多个e1×e2×e3大小的图像块作为细分割第一分支训练数据集；采用细分割第一分支训练数据集中的图像块作为训练样本，CT原图像胰腺的金标准作为标签对步骤1构建的引入注意力模块和跨层级密集连接的三维Unet网络进行训练，训练完成得到细分割第一分支识别网络；
在第二分支，首先对CT原图像体素空间分辨率进行归一化，得到第二分支归一化CT图像，第二分支归一化CT图像的体素空间分辨率是CT原...

【专利技术属性】
技术研发人员：夏勇，陈亚鑫，
申请(专利权)人：西北工业大学深圳研究院，西北工业大学，
类型：发明
国别省市：广东;44