基于级联卷积神经网络的3D多椎骨分割方法技术

本发明专利技术涉及一种基于级联卷积神经网络的3D多椎骨分割方法，分割方法包括：对原始脊柱CT图像进行CTE预处理，获得预处理图像；将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像。本发明专利技术能快速准确地在3D脊柱CT图像中分割出每个椎骨并对其进行标记。

3D Multi-vertebral Segmentation Based on Cascaded Convolutional Neural Network

The present invention relates to a 3D Multi-vertebral segmentation method based on cascaded convolution neural network. The segmentation method includes: CTE pretreatment of the original vertebral CT image to obtain the pre-processed image; rough segmentation training by inputting the pre-processed image into the rough segmentation full convolution network FCN to obtain the rough segmentation result map with prior information of vertebral structure position; and rough segmentation result map and pre-processed image. As a dual-channel image input subdivision depth convolution network CNN, according to the location priori information provided by the rough segmentation result graph, patch patches of each vertebra and background area are extracted at the corresponding position in the preprocessed image, and then patch patches are segmented to obtain the vertebral segmentation image with labels. The invention can quickly and accurately segment and mark each vertebra in the 3D spine CT image.

【技术实现步骤摘要】
基于级联卷积神经网络的3D多椎骨分割方法
本专利技术涉及医学图像的处理
，尤其涉及一种基于级联卷积神经网络的3D多椎骨分割方法。
技术介绍
脊柱是形成人体中心重量轴的重要骨骼结构，包括24块椎骨。通常，采用CT(ComputedTomography)评估椎骨的三维形状。在大多数脊柱CT图像后续的分析和建模任务中都涉及到脊柱分割的基本步骤。人为进行脊柱分割，是费时和主观的，因此临床应用都采取全自动分割或半自动分割方法。由于脊柱结构复杂，椎骨之间的差异较小，因此很难精确提取到椎体感兴趣区域。在早期的脊柱CT图像处理中，采用自适应阈值处理、区域生长和边界调整等无监督图像处理方法进行图像分割，其分割的准确度较低。后来，又将改进的水平集框架和分水岭分割方法用于脊柱的CT图像分割，虽然分割精度有所提高，但是需要手动辅助完成，因此不具有普适性。当下，有学者提出了基于轮廓模型和形状模型的分割方法，后又将模糊理论融入主动轮廓模型中并提出了新能量形式及模糊速度函数，这种方式对图像噪声和初始轮廓不敏感，可以实现快速收敛；但其缺点是对于灰度不均匀图像不能正确分割，并且主要只适用于二维区域的图像分割，或者需要根据期望区域修改原始模型才能够进行图像分割，耗时巨大。随着深度学习的发展，卷积神经网络开始用于医学图像的处理中。具有层次特征学习能力的深度卷积神经网络开始成为计算机视觉领域的主要机器学习方法，并且在不同的视觉领域取得了令人满意的结果。首先有人使用U-Net来细分生物医学图像；接着，对于脊柱CT，有人提出了两步法分割五个腰椎并同时标记它们的方法；再后来，又有人提出一种改进的3DU-Net，来学习稀疏注解的密集体积分割；在此基础上，又提出一种用于容积医学图像分割的完全卷积神经网络V-Net；及至基于深度学习方案的自动定位，来识别和分割MR图像中的椎体；之后又提出了一种基于三维深度学习的级联框架，用来从MRI中分割颅颌面骨结构。上述方法在用于脊柱CT图像的椎骨分割中，存在收敛速度慢，耗时的缺陷。因此，针对以上不足，需要提供一种新的CT图像椎骨分割方法，来提高脊柱图像的分割效率。
技术实现思路
本专利技术要解决的技术问题在于，针对现有脊柱CT图像分割方法收敛速度慢，分割过程耗时长的缺陷，提供一种基于级联卷积神经网络的3D多椎骨分割方法。为了解决上述技术问题，本专利技术提供了一种基于级联卷积神经网络的3D多椎骨分割方法，所述分割方法包括以下步骤：步骤一：对原始脊柱CT图像进行CTE预处理，获得预处理图像；步骤二：将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；步骤三：将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述预处理包括：采用CHALE图像增强的方式去除原始脊柱CT图像椎骨外围的器官及组织，并进行阈值分割及膨胀，获得预处理图像；所述预处理图像的体素阈值HU范围为800HU-1200HU。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述粗分割全卷积网络FCN对预处理图像的处理过程包括下采样过程和上采样过程：下采样过程：预处理图像首先经卷积核大小为2×2×2、步长为2、厚度为16的下采样卷积层提取特征值，再通过激活函数PReLU层进行激活，接着传输到具有短连接的下采样重置块；下采样重置块输出的图像数据再依次四次循环输入激活函数PReLU层和下采样重置块，最后输出下采样图像；上采样过程：将下采样图像经卷积核大小为2×2×2、步长为2、厚度为128的一次反卷积层提取特征值，得到一次反卷积图像；在叠加层将一次反卷积图像与下采样图像按位置对应叠加，获得叠加图像；再将叠加图像送入具有短连接的上采样重置块；上采样重置块输出的图像数据再依次四次循环输入到二次反卷积层、叠加层和上采样重置块，然后输出上采样图像；所述二次反卷积层的四次循环中，卷积核大小为5×5×5、步长为1、厚度依次为128、64、32、32；所述的上采样图像再输入到粗分割全卷积网络FCN的soft-max层。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，在下采样过程和上采样过程中，所述上采样重置块和下采样重置块对数据的处理过程相同，分别包括：重置块每一次输入的图像数据，首先经过卷积核大小为5×5×5、步长为1的一次重置卷积层提取特征值，再经BN层计算均值及方差，进行一次归一化处理；一次归一化处理获得的图像数据再经过一次激活函数ReLU层和卷积核大小为5×5×5、步长为1的二次重置卷积层提取特征值，再经BN层计算均值及方差，进行二次归一化处理；将二次归一化处理获得的图像数据与重置块当前输入的图像数据叠加后，再输入二次激活函数ReLU层处理，获得重置块的输出图像。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述下采样重置块四次循环中一次重置卷积层和二次重置卷积层的厚度依次为32、64、128、256。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述粗分割全卷积网络FCN的soft-max层包括二分类器，所述二分类器包括大小为1×1×1，步长为1的分类卷积层，二分类器对上采样图像进行处理后，通过两个输出通道分别输出粗分割结果图，所述粗分割结果图包括椎骨粗分割区域和非椎骨粗分割区域背景图；所述粗分割结果图与原始脊柱CT图像的大小一致。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述细分割深度卷积网络CNN细分割卷积层的卷积步长为1，卷积核为3×3×3；细分割深度卷积网络CNN中soft-max层为多分类器层，用于对粗分割结果图中每段椎骨自动分割和标记；细分割深度卷积网络CNN的训练集合标签标示为C＝{(In,Ln),n＝0,1,2,…，17}，其中In是原始脊柱CT图像、Ln是具有标签的椎骨手动分割图像；每个Ln包含18个基本事实类别标签k，所述类别标签k由17个椎骨手动分割图像和原始脊柱CT图像中每个体素的背景组成，其中n为体素个数；细分割深度卷积网络CNN的目标函数为：其中，是soft-max层输出类别概率，λi是权重因子，N是体素总数，Ni是一个类别Ln内的体素总数，并且k∈[0,1,2,…,17]表示正确的基本事实类别标签，x为体素点。在根据本专利技术所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述补丁贴片分别经过厚度为16的细分割卷积层和max-pooling层提取特征；提取结果再依次循环三次输入细分割卷积层和max-pooling层，获得初始细分割图像；循环三次过程中细分割卷积层的卷积核厚度分别为32、64、18；将所述初始细分割图像经训练后的细分割深度卷积网络CNN的多分类soft-max层进行分割，获得具有标签的椎骨分割图像；该椎骨分割图像的体素点本文档来自技高网...

【技术保护点】
1.一种基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述分割方法包括以下步骤：步骤一：对原始脊柱CT图像进行CTE预处理，获得预处理图像；步骤二：将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；步骤三：将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化。

【技术特征摘要】
1.一种基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述分割方法包括以下步骤：步骤一：对原始脊柱CT图像进行CTE预处理，获得预处理图像；步骤二：将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；步骤三：将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化。2.根据权利要求1所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述预处理包括：采用CHALE图像增强的方式去除原始脊柱CT图像椎骨外围的器官及组织，并进行阈值分割及膨胀，获得预处理图像；所述预处理图像的体素阈值HU范围为800HU-1200HU。3.根据权利要求1或2所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述粗分割全卷积网络FCN对预处理图像的处理过程包括下采样过程和上采样过程：下采样过程：预处理图像首先经卷积核大小为2×2×2、步长为2、厚度为16的下采样卷积层提取特征值，再通过激活函数PReLU层进行激活，接着传输到具有短连接的下采样重置块；下采样重置块输出的图像数据再依次四次循环输入激活函数PReLU层和下采样重置块，最后输出下采样图像；上采样过程：将下采样图像经卷积核大小为2×2×2、步长为2、厚度为128的一次反卷积层提取特征值，得到一次反卷积图像；在叠加层将一次反卷积图像与下采样图像按位置对应叠加，获得叠加图像；再将叠加图像送入具有短连接的上采样重置块；上采样重置块输出的图像数据再依次四次循环输入到二次反卷积层、叠加层和上采样重置块，然后输出上采样图像；所述二次反卷积层的四次循环中，卷积核大小为5×5×5、步长为1、厚度依次为128、64、32、32；所述的上采样图像再输入到粗分割全卷积网络FCN的soft-max层。4.根据权利要求3所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：在下采样过程和上采样过程中，所述上采样重置块和下采样重置块对数据的处理过程相同，分别包括：重置块每一次输入的图像数据，首先经过卷积核大小为5×5×5、步长为1的一次重置卷积层提取特征值，再经BN层计算均值及方差，进行一次归...

【专利技术属性】
技术研发人员：刘侠，刘晓，甘权，王波，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23