一种基于3D多尺度多池化特征融合网络的颞骨外半规管分割方法技术

本发明专利技术提出一种提高颞骨外半规管分割性能的方法。在本发明专利技术中，设计了一个三维的编码解码神经网络，编码阶段采用了两个密集连接块、一个空洞卷积模块，并且在密集连接块之后采用多尺度池化模块，通过上述三种结构提取三维颞骨CT中的特征信息。解码阶段采用转置卷积将特征图的分辨率逐步恢复到与输入数据相同的分辨率，并且在解码阶段对特定隐藏层进行监督，将网络主干损失和隐藏层的损失构成联合损失函数，共同指导网络的训练。本发明专利技术中的编码解码网络架构充分利用颞骨CT中的空间信息，适合外半规管等小目标分割，采用评价指标骰子系数DSC可达72.23％。数DSC可达72.23％。数DSC可达72.23％。

【技术实现步骤摘要】
一种基于3D多尺度多池化特征融合网络的颞骨外半规管分割方法


[0001]本专利技术属于医学影像处理领域，特别涉及一种基于3D多尺度多模式池化特征融合网络的颞骨外半规管分割方法。

技术介绍

[0002]颞骨计算机断层扫描是检查中耳病以检测人类颞骨解剖结构异常的既定标准，是医生进行耳部疾病诊断的重要手段。在采集颞骨CT影像时，由于病人姿态的差异，原始颞骨CT影像存在双侧结构不对称等问题，放射科医师需要在图像处理服务器上基于外半规管进行CT影像的手工校准重建，然后供医生诊断。随着耳部疾病临床诊断需求的增加，颞骨CT影像数量快速增长，手工校准过程耗费时间精力，增加了放射科医师的工作负担，延缓诊断时间。从颞骨CT中自动分割出外半规管，利用外半规管的分割结果可以进行原始颞骨CT的自动校准，同时在临床诊断中可以减轻医生的工作量，降低漏诊和误诊。外半规管的准确分割不仅有助于医生自动校准原始颞骨CT数据，而且在外半规管疾病诊断和科研方面具有重要意义。
[0003]分割是图像处理中的一个重要步骤，在自然图像中用于场景理解，而在医学影像中，分割致力于从背景中识别病变或器官的像素，通常被视为病变评估和疾病诊断的重要步骤。目前，医学影像的分割方法主要包括传统分割方法和基于深度学习的分割方法，基于深度学习的分割方法已经广泛应用于皮肤、大脑、心脏和腹部等器官。
[0004]随着深度学习技术的迅速发展，基于深度学习的分割方法已经成为医学影像分割中最为流行的方法，针对具体的分割任务，对神经网络架构改进以提高分割精度一直是研究人员的关注焦点。例如，解决深层网络的梯度消失和爆炸，设计合理的网络结构提取更为丰富的语义信息，为高效而精确的模型进行模型压缩等。
[0005]全卷积网络是语义分割的开创性工作，其特点是使用卷积层代替卷积神经网络中的全连接层，获得与输入图像相同分辨率的输出结果，实现像素级分类。针对全卷积网络分割精度不高的问题，研究人员在全卷积网络的基础上提出了编解码的网络架构，其中编码阶段对图像进行下采样，解码阶段逐步对特征进行上采样，直到与输入图像分辨率一致，在编码阶段和解码阶段还使用跳跃连接，以此恢复细节信息提升分割的精度。
[0006]与自然图像不同的是，大部分的医学影像是三维数据，为使神经网络充分利用三维数据的特性，研究人员设计了3D网络架构进行三维医学影像分割工作。但现有医学影像分割方法往往针对的是肝脏、肺、心脏等较大的解剖结构，在小器官上的分割效果不佳。
[0007]本专利技术提出了一种基于3D编解码结构的外半规管分割方法。设计了一种新的3D网络结构，编码阶段采用密集连接块和空洞卷积模块进行特征提取，空洞卷积模块中采用不同膨胀率的空洞卷积，用于提取多尺度的特征信息，同时采用多尺度和多模式的池化特征融合策略，减少池化操作带来的信息损失。解码模块采用辅助损失和网络主干损失构成的联合损失函数来指导网络训练。

技术实现思路

[0008]本专利技术的目的在于克服现有分割方法的不足，针对外半规管体积微小、形状复杂的问题，提出一种基于3D多尺度池化特征融合网络的颞骨外半规管分割方法，实现对颞骨CT中外半规管的自动分割。
[0009]本专利技术是采用以下技术手段实现的：
[0010]一种基于编解码网络结构的外半规管3D分割方法。该方法的整体架构主要分为两个阶段：编码阶段和解码阶段，如附图1所示。
[0011]编码阶段包括密集连接块、空洞卷积块和多尺度-模式池化特征融合模块。
[0012]解码阶段包括转置卷积恢复特征图分辨率、跳跃连接补充细节信息和联合损失函数指导网络训练。
[0013]该方法包括以下步骤：
[0014]1)编码阶段：
[0015]第一步，密集连接块和空洞卷积模块提取特征。从分辨率为420
×
420
×
60的颞骨CT数据中抽取一个48
×
48
×
48的立方体送入网络，对该立方体进行体素归一化，再通过旋转进行数据增强。编码阶段中的2个密集连接块的层数分别为2和6，每层密集连接由2个卷积层组成，记X
l
为l
th
层密集连接的输出，每层密集连接的输出特征图分别用x0…
x
h-1
表示，密集连接块可以用公式(1)表示：
[0016]X
l-F
l
([x0，x1，
…
，x
l-1
])
ꢀꢀ
(1)
[0017]其中，F
l
(.)是一个非线性组合函数，包含批正则化batch normalization、线性激活函数ReLU和3
×3×
3的卷积，卷积步长为1，卷积补边padding模式为SAME，膨胀率为1，并且在卷积操作后采用丢包操作dropout，丢包率drop rate为0.5。每层密集连接的输出特征图数，即增长率g为32，密集连接块输出的特征图数为密集连接块层数与增长率的乘积加密集连接块的输入特征图数。将第1个和第2个密集连接块输出的特征组分别记为F1和F2。
[0018]空洞卷积模块如附图2所示，由3个空洞卷积分支并联形成，每个分支中包含批正则化batch normalization、线性激活函数ReLU和3
×3×
3卷积操作，其中卷积操作步长为1，补边padding采用SAME模式，三个空洞卷积分支中卷积的膨胀率分别为1，2，3，除此之外网络中其余的卷积操作的膨胀率都为1，下面将不再说明；然后将3个空洞卷积分支得到的特征图在通道上进行拼接concat，最后再进行1
×1×
1卷积减少特征图通道数，1
×1×
1卷积步长为1，补边padding模式为SAME。将空洞卷积模块的输出记为F3。
[0019]第二步，多尺度-模式池化特征融合，其结构如附图3所示。首先采用批正则化batch normalization、线性激活函数ReLU和3
×3×
3卷积操作，卷积的步长为1，补边padding模式为SAME，卷积操作后采用丢包率drop rate为0.5的dropout层；然后同时进行池化尺寸为2
×2×
2的最大池化max pooling、3
×3×
3的最大池化max pooling、2
×2×
2的平均池化average pooling和3
×3×
3的平均池化average pooling，采用其他的池化尺寸会造成分割精度的下降，上述4个池化操作的步长都为2，池化操作中都采用补边padding，使得每个池化操作后的特征图分辨率相同，接下来在通道上拼接4个池化操作后的特征图；最后，再进行批正则化batch normalization、线性函数ReLU和3
×3×
3卷积操作，卷积操作步长为1，补边padding模式为SAME。
[0020]2)解码阶段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编解码网络结构的外半规管3D分割方法，分为两个阶段：编码阶段和解码阶段其特征在于：编码阶段包括密集连接块、空洞卷积块和多尺度-模式池化特征融合模块；解码阶段包括转置卷积恢复特征图分辨率、跳跃连接补充细节信息和联合损失函数指导网络训练；1)编码阶段：第一步，密集连接块和空洞卷积模块提取特征；从分辨率为420
×
420
×
60的颞骨CT数据中抽取一个48
×
48
×
48的立方体送入网络，对该立方体进行体素归一化，再通过旋转进行数据增强；编码阶段中的2个密集连接块的层数分别为2和6，每层密集连接由2个卷积层组成，记X
l
为l
th
层密集连接的输出，每层密集连接的输出特征图分别用x
θ
…
x
l-1
表示，密集连接块用公式(1)表示：X
l
＝F
l
([x0，x1，
…
，x
i-1
])
ꢀꢀꢀ
(1)其中，F
l
(.)是一个非线性组合函数，包含批正则化batch normalization、线性激活函数ReLU和3
×3×
3的卷积，卷积步长为1，卷积补边padding模式为SAME，膨胀率为1，并且在卷积操作后采用丢包操作dropout，丢包率drop rate为0.5；每层密集连接的输出特征图数，即增长率g为32，密集连接块输出的特征图数为密集连接块层数与增长率的乘积加密集连接块的输入特征图数；将第1个和第2个密集连接块输出的特征组分别记为F1和F2；空洞卷积模块由3个空洞卷积分支并联形成，每个分支中包含批正则化batch normalization、线性激活函数ReLU和3
×3×
3卷积操作，其中卷积操作步长为1，补边padding采用SAME模式，三个空洞卷积分支中卷积的膨胀率分别为1，2，3，除此之外网络中其余的卷积操作的膨胀率都为1；然后将3个空洞卷积分支得到的特征图在通道上进行拼接concat，最后再进行1
×1×
1卷积减少特征图通道数，1
×1×
1卷积步长为1，补边padding模式为SAME；将空洞卷积模块的输出记为F3；第二步，多尺度-模式池化特征融合；首先采用批正则化batch normalization、线性激活函数ReLU和3
×3×
3卷积操作，卷积的步长为1，补边padding模式为SAME，卷积操作后采用丢包率drop rate为0.5的dropout层；然后同时进行池化尺寸为2
×2×
2的最大池化max pooling、3
×3×
3的最大池化max pooling、2
×2×
2的平均池化average pooling和3
×3×
3的平均池化average pooling，上述4个池化操作的步长都为2，池化操作中都采用补边padding，使得每个池化操作后的特征图分辨率相同，接下来在通道上拼接4个池化操作后的特征图；最后，再进行批正则化batch normalization、线性函数ReLU和3
×3×
...

【专利技术属性】
技术研发人员：李晓光，伏鹏，朱梓垚，卓力，张辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：