基于2D-3D特征融合的膝关节MRI骨结构分割方法技术

本发明专利技术公开了一种基于2D

【技术实现步骤摘要】
基于2D-3D特征融合的膝关节MRI骨结构分割方法


[0001]本专利技术属于核磁共振图像(Magnetic Resonance Imaging，MRI)膝关节骨分割
，具体的说，涉及一种基于2D-3D特征融合的膝关节MRI骨结构分割方法。

技术介绍

[0002]基于核磁共振图像诊断膝关节疾病时，自动分割膝关节骨结构(胫骨、胫骨软骨、股骨、股骨软骨)是一项重要的任务。然而，一般的分割方法在精确分割关节结构时因无法兼顾粗大的硬骨和细小的软骨而极具挑战性。当前，膝关节骨分割主要存在的问题有：一、 MRI图像中膝关节骨结构存在骨边界极其不规则，关节连接处间隙狭窄以及软骨磨损状态复杂的问题。二、由于当前GPU显存的限制，三维(Three Dimension,3D)卷积编解码网络(Convolutional encoder-decoder network,CED)无法进行全图训练，而基于分块训练的 3DCED网络的宽度无法兼顾空间上下文信息与网络的表达能力，而2DCED网络损失了大量三维空间信息。
[0003]在实际的应用中，为了解决MR图像中膝关节骨结构存在骨边界模糊，形态不规则以及当前硬件限制的问题，国内外学者提出多种基于深度学习及深度学习加解剖学先验的方法，一定程度上提高了膝关节骨结构的分割性能。深度学习是一种广泛使用的机器学习方法。该方法通过构建合理的卷积神经网络，对目标数据中潜在的特征进行提取，用于准确表征此类数据的分布及特点。近年来，深度学习方法已在不同领域中显示出处理复杂模式识别问题的出色能力/>[1-3]，与传统的机器学习方法相比，深度学习方法优势明显，其能够自动地提取图像中具有旋转不变、平移不变、鲁棒的特征，这种特性使它能有效应对MRI 图像膝关节骨结构的复杂状况，保证结构的精确分割。

技术实现思路

[0004]本专利技术目的是解决基于MR图像分割膝关节骨结构时所存在的两个问题：一、膝关节骨结构存在骨边界极其不规则，关节连接处间隙狭窄以及软骨磨损状态复杂的问题。二、由于当前GPU显存的限制，3D卷积编解码网络(CED)无法进行全图训练，而基于分块训练的3DCED网络的宽度无法兼顾空间上下文信息与网络的表达能力，而2DCED网络损失了大量三维空间信息。为了能够同时高效准确的分割膝关节骨结构，本专利技术提出了一种新的端到端的基于卷积编解码结构的基于2D-3D特征层次融合的分割网络的膝关节核磁共振图像骨结构分割方法。针对之前基于深度学习方法3D-Unet分割精度较低的问题，新的方法借助2D网络提取体数据最大密度投影图像的全局定位特征，来丰富3D网络所缺失的全局上下文信息，以提高骨结构的分割精度，此外，通过这种补充全局信息的方式可以有效应对由于GPU显存不足所限制的3D网络输入块过小导致的语义大量缺失的问题。为了成功的融合2D全局上下文信息和3D局部细节特征，本专利技术提出了新的特征融合模块，使得全局上下文信息和局部细节特征可以保持相同的尺寸和较为一致的特征，得以成功融合，有效提升分割精度。
[0005]本专利技术的技术方案具体介绍如下。
[0006]一种基于2D-3D特征融合的膝关节MRI骨结构分割方法，计算产生3D体数据在矢状位方向的最大密度投影图像MIP，构建一种基于2D-3D特征层次融合的分割网络对膝关节 MR图像上的多个骨结构进行分割；基于2D-3D特征层次融合的分割网络的输入是3D膝关节部分的MR图像，输出是对应的股骨、股骨软骨、胫骨、胫骨软骨的分割结果；
[0007]基于2D-3D特征层次融合的分割网络包括局部3D卷积编解码分割网络、全局2D卷积编解码定位网络和2D-3D特征融合模块，局部3D卷积编解码分割网络简称为3D-CED 网络，全局2D卷积编解码定位网络简称为2D-CED网络；其中：
[0008]3D-CED网络和2D-CED网络分别以3D体数据和最大密度投影图像作为输入进行特征提取和编码，3D-CED网络和2D-CED网络在矢状位上完全对应编码；3D-CED网络和 2D-CED网络都采用编码器结构，并采用相同的网络结构，分别包括4级编码模块和4级解码模块；每级编码模块包括两个卷积层、Relu激活层、组归一化层的复合模块和一个最大池化模块，每级解码模块包括两个卷积模块和一个上采样模块，除了底层的第4级编码模块之外，每级编码模块提取的特征作为特征融合模块的输入进行上下文信息融合，融合后输入到对应的解码器模块；
[0009]特征融合模块将3D-CED网络的编码器与2D-CED网络的编码器的特征逐层融合后，逐层输入3D-CED网络的解码器中，使得3D-CED网络关注相应局部位置细节特征时， 2D-CED网络提供3D-CED网络所需的全局上下文信息。
[0010]本专利技术中，解码模块中，最后一级解码模块中的上采样模块的卷积核为1
×
1,其它三级解码模块中的上采样模块的卷积核为33。
[0011]本专利技术中，特征融合模块的融合方式如下：
[0012]假设从2D-CED网络中获取到最大密度投影的全局上下文特征图f
G
，尺寸为 B
×
C
×
W
×
H，从3D-CED网络中获取到最大密度投影的全局上下文特征图f
L
，尺寸为 B
×
C
×
W
c
×
H
c
×
D
c
，B为batch size大小，C为通道数，W、H为f
G
的宽、高,W
c
×
H
c
×
D
c
为 f
L
的宽、高和深度，由于2D-CED网络和3D-CED网络有相同的B和C，为了论述方便f
G
和 f
L
的尺寸分别记为W
×
H和W
c
×
H
c
×
D
c
，进入3D-CED网络各级编码器之前，随机裁剪I得到I
c
时所记录的对应三维索引位置为i，j，k，经过一级编码器后，新的三维索引位置为，
[0013][0014][0015][0016]其中，(H
K
，W
K
，D
K
)为卷积层的卷积核尺寸，即(3,3,3)，S为最大池化层的步长2；
[0017]使用计算的i
n
，j
n
从全局上下文特征图中裁剪出和3D-CED网络编码器输出的局部语义信息特征图对应区域的特征尺寸为(W
c
*H
c
)，此时该区域特征为2D特征，以堆叠该特征的方式为f
L
的每一个矢状位生成对应的上下文特征，即：
[0018][0019]这里，的尺寸为(W
c
*H
c
*D
c
)，得到和3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于2D-3D特征融合的膝关节MRI骨结构分割方法，其特征在于，计算产生3D体数据在矢状位方向的最大密度投影图像MIP，构建一种基于2D-3D特征层次融合的分割网络对膝关节MR图像上的多个骨结构进行分割；基于2D-3D特征层次融合的分割网络的输入是3D膝关节部分的MR图像，输出是对应的股骨、股骨软骨、胫骨、胫骨软骨的分割结果；基于2D-3D特征层次融合的分割网络包括局部3D卷积编解码分割网络、全局2D卷积编解码定位网络和2D-3D特征融合模块；下文中，局部3D卷积编解码分割网络简称为3D-CED网络，全局2D卷积编解码定位网络简称为2D-CED网络；其中：3D-CED网络和2D-CED网络分别以3D体数据和最大密度投影图像作为输入进行特征提取和编码，3D-CED网络和2D-CED网络在矢状位上完全对应编码；3D-CED网络和2D-CED网络都采用编码器结构，并采用相同的网络结构，分别包括4级编码模块和4级解码模块；每级编码模块包括两个卷积层、Relu激活层、组归一化层的复合模块和一个最大池化模块，每级解码模块包括两个卷积模块和一个上采样模块，除了底层的第4级编码模块之外，每级编码模块提取的特征作为特征融合模块的输入进行上下文信息融合，融合后输入到对应的解码器模块；特征融合模块将3D-CED网络的编码器与2D-CED网络的编码器的特征逐层融合后，逐层输入3D-CED网络的解码器中，使得3D-CED网络关注相应局部位置细节特征时，2D-CED网络提供3D-CED网络所需的全局上下文信息。2.根据权利要求1所述的膝关节MRI骨结构分割方法，其特征在于，解码模块中，最后一级解码模块中的上采样模块的卷积核为1
×
1，其它三级解码模块中的上采样模块的卷积核为33。3.根据权利要求1所述的膝关节MRI骨结构分割方法，其特征在于，特征融合模块的融合方式如下：假设从2D-CED网络中获取到最大密度投影的全局上下文特征图f
G
，尺寸为B
×
C
×
W
×
H，从3D-CED网络中获取到最大密度投影的全局上下文特征图f
L
，尺寸为B
×
C
×<...

【专利技术属性】
技术研发人员：史勇红，李文生，姚德民，王辉，
申请(专利权)人：复旦大学，
类型：发明
国别省市：