基于FCN的腹部多器官核磁共振图像分割方法、系统及介质技术方案

本发明专利技术公开了一种基于FCN的腹部多器官核磁共振图像分割方法、系统及介质，本发明专利技术方法实施步骤包括获取输入图像并进行数据预处理、图像归一化操作，然后将其输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；将最终预测图使用激活函数激活得到预测得分图，且在每个像素位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。本发明专利技术能够实现腹部多器官核磁共振图像的自动分割，例如按照无器官区、肝脏区、右肾区、左肾区和脾脏区五种不同区域类别对腹部多器官MR图像进行分割。

FCN based segmentation method, system and media of abdominal multi organ MRI image

【技术实现步骤摘要】
基于FCN的腹部多器官核磁共振图像分割方法、系统及介质
本专利技术涉及数字医学影像处理与分析和计算机辅助诊断领域，具体涉及一种基于FCN的腹部多器官核磁共振图像分割方法、系统及介质。
技术介绍
了解复杂医疗程序的先决条件对于手术的成功起着重要作用。为了丰富理解水平，医生使用三维可视化和打印等高级工具，这些工具需要从DICOM图像中提取感兴趣的对象。腹部多器官(即肝脏，肾脏和脾脏)的精确分割对于几种临床程序至关重要，包括但不限于基于活体供体的移植手术的肝脏预评估或腹部多器官的详细分析以确定在腹主动脉手术之前，为了正确定位移植物的血管并进入它们。这促使正在进行的研究需要克服由于腹部的高度灵活的解剖学特性和反映图像特征的模态的限制带来的无数挑战，以获得更好的分割结果。腹部多器官核磁共振(MR)图像的精确分割对于诊断、手术规划、术后分析以及化疗、放疗计划至关重要，目前国内外有很多研究人员提出了各种各样的腹部多器官MR图像的分割算法，主要包括基于图形分割的算法以及基于像素的分割算法等。基于图形的分割算法在网络图中使用顶点来表示图像的像素，使用图中的边来表示像素之间的相似度，通过以能量最小化问题为优化目标将网络图逐渐分割成子网络图，使得子网络图内部的相似度以及子网络图之间的差异度达到最大。此类算法一般需要解决一个求解广义特征向量问题，在图像分辨率大小较大的情况下，此类算法会产生较大的计算量，复杂度较高。基于像素的分割算法的基本思想是根据每个像素在MR图像上亮度信息、纹理信息等把该像素点分类到正确的的类别中。分类的算法包括无监督的聚类和有监督的学习。例如，基于模糊C均值聚类算法(FuzzyC-Means,FCM)的模糊均值聚类的算法，以核磁共振图像的像素强度作为特征向量，利用该算法对所有像素点进行聚类得到初始的分类，根据对称性，像素强度值分布等先验知识对初始分类进行优化，得到最终的分割结果。由于FCM聚类时，没有考虑空间邻域信息，并且器官组织的像素强度值分布会产生重叠，因此容易发生误分割的情况。近年来，深度学习理论引起了很大关注，在自然语言处理、计算机视觉等领域已经取得了广泛的应用，尤其是深度卷积神经网络(ConvolutionNeuralNetwork，简称CNN)具有非常强的自主学习能力和高度的非线性映射，在计算机视觉的各个方向表现出优异的性能，如，图像分类、目标检测、语义分割等。2014年提出的用于语义分割的全卷积神经网络(FullyConvolutionalNetworks，简称FCN)，将传统用于图像分类的CNN末尾的全连接层替换为卷积层，使得网络可以接受不同尺寸的图片输入实现像素级别的分类，并且解决了网络输入在原图向上滑动而带来的重复存储和计算的问题，这为设计对鲁棒性和精度要求高的分割模型提供了可能。随后，2015年专门为医学图像分割所设计的全卷积神经网络U-Net被提出，U-Net继承了FCN使用全卷积神经网络进行图像分割的思路，网络架构包括两部分，即编码网络和解码网络，两个子网络串行连接，编码网络通过堆叠卷积、池化操作，对原图像下采样减小图像的分辨率提取整个图像中上下文语义信息，解码网络通过堆叠卷积、反卷积，对特征图上采样逐渐将分辨率恢复到原图像大小，并且在编码网络和解码网络之间使用跳跃连接融合低级别特征和高级别特征，由于编码网络和解码网络的对称性，这种网络结构呈现出字母“U”的形状，因此被命名为U-Net。因为医学图像存在边界不清晰、灰度范围大等特点，需要结合更多的低级别特征来实现精细的分割，所以U-Net这种结构被广泛地应用于各种医学图像的分割，并在各种医学分割竞赛中取得良好的效果。U-Net网络结构使用跳跃连接的方式，直接将低级特征图与上采样(反卷积)后的高级特征图进行融合，缺少对低级特征的变换，同时先编码再解码的串行网络结构限制了不同分辨率特征图相互之间进行特征融合。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于FCN的腹部多器官核磁共振图像分割方法、系统及介质，本专利技术能够实现腹部多器官核磁共振图像的自动分割，例如按照无器官区(C0)、肝脏区(C1)、右肾区(C2)、左肾区(C3)和脾脏区(C4)五种不同区域类别对腹部多器官MR图像进行分割。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于FCN的腹部多器官核磁共振图像分割方法，实施步骤包括：1)获取输入的腹部多器官核磁共振图像并进行数据预处理、图像归一化操作；2)将归一化后的腹部多器官核磁共振图像输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；3)将最终预测图使用激活函数激活得到预测得分图，且在每个像素位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。可选地，所述高分辨率全卷积神经网络模型包括第一卷积模块、多分辨率并行-融合模块和最终卷积模块三个部分，且三个部分除了最终卷积模块最后的卷积层不包括激活操作之外其他所有部分的卷积层都包括卷积操作、批量归一化操作和激活操作，且三个部分使用的瓶颈块结构相同。可选地，所述多分辨率并行-融合模块包括多个并行的并行-融合模块，每一个并行-融合模块对应着不同分辨率大小和通道数的特征图以实现对不同分辨率的特征图并行卷积操作，每一个并行-融合模块都由并行部分、融合部分这两部分组成，并行部分用于对上一个模块输出的多个特征图进行多分支并行的卷积操作，融合部分对并行部分输出的多个不同分辨率的特征图，经过上采样和下采样后在通道维度拼接，实现不同分辨率特征之间的相互融合，并且除最后一个多分辨率并行-融合模块以外的最后一个分支融合结果进行下采样，使得下一个分辨率并行-融合模块增加一条新分辨率的并行分支。可选地，所述多分辨率并行-融合模块包括4个并行的并行-融合模块MP-FM1～MP-FM4，其中：并行-融合模块MP-FM1的输入为大小分别为32*H*W和64*H/2*W/2的特征图，其并行部分PP_1为通道数分别为32和64的2个并行的瓶颈块，融合部分FP_1包括1个最大池化层、1个双线性插值上采样操作、2个通道维度上的连接操作和1个通道数为128的卷积池化层，且其输出为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图；并行-融合模块MP-FM2的输入为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图，其并行部分PP_2为通道数分别为32、64和128的3个并行的瓶颈块，融合部分FP_2包括3个最大池化层、3个双线性插值上采样操作、3个通道维度上的连接操作和1个通道数为256的卷积池化层，输出为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图；并行-融合模块MP-FM3的输入为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的本文档来自技高网...

【技术保护点】
1.一种基于FCN的腹部多器官核磁共振图像分割方法，其特征在于实施步骤包括：/n1)获取输入的腹部多器官核磁共振图像并进行数据预处理、图像归一化操作；/n2)将归一化后的腹部多器官核磁共振图像输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；/n3)将最终预测图使用激活函数激活得到预测得分图，且在每个像素位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。/n

【技术特征摘要】
1.一种基于FCN的腹部多器官核磁共振图像分割方法，其特征在于实施步骤包括：
1)获取输入的腹部多器官核磁共振图像并进行数据预处理、图像归一化操作；
2)将归一化后的腹部多器官核磁共振图像输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；
3)将最终预测图使用激活函数激活得到预测得分图，且在每个像素位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。


2.根据权利要求1所述的基于FCN的腹部多器官核磁共振图像分割方法，其特征在于，所述高分辨率全卷积神经网络模型包括第一卷积模块、多分辨率并行-融合模块和最终卷积模块三个部分，且三个部分除了最终卷积模块最后的卷积层不包括激活操作之外其他所有部分的卷积层都包括卷积操作、批量归一化操作和激活操作，且三个部分使用的瓶颈块结构相同。


3.根据权利要求2所述的基于FCN的腹部多器官核磁共振图像分割方法，其特征在于，所述多分辨率并行-融合模块包括多个并行的并行-融合模块，每一个并行-融合模块对应着不同分辨率大小和通道数的特征图以实现对不同分辨率的特征图并行卷积操作，每一个并行-融合模块都由并行部分、融合部分这两部分组成，并行部分用于对上一个模块输出的多个特征图进行多分支并行的卷积操作，融合部分对并行部分输出的多个不同分辨率的特征图，经过上采样和下采样后在通道维度拼接，实现不同分辨率特征之间的相互融合，并且除最后一个多分辨率并行-融合模块以外的最后一个分支融合结果进行下采样，使得下一个分辨率并行-融合模块增加一条新分辨率的并行分支。


4.根据权利要求3所述的基于FCN的腹部多器官核磁共振图像分割方法，其特征在于，所述多分辨率并行-融合模块包括4个并行的并行-融合模块MP-FM1～MP-FM4，其中：并行-融合模块MP-FM1的输入为大小分别为32*H*W和64*H/2*W/2的特征图，其并行部分PP_1为通道数分别为32和64的2个并行的瓶颈块，融合部分FP_1包括1个最大池化层、1个双线性插值上采样操作、2个通道维度上的连接操作和1个通道数为128的卷积池化层，且其输出为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图；并行-融合模块MP-FM2的输入为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图，其并行部分PP_2为通道数分别为32、64和128的3个并行的瓶颈块，融合部分FP_2包括3个最大池化层、3个双线性插值上采样操作、3个通道维度上的连接操作和1个通道数为256的卷积池化层，输出为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图；并行-融合模块MP-FM3的输入为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图，其并行部分PP_3为通道数分别为32、64、128和256的4个并行的瓶颈块，融合部分FP_3包括6个最大池化层、6个双线性插值上采样操作、4个通道维度上的连接操作和1个通道数为512的卷积池化层，输出为大小分别为480*H*W、480*H/2*W/2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图；并行-融合模块MP-FM4的输入为大小分别为480*H*W、480*H/2*W/2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图，其并行部分PP_4为通道数分别为32、64、128、256和512的5个并行的瓶颈块，融合部分FP_4包括4个双线性插值上采样操作和1个通道维度上的连接操作，输出为大小为992*H*W的特征图。

【专利技术属性】
技术研发人员：戈峰，肖侬，卢宇彤，陈志广，邓楚富，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44