一种多模态医学图像分割方法技术

本发明专利技术公开了一种多模态医学图像分割方法，属于医学图像分割技术领域，包括以下步骤：S1：图像预处理；S2：构建2D、3D分割网络；S3：图像融合；S4：切片拼接。本发明专利技术通过使用多模态信息，使得医学图像可以得到更充分的利用；通过2D、3D分割网络结合通道注意力机制，使得各个模态的信息实现互通互补；基于2D、3D分割结果进行融合，使得分割结果精度更高，分割结果边缘更清晰；提供了不同维度、不同模型的分割结果，为医疗诊断提供更为精准多维的图像依据。为医疗诊断提供更为精准多维的图像依据。为医疗诊断提供更为精准多维的图像依据。

【技术实现步骤摘要】
一种多模态医学图像分割方法


[0001]本专利技术涉及医学图像分割
，具体涉及一种多模态医学图像分割方法。

技术介绍

[0002]伴随着医学、计算机技术和生物医学工程的发展，医学影像学作为视觉处理中的一个重要的研究对象，为临床提供了大量的多模态医学图像，如何利用这些多模态医学图像进行医学图像分割对患者的治疗具有重要意义。
[0003]目前大多数的医学图像分割模型目的在于获取到医学图像中所包含的脑、肺、肝脏、心血等生物组织信息。传统的医学图像自动分割方法主要是基于图论、形态学和形变模型等分割方法。形变模型包括参数活动轮廓模型和几何形变模型等，几何模型的代表方法是水平集方法。常用的图像分割算法几乎都是基于确定性方法的，但是在图像信息处理过程中存在着不确定性，所以一定程度上也对分割精度以及模型的泛化性有一定的影响。
[0004]近年来，深度学习方法得到了迅速发展，基于深度学习的图像分割算法在脑部、肝脏、肾脏等医学图像分割领域取得了显著的效果。卷积神经网络作为目前常用的深度学习方法已被广泛应用于各种器官或组织的图像分割中，这类方法主要分为图像块、语义和级联的架构。一些学者提出了全卷积网络结构，该网络可以对图像进行像素级的分类，从而可以进行语义级的图像分割。2015年,一些学者提出了U
‑
Net网络结构，该网络是基于全卷积网络结构的一种语义分割网络。2019年，一些学者出了一种基于U
‑
Net的多序列MRI自动心脏分割框架来解决心脏分割问题。2020年，一些学者提出了一种基于多感受野卷积神经网络的医学图像分割方法。此外，循环神经网络在构建的结构中包含至少一个反馈连接，长短期记忆网络LSTM，作为RNN的一种特殊类型，解决了其梯度消失的问题，还有一些学者使用3D LST M
‑
RNN对MRI图像进行分割，大大提高了网络训练效率。
[0005]上述分割方法存在分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题。因此，一个高分割精度且可对分割目标进行多维可视化的方法是亟待解决的问题。为此，提出一种多模态医学图像分割方法。

技术实现思路

[0006]本专利技术所要解决的技术问题在于：如何解决现有分割方法存在的分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题，提供了一种多模态医学图像分割方法，使用多模态医学图像作为输入，在考虑到所分割目标边界和精度的前提下，通过二维和三维的分割方法提取多模态医学图像特征信息，之后使用特征融合方法，将不同维度的特征进行特征融合，使得最终的分割结果既有获得上下文信息的同时，又可以对分割目标进行多维展示，为医疗诊断提供更为精准且多维的图像依据。
[0007]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
[0008]S1：图像预处理
[0009]读取原始图像，对原始图像进行预处理；
[0010]S2：构建2D、3D分割网络
[0011]构建2D、3D分割网络，利用构建的2D、3D分割网络对预处理后的图像进行分割，得到2D、3D分割结果；
[0012]S3：图像融合
[0013]对3D分割结果进行切片处理，进行图像融合；
[0014]S4：切片拼接
[0015]对融合结果进行切片拼接，得到最终分割结果。
[0016]更进一步地，在所述步骤S1中，包括以下过程：
[0017]S11：读取到原始图像后，将图像通过Z
‑
Score的方法进行正则化得到图像M1：
[0018]M1＝Z_score(M)
[0019]其中，M为输入图像，Z_score为标准分数法；
[0020]S12：通过以下操作得到进行中心化的图像M2：
[0021][0022]其中，M
1_depth
、M
1_width
、M
1_height
分别为图像M1的深度、宽度、高度；
[0023]S13：对于2D分割网络根据标签位置对图像M2进行切片处理，对于3D分割网络根据深度对图像M2进行切块处理，得到M
2D
和M
3D
：
[0024]M
2D
＝section
depth
(M2)
[0025]M
3D
＝Chopping
size
(M2)
[0026]其中，section
depth
表示使用深度数进行切片处理，Chopping
size
表示根据size的尺寸进行切块处理；
[0027]S14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：
[0028]Numpy
2D
＝(Width,Height,Modality)
[0029]Numpy
3D
＝(Width,Height,Size,Modality)
[0030]其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。
[0031]更进一步地，在所述步骤S2中，2D分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过CE通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。
[0032]更进一步地，第一卷积块与第二卷积块相同，每个卷积块包括两个2D卷积层，每一个2D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：
[0033][0034]其中，x
2Dinput
，为通过2D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization
2D
为批次归一化操作，Conv2D表示2D卷积操作，kernel为卷积核大小，padding为卷积填充长度。
[0035]更进一步地，在所述步骤S2中，3D分割网络包括第二编码器、第二解码器；所述第
二编码器包括第三卷积块和第二下采样层，张量通过第三卷积块后进行下采样获得不同尺寸的特征图；所述第二解码器包括第四卷积块和第二反卷积层，通过第二反卷积层进行尺寸还原再进入第四卷积块，在第二编码器和第二解码器中间通过CBAM空间注意力机制获取不同特征图更多的空间信息，并在对应层之间通过跳跃连接获取不同层次的特征。
[0036]更进一步地，第三卷积块和第四卷积块相同，每个卷积块包括两个3D卷积层，每一个3D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态医学图像分割方法，其特征在于，包括以下步骤：S1：图像预处理读取原始图像，对原始图像进行预处理；S2：构建2D、3D分割网络构建2D、3D分割网络，利用构建的2D、3D分割网络对预处理后的图像进行分割，得到2D、3D分割结果；S3：图像融合对3D分割结果进行切片处理，进行图像融合；S4：切片拼接对融合结果进行切片拼接，得到最终分割结果。2.根据权利要求1所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S1中，包括以下过程：S11：读取到原始图像后，将图像通过Z
‑
Score的方法进行正则化得到图像M1：M1＝Z_score(M)其中，M为输入图像，Z_score为标准分数法；S12：通过以下操作得到进行中心化的图像M2：其中，M
1_depth
、M
1_width
、M
1_height
分别为图像M1的深度、宽度、高度；S13：对于2D分割网络根据标签位置对图像M2进行切片处理，对于3D分割网络根据深度对图像M2进行切块处理，得到M
2D
和M
3D
：M
2D
＝section
depth
(M2)M
3D
＝Chopping
size
(M2)其中，section
depth
表示使用深度数进行切片处理，Chopping
size
表示根据size的尺寸进行切块处理；S14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：Numpy
2D
＝(Width,Height,Modality)Numpy
3D
＝(Width,Height,Size,Modality)其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。3.根据权利要求2所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S2中，2D分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过CE通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。4.根据权利...

【专利技术属性】
技术研发人员：李想，方贤进，杨高明，赵婉婉，张海永，程颖，华楷文，薛明均，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：