多模态图像分割方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种多模态图像分割方法、装置、电子设备和存储介质，所述分割方法包括：获取多个模态下的待分割图像；对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准；以及采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。本发明专利技术通过采用深度融合全卷积神经网络模型对经过配准后的多个模态下的待分割图像进行有效融合来分割图像(例如脑肿瘤区域图像)，有效提高了图像分割的精度和准确性，避免了手动分割的差异性，同时也减少了人机交互的繁琐操作，有效提高了分割效率。

【技术实现步骤摘要】
多模态图像分割方法、装置、电子设备和存储介质
本专利技术涉及图像处理
，特别涉及一种多模态图像分割方法、装置、电子设备和存储介质。
技术介绍
脑肿瘤是由局部组织不可控的细胞增殖形成的一种异常组织，在临床上脑肿瘤是形式多样的，这限制了脑肿瘤的早期诊断和治疗。随着医学影像技术的发展，核磁共振成像(MRI)成为诊断脑肿瘤疾病的主要方法之一，因此对脑肿瘤MRI图像分割具有重要的意义，根据多模态图像分割的精确结果，医生可以获得肿瘤的形态、大小和位置等信息，用于辅助手术导航和放射靶区定位等，进一步帮助医生给患者制定个性化的治疗方案。脑肿瘤MRI图像自动分割具有一定的技术挑战，主要体现在以下方面：(1)脑肿瘤个体差异大，会出现在大脑的任何位置，其形状、结构和大小各不相同，(2)部分脑肿瘤，显弥漫和浸润性生长，(3)脑组织的结构复杂，正常的脑组织包括灰质、白质、脑室和脑脊液等，病变组织包括肿瘤和水肿区域，其中肿瘤又包括坏死区、增强区和非增强区。目前脑肿瘤的分割方法有：(1)、依靠经验丰富的医学专家进行手动分割；(2)、基于阈值的分割方法；(3)、基于区域的分割方法；(4)、基于深度学习的分割方法。然而现有的脑肿瘤的分割方法存在以下缺点：(1)、手动脑肿瘤的分割方法其结果不仅差异化大而且需要花费大量的时间和精力。(2)、基于阈值的分割方法无法充分利用图像的信息，因此导致分割精度不高。(3)、基于区域的分割方法受限于肿瘤的多样性很难设置普适性迭代条件，因此会导致分割精度不高。(4)、基于深度学习分割方法只能处理单模态MRI影像，无法融合多个模态影像信息进行有效分割。
技术实现思路
本专利技术的目的在于提供一种多模态图像分割方法、装置、电子设备和存储介质，可以将多个模态的影像进行有效融合来分割图像，减少了交互繁琐操作，有效提高分割效率。为达到上述目的，本专利技术提供一种多模态图像分割方法，包括：获取多个模态下的待分割图像；对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。可选的，所述采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割的步骤包括：对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割。可选的，所述第二预处理包括：采用三维高斯滤波器对经过第一预处理后的所述多个模态下的待分割图像分别进行滤波处理，以将各个模态下的待分割图像中的噪声去除。可选的，所述对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准的步骤包括：以所获取的多个模态下的待分割图像中的其中一个模态下的待分割图像为基准，通过互信息最大化对目标待分割图像进行刚性变化，以将所述多个模态下的待分割图像进行配准。可选的，所述深度融合全卷积神经网络模型通过以下步骤训练得到：获取原始训练样本，所述原始训练样本包括原始训练图像和与所述原始训练图像对应的标签图像；对所述原始训练样本进行扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的训练图像和与所述扩展后的训练图像对应的标签图像；设置深度融合全卷积网络模型的模型参数的初始值；以及根据所述扩展后的训练样本和所述模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练，直至满足预设训练结束条件。可选的，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练。可选的，所述预设训练结束条件为扩展后的训练样本中的训练图像的预测结果与对应的标签图像的误差值收敛到预设误差值。可选的，所述根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度融合全卷积网络模型进行训练的步骤包括：步骤A：将扩展后的训练图像作为深度融合全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的训练图像的预测结果；步骤B：根据所述预测结果和与所述扩展后的训练图像对应的标签图像，计算损失函数值；以及步骤C：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行所述步骤A。为达到上述目的，本专利技术还提供一种多模态图像分割装置，包括：获取模块，用于获取多个模态下的待分割图像；第一预处理模块，用于对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及分割模块，用于采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。可选的，所述分割模块包括：第二预处理子模块，用于对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及分割子模块，用于采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割。可选的，所述深度融合全卷积神经网络模型包括多个解码网络和一个编码网络；所述解码网络包括输入层、多个级联的第一神经网络组和第一卷积层，所述第一神经网络组包括级联的第二卷积层和最大池化层；所述编码网络包括多个级联的第二神经网络组、第三卷积层和输出层，所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；所述合并层用于将反卷积层的输出与多个解码网络中的相应的第二卷积层的输出图像进行线性相加合并。可选的，所述解码网络包括多个级联的第一残差连接，所述编码网络包括多个级联的第二残差连接。为达到上述目的，本专利技术还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的多模态图像分割方法。为达到上述目的，本专利技术还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的多模态图像分割方法。与现有技术相比，本专利技术提供的多模态图像分割方法、装置、电子设备和存储介质具有以下优点：本专利技术通过获取多个模态下的待分割图像，然后对所获取的多个模态下的待分割图像进行第一预处理，以将多个模态下的待分割图像进行配准，最后采用采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的多个模态下的待分割图像进行分割，以得到分割后的图像。由此，本专利技术通过采用深度融合本文档来自技高网...

【技术保护点】
1.一种多模态图像分割方法，其特征在于，包括：/n获取多个模态下的待分割图像；/n对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及/n采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。/n

【技术特征摘要】
1.一种多模态图像分割方法，其特征在于，包括：
获取多个模态下的待分割图像；
对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准；以及
采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割，以得到分割后的图像。


2.根据权利要求1所述的多模态图像分割方法，其特征在于，所述采用预先训练好的深度融合全卷积神经网络模型对经过第一预处理后的所述多个模态下的待分割图像进行分割的步骤包括：
对经过第一预处理后的所述多个模态下的待分割图像进行第二预处理，以将各个模态下的待分割图像中的噪声去除；以及
采用预先训练好的深度融合全卷积神经网络模型对经过第二预处理后的所述多个模态下的待分割图像进行分割。


3.根据权利要求2所述的多模态图像分割方法，其特征在于，所述第二预处理包括：
采用三维高斯滤波器对经过第一预处理后的所述多个模态下的待分割图像分别进行滤波处理，以将各个模态下的待分割图像中的噪声去除。


4.根据权利要求1所述的多模态图像分割方法，其特征在于，所述对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的待分割图像进行配准的步骤包括：
以所获取的多个模态下的待分割图像中的其中一个模态下的待分割图像为基准，通过互信息最大化对目标待分割图像进行刚性变化，以将所述多个模态下的待分割图像进行配准。


5.一种多模态图像分割装置，其特征在于，包括：
获取模块，用于获取多个模态下的待分割图像；
第一预处理模块，用于对所获取的多个模态下的待分割图像进行第一预处理，以将所述多个模态下的...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海微创医疗器械集团有限公司，
类型：发明
国别省市：上海;31