基于深度学习的图像分割方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于深度学习的图像分割方法、装置、终端设备和存储介质。基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U‑Net框架的中心层添加与所述U‑Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U‑Net框架的编码器分支进行正则约束；将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。通过对U‑Net网络中的编码器权重进行额外的约束，可以提取到图像数据中更加鲁棒的特征。

【技术实现步骤摘要】
基于深度学习的图像分割方法、装置、设备和存储介质
本专利技术实施例涉及图像处理
，尤其涉及基于深度学习的图像分割方法、装置、终端设备和存储介质。
技术介绍
近年来，通过无创的成像技术能够便捷获取脑部影像数据，并经影像学分析，可对大脑的解剖结构和内部病变进行定量分析，并作为疾病诊断和治疗的有效依据。核磁共振成像(MagneticResonanceImaging，MRI)技术是进行脑部影像分析的有效技术手段。脑部核磁共振图像各解剖结构(例如：灰质、白质、脑脊液等)的自动分割是脑部各组织区域进行定量分析的基础，同时也是病灶分析、三维可视化、手术导航的关键基础步骤。因此，研究精确、快速、高效的脑结构自动分割方法意义重大。脑部的核磁共振图像能够显示大脑内部复杂的解剖结构。由于图像存在一定的边界模糊、低对比度、低空间分辨率、部分容积效应，以及各组织结构形态差异巨大等问题，使得脑MRI图像的结构分割难度大幅增加。传统的脑结构分割方法主要以手动分割和半自动分割方法为主。手动分割方法费时耗力、过程枯燥、成本昂贵，分割结果严重受到个人经验的影响，且分割结果很难复现。半自动分割方法主要包括：基于灰度的方法(阈值方法、区域生长、模糊聚类等)、基于概率图谱的方法、基于主动轮廓的方法(测地线方法和水平集方法等)，这些方法仍然依赖操作者的先验交互操作，分割精度和效率均难达到实际应用水平。目前，在医学图像分割领域，基于深度学习的图像分割方法发展迅速。与传统方法相比，基于深度学习的图像分割方法在分割精度和全自动分割方面极具优势。但是专利技术人在基于深度学习的图像分割方法进行脑部核磁共振图像的分割时发现，现有基于深度学习的图像分割方法因为神经网络结构的设计原因，在发生输入信息的有限摄动时，输出结果的准确性会降低，整个分割系统的鲁棒性较差。并且，该现象较为普遍，除脑部MRI图像分割外，在其他脏器和模态的数据分割中，同样存在鲁棒性不足问题。
技术实现思路
本专利技术提供了一种基于深度学习的图像分割方法、装置、终端设备和存储介质，以解决现有技术在进行图像中区域划分明显的数据分割时鲁棒性不足的技术问题。第一方面，本专利技术实施例提供了一种基于深度学习的图像分割方法，包括：基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束；将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。第二方面，本专利技术实施例还提供了一种基于深度学习的图像分割装置，包括：训练集生成单元，用于基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；模型训练单元，用于生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束；分割标记单元，用于将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。第三方面，本专利技术实施例还提供了一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于深度学习的图像分割方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于深度学习的图像分割方法。上述基于深度学习的图像分割方法、装置、终端设备和存储介质，基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束；将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。通过在U-Net框架的中心层添加与解码器分支并行的正则约束分支，正则约束分支与U-Net框架的编码器结合为变分自编码器，整体模型中变分自编码器与U-Net框架共享编码器的权重，在变分自编码器的损失函数的作用下，能够对U-Net网络中的编码器权重进行额外的约束，从而使得整体模型可以提取到图像数据中更加鲁棒的特征。附图说明图1为本专利技术实施例一提供的一种基于深度学习的图像分割方法的流程图；图2为脑部MRI图像数据的示意图；图3为脑部MRI图像数据的人工分割标记的示意图；图4为本方案图像分割模型的结构示意图；图5为本方案中心设置的多尺度结构的示意图；图6为基于本方案对MRBrainS18数据集中的脑部MRI图像数据进行分割的结果；图7为基于本方案对IBSR中的脑部MRI图像数据进行分割的结果；图8为本专利技术实施例二提供的一种基于深度学习的图像分割装置的结构示意图；图9为本专利技术实施例三提供的一种终端设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。例如，在实施例一的一个实施方式中，记载了一个技术特征：对脏器图像数据进行预处理主要是进行灰度密度和/或灰度范围相关的预处理，以获得灰度密度和/或灰度范围一致的脏器图像数据，在实施例一的另一个实施方式中，记载了另一个技术特征：针对脑部MRI图像数据的内容特征，所述编码器的下采样的次数为3次。由于以上两个技术特征不互相矛盾，本领域技术人员在阅读本申请说明书后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式，即对脏器图像进行灰度密度和灰度范围相关的预处理之后，在训练过程中进行3次下采样。另外需要注意的是，本方案的实施形态也不是实施例一中记载的所有技术特征的集合，其中某些技术特征的描述是为了方案的优化实现，实施例一中记载的若干技术特征的本文档来自技高网...

【技术保护点】
1.基于深度学习的图像分割方法，其特征在于，包括：/n基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；/n生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束；/n将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。/n

【技术特征摘要】
1.基于深度学习的图像分割方法，其特征在于，包括：
基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集，所述脏器图像数据通过对脏器扫描得到；
生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到，所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束；
将待分割的脏器图像数据输入到所述图像分割模型，以对所述待分割的脏器图像数据进行分割标记。


2.根据权利要求1所述的方法，其特征在于，所述生成初始图像分割模型，将所述训练集输入所述初始图像分割模型进行模型训练，以获得用于图像结构分割的图像分割模型，包括：
生成初始图像分割模型；
将所述训练集输入所述初始图像分割模型进行模型训练，得到过渡图像分割模型；
将未分割标记的脏器图像数据输入所述过渡图像分割模型进行分割标记，对分割标记结果进行修正确定；
将修正后的分割标记结果添加更新到所述训练集；
根据添加更新后的训练集对所述过渡图像分割模型进行训练更新；
当所述分割标记结果确定准确，将当前过渡图像分割模型作为图像分割模型。


3.根据权利要求1所述的方法，其特征在于，所述正则约束分支的损失函数通过后验概率分布qφ(z|x)与似然函数pθ(z|x)之间的KL散度进行计算，其中x为输入图像，z为所述正则约束分支和所述编码器分支组成的变分自编码器中的隐变量，z服从标准正态分布，φ,θ分别对应编码器分支和解码器分支中网络待学习的参数。


4.根据权利要求3所述的方法，其特征在于，所述损失函数LVAE(θ,φ)通过以下公式计算：



其中，表示重建均方误差，DKL(qφ(z|x)||pθ(z))表示先验分布pθ(z)与...

【专利技术属性】
技术研发人员：曹桂平，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44