多模态脑肿瘤图像分割系统及方法技术方案

本发明专利技术公开了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法，包括以下步骤：数据获取模块，用于获取待分割多模态脑部肿瘤图像；图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。本发明专利技术可用于训练的标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。图像的问题。图像的问题。

【技术实现步骤摘要】
多模态脑肿瘤图像分割系统及方法


[0001]本专利技术属于医学图像处理
，尤其涉及一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]脑部胶质瘤是最常见的原发性中枢神经系统恶性肿瘤，包含多个亚区，并且肿瘤区域的形状和位置差异很大。脑肿瘤磁共振成像(Magnetic Resonance Imaging，MRI)中脑肿瘤目标结构复杂、形状多变、图像灰度不均匀以及在不同的患者身上表现出相当大的差异性，并且，图像采集方法在其设置和几何形状以及硬件差异方面可能产生肿瘤外观变化，这些均带来了图像分割的难度。
[0004]尽管可以采用卷积神经网络(Convolutional neural network，CNN)执行图像分割，具体而言，基于特征对图像体素进行分类，获得堆叠特征并产生分割结果。然而，由于图像中的每个像素几乎是相互独立预测的，加之脑肿瘤的出现不可预测，且MRI的强度并不均匀，因此，基于CNN方法的分割结果总是边界粗糙，对肿瘤子区域的细节表现不佳。此外，CNN的训练过程需要大量的手工标注数据，但是，MRI脑肿瘤图像靶区勾画耗时耗力，常常受到主观差异的影响，而缺少大量手工标注数据的情况下难以实现快速准确的分割结果。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法，利用多模态脑肿瘤图像分割模型对采集的图像样本进行特征提取和训练，并利用训练好的模型实现快速准确的多模态脑肿瘤图像分割。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，包括以下步骤：
[0008]数据获取模块，用于获取待分割多模态脑部肿瘤图像；
[0009]图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
[0010]其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
[0011]进一步地，所述脑部肿瘤图像分割模型的训练方法包括：
[0012]获取多模态脑部肿瘤样本作为训练集，所述训练集中的样本均进行了手工标注；
[0013]将训练集作为输入，基于深度卷积生成式对抗网络进行训练得到脑部肿瘤图像分割模型。
[0014]进一步地，获取多模态脑部肿瘤样本后，还进行预处理：
[0015]对所述多模态脑部肿瘤样本进行标准化处理标准化；
[0016]将样本图像进行裁剪，调整所需分割区域大小；
[0017]对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
[0018]进一步地，所述生成器的训练方法包括：
[0019]将训练集作为输入，基于全卷积网络进行训练，得到初始模型参数；
[0020]基于初始模型参数，基于添加附加层的全卷积神经网络重新进行训练，得到生成器。
[0021]进一步地，所述鉴别器包括多层卷积神经网络。
[0022]进一步地，所述深度卷积生成式对抗网络的架构为：
[0023]首先基于生成器和鉴别器组成基本的生成对抗网络，然后在所有卷积网络中使用卷积和去卷积代替池化层，并且，在生成器和鉴别器中均添加批量归一化操作；卷积后使用全局池化层替代全连接层。
[0024]进一步地，所述全卷积神经网络为U
‑
net网络。
[0025]一个或多个实施例提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，包括以下步骤：
[0026]获取待分割脑部肿瘤图像；
[0027]采用脑部肿瘤图像分割模型进行图像分割；
[0028]其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
[0029]一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态脑肿瘤图像分割方法。
[0030]一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的多模态脑肿瘤图像分割方法。
[0031]以上一个或多个技术方案存在以下有益效果：
[0032]通过采用深度卷积的生成对抗网络作为网络的主体结构，由于深度卷积生成对抗网络具有良好的生成能力，可以使用有限数量的训练数据生成大量高质量的分割结果，有效解决传统分割网络在脑肿瘤标注数据非常少的情况下难以进行准确分割的问题。并且，采用对抗学习的方法对模型进行训练，在生成新的数据样本的同时估计数据样本的潜在分布，有效解决不同脑肿瘤图像存在较大差异性的问题。
[0033]在生成分割结果的生成器网络中，采用U
‑
net网络和条件随机场进行组合，利用经典的U
‑
net网络实现特征提取，并将提取的图像像素特征提供给条件随机场进行上下文建模和局部精确定位，增强脑肿瘤图像分割结果输出标签的空间连续性，有效解决因脑肿瘤形状复杂多变产生的分割结果边界粗糙的问题。
附图说明
[0034]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示
意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0035]图1为本专利技术实施例中基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法流程图；
[0036]图2为本专利技术实施例中基于深度卷积生成对抗网络的分割模型训练方法流程图；
[0037]图3为本专利技术实施例中生成器训练方法流程图。
具体实施方式
[0038]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0039]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0040]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0041]生成对抗算法可以很好的解决标注图像非常少的情况下分割多模态脑部肿瘤图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，其特征在于，包括以下步骤：数据获取模块，用于获取待分割多模态脑部肿瘤图像；图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。2.如权利要求1所述的多模态脑肿瘤图像分割系统，其特征在于，所述脑部肿瘤图像分割模型的训练方法包括：获取多模态脑部肿瘤样本作为训练集，所述训练集中的样本均进行了手工标注；将训练集作为输入，基于深度卷积生成式对抗网络进行训练得到脑部肿瘤图像分割模型。3.如权利要求2所述的多模态脑肿瘤图像分割系统，其特征在于，获取多模态脑部肿瘤样本后，还进行预处理：对所述多模态脑部肿瘤样本进行标准化处理标准化；将样本图像进行裁剪，调整所需分割区域大小；对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。4.如权利要求2所述的多模态脑肿瘤图像分割系统，其特征在于，所述生成器的训练方法包括：将训练集作为输入，基于全卷积网络进行训练，得到初始模型参数；基于初始模型参数，基于添加附加层的全卷积神经网络重新进行训练，得到生成器。5.如权利要求2所述的多...

【专利技术属性】
技术研发人员：李登旺，寻思怡，姜泽坤，黄浦，张焱，赵睿，王建波，朱慧，李婕，吴冰，柴象飞，章桦，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：