一种基于生成对抗网络的半监督医学图像分割方法技术

本发明专利技术提供了一种基于生成对抗网络的半监督医学图像分割方法，包括：(1)构建分割生成网络以及判别网络；(2)加入基于交叉熵的自学习约束；(3)加入数据分布符合约束；(4)分割出原像素大小的图像。本发明专利技术通过建立基于深度学习网络的生成对学习体系，用自学习的方式进行半监督的分割任务；生成器将没有标注的数据生成概率特征图，该特征图将由判别器生成的指示器定判定其可靠性；基于交叉熵的自学习约束以及数据分布符合约束将分别提升对于没有标注数据的利用率以及真实标注与生成标注的数据分布一致性。本发明专利技术方法能一定程度上解决传统全监督方法对于标注量的依赖性，从而更好的在少量标注的情况下辅助智能医疗分析与诊断。

【技术实现步骤摘要】
一种基于生成对抗网络的半监督医学图像分割方法
本专利技术属于生物医学图像分割
，具体涉及一种基于生成对抗网络的半监督医学图像分割方法。
技术介绍
医学图像分割是将像素目标区域与背景信息隔离开来的任务，它在医学图像分析领域中发挥着至关重要的作用。为了更好的解决分割任务，大量的方法不断的被提出，尽管模型体系结构各不相同，但是所有这些方法都遵循一条通用流程，即在完全监督的方式下收集数据，注释目标区域以及优化模型参数。这个流程中训练图像数量和图像标注的质量严重影响了最终性能的提高，因此训练图像的数量和图像注释的质量是影响最终性能的核心因素，训练数据标注越多，性能越好。但是对于医学图像而言，收集和注释语义分割数据集非常昂贵；首先，由于医学资源的限制和伦理问题，难以获得大量的训练图像；此外，由于注释者必须具有专业知识，因此使标注过程更加困难。在这种情况下，人们提出了一个自然的问题：如何在没有足够注释的情况下增强算法？半监督学习方法为我们提供了解决此问题的关键。半监督学习意味着我们只有很少的带注释的训练数据，但是我们可以使用大量未标记的数据作为辅助来提高性能，这些方法的主要方法可归纳为三类：基于图的方法、协同训练方法和自学习方法。其中使用图形作为数据相关的先验是比较传统的方法，该方法设计了一个非参数贝叶斯高斯随机场来分割图像，可以更好地估计基于图的方法的数据分布。该方法通常将样本及其相似性分别视为节点和边，与样本的百分比及其相似度分别视为图的节点和边缘，连接的节点可能具有相同的标签；但是，多次循环匹配执行操作来匹配所有图结点的标签会导致操作的繁琐性。随着深度学习的流行，协同训练、自训练的方法逐渐变成了半监督学习的主流方式，协同训练一般是利用不同数据域的数据来协助彼此的训练，不同的视图或者图像特征的补充结构都可以作为协助的内容，但是这种方法仍不能克服数据量限制的问题，大量的不同数据域仍是模型训练的关键。与需要大量不同数据域来辅助的协同学习不同，自学习只需要本身数据域的数据从而大大减轻了数据量的需求。分类器首先使用有标签的数据进行常规的监督学习，然后剩余的没有标签的数据可以通过传统算法，师生互学习网络，重建辅助或者对抗生成学习来帮助训练。其中目前比较前沿的方法是使用基于注意力结构生成网络，没有标签的数据会输入置信度网络来获得特征图，一张特征图上符合条件的部分会被抽取来进行自学习过程；但是由于该方法只选用了一部分的特征图，全局信息没有被考虑其中，从而网络的学习很可能会被误导。如何使用少量的标签而且能够吸收足够的全局信息是目前的一大难题。
技术实现思路
鉴于上述，本专利技术提供了一种基于生成对抗网络的半监督医学图像分割方法，通过生成器来对没有标签的数据生成相应的标签，同时通过判别器来对其进行置信度认定，同时使用特征相符约束减小生成数据以及真实数据之间数据分布的不一致性。一种基于生成对抗网络的半监督医学图像分割方法，包括如下步骤：(1)将未标注以及有标注的医学图像进行分类，并将这些图像归一化成相同的尺寸大小；(2)将有标注的医学图像输入至基于深度学习神经网络的生成器中提取特征信息，输出对应的特征概率图；(3)采用交叉熵函数用以约束训练生成器的神经网络，不断迭代直至收敛；(4)将未标注的医学图像输入至生成器中，生成对应的特征概率图，将该特征概率图经过argmax函数后与原医学图像进行融合并输入至判别器中，判别器会输出一个指示器用于判定以及一个特征向量；(5)若指示器的值大于设定的阈值，则将步骤(4)中生成的特征概率图作为未标注医学图像的伪标签，进而对生成器的神经网络进行自学习监督训练；(6)将有标注的医学图像xa和未标注的医学图像xu分别输入生成器，对应生成特征概率图Pa和Pu，将Pa与xa进行融合(concatenation拼接操作)形成fa，将Pu与xu进行融合形成fu；(7)将fa和fu分别输入判别器，判别器将对应输出两个指示器Ia与Iu以及两个特征向量Fa与Fu，将这两个特征向量使用L1范数进行约束，将Ia与1进行二元交叉熵约束，Iu与0进行二元交叉熵约束，完成判别器的训练并最终用以图像分割。进一步地，所述生成器采用以Resnet-101为基础的Deeplab生成器。进一步地，所述特征概率图的定义表达如下：其中：P(i,j,n)为对于第n类图像对应特征概率图中第i行第j列元素的特征概率值，f(i,j,n)为第n类图像中第i行第j列元素的特征信息，N为医学图像的总类别数量。进一步地，所述交叉熵函数的表达式如下：其中：P(i,j,n)为对于第n类图像特征概率图中第i行第j列元素的特征概率值，Lce为交叉熵函数，W和H分别为图像的宽和高，ya(i,j,n)为第n类图像中第i行第j列元素对应的标注信息。进一步地，所述判别器采用四层的神经网络结构。进一步地，所述步骤(3)和(5)中根据交叉熵函数采用随机梯度下降法对生成器的神经网络进行训练。进一步地，所述步骤(7)中根据二元交叉熵采用Adam梯度下降算法对判别器的神经网络进行训练。本专利技术将深度学习分割网络与生成对抗网络结合在一起，深度学习分割网络使用标记图像执行常规分割任务，同时分割网络也可以作为判别器的生成器来生成伪标签，为判别器提供输入。整个训练过程是一个端到端的闭环，没有标注的数据在生成器以及判别器中以自学习的方式不断进行迭代，从而同时优化两部分结构。在这种自学习的循环操作之下网络将能生成高质量的伪标签来监督学习从而让网络最终的测试结果能达到与全监督类似的效果，从而有效的结局训练标注数据不足的问题。附图说明图1为本专利技术半监督模型的结构示意图。图2为本专利技术图像分割方法的步骤流程示意图。图3(a)为训练集图像可视化结果(轴向切片)。图3(b)为训练集的逐像素标注可视化结果(轴向切片)。图3(c)为使用半监督训练使用一半训练标注的生成结果(轴向切片)。图3(d)为使用全监督训练使用一半训练标注的生成结果(轴向切片)。图4(a)为测试集图像可视化结果(轴向切片)。图4(b)为测试集的逐像素标注可视化结果(轴向切片)。图4(c)为使用半监督模型的生成结果(轴向切片)。图4(d)为使用全监督模型的生成结果(轴向切片)。图5(a)为使用一半训练数据生成的半监督、全监督以及本身标注的边缘轮廓图像(轴向切片)。图5(b)为使用四分之一训练数据生成的半监督、全监督以及本身标注的边缘轮廓图像(轴向切片)。图5(c)为使用八分之一训练数据生成的半监督、全监督以及本身标注的边缘轮廓图像(轴向切片)。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案进行详细说明。本专利技术半监督模型如图1所示，有标签的图像xa将输入以Resnet101为基础的Deeplab生成器中本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的半监督医学图像分割方法，包括如下步骤：/n(1)将未标注以及有标注的医学图像进行分类，并将这些图像归一化成相同的尺寸大小；/n(2)将有标注的医学图像输入至基于深度学习神经网络的生成器中提取特征信息，输出对应的特征概率图；/n(3)采用交叉熵函数用以约束训练生成器的神经网络，不断迭代直至收敛；/n(4)将未标注的医学图像输入至生成器中，生成对应的特征概率图，将该特征概率图经过argmax函数后与原医学图像进行融合并输入至判别器中，判别器会输出一个指示器用于判定以及一个特征向量；/n(5)若指示器的值大于设定的阈值，则将步骤(4)中生成的特征概率图作为未标注医学图像的伪标签，进而对生成器的神经网络进行自学习监督训练；/n(6)将有标注的医学图像x

【技术特征摘要】
1.一种基于生成对抗网络的半监督医学图像分割方法，包括如下步骤：
(1)将未标注以及有标注的医学图像进行分类，并将这些图像归一化成相同的尺寸大小；
(2)将有标注的医学图像输入至基于深度学习神经网络的生成器中提取特征信息，输出对应的特征概率图；
(3)采用交叉熵函数用以约束训练生成器的神经网络，不断迭代直至收敛；
(4)将未标注的医学图像输入至生成器中，生成对应的特征概率图，将该特征概率图经过argmax函数后与原医学图像进行融合并输入至判别器中，判别器会输出一个指示器用于判定以及一个特征向量；
(5)若指示器的值大于设定的阈值，则将步骤(4)中生成的特征概率图作为未标注医学图像的伪标签，进而对生成器的神经网络进行自学习监督训练；
(6)将有标注的医学图像xa和未标注的医学图像xu分别输入生成器，对应生成特征概率图Pa和Pu，将Pa与xa进行融合形成fa，将Pu与xu进行融合形成fu；
(7)将fa和fu分别输入判别器，判别器将对应输出两个指示器Ia与Iu以及两个特征向量Fa与Fu，将这两个特征向量使用L1范数进行约束，将Ia与1进行二元交叉熵约束，Iu与0进行二元交叉熵约束，完成判别器的训练并最终用以图像分割。


2.根据权利要求1所述的半监督医学图像分割方法，其特征在于：所述生成器采用以Resnet-101为基础的Deeplab生成器。


3.根据权利要求1所述的半监督医学图像分割方法，其特征在于：所述特征概率图的定义表达如下：



其中：P(i,j,n)为对于第n类图像对应特征概率图...

【专利技术属性】
技术研发人员：刘华锋，李楚晨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33