一种基于生成对抗网络的图像分割方法、系统和装置制造方法及图纸

本发明专利技术公开一种基于生成对抗网络的图像分割方法、系统和装置，语义分割模型由一个分割网络S和生成对抗模型组成；分割网络S为输入数据x预测每一个像素点的标签概率图S(x)；生成器G根据噪声z生成出标签概率图G(z)；判别器D通过预测一个像素级别的置信图p，将虚假的标签概率图与真实标签概率图y分离。算法通过生成器和判别器之间的博弈来合成具有标注的三维医学图像数据，可解决有标注的医学图像数据匮乏的问题。生成的数据不涉及用户隐私，有利于医疗数据的共享。将SEG

【技术实现步骤摘要】
一种基于生成对抗网络的图像分割方法、系统和装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于生成对抗网络的图像分割方法、系统和装置。

技术介绍

[0002]有标签的医学图像数据严重匮乏。由于医学图像的标注需要相当水准的医学素养，因此标注一个完整的医学图像分割的数据集需要耗费大量的时间和费用。
[0003]GANs越来越多地受到计算机视觉和医学界的关注，并已应用于许多领域。通过极小极大的双人博弈游戏，GANs中的生成器将在判别器的挑剔下模仿到真实的数据分布，并实现诸如图像翻译、图像合成、数据增强、图像补全等应用。尽管GANs已经在很多问题上取得了成功，但它在训练过程中的不稳定性是它最致命的缺点，这种不稳定性在合成高分辨率图像或三维体素时会暴露地更加明显。
[0004]在分割任务的数据增强问题上，有大部分工作因为受到硬件设备以及训练过程的成本的限制，将合成三维体素(例如MR图像)任务看作为合成一个由z轴上二维切片组成的序列。然而，这一做法会导致合成出的三维体素数据在z轴上不连续，对使用这些数据训练的三维分割网络造成损害。无论是相关性增强还是非相关性增强，它们都是用户主观施加的，需要用户预先定义好对原始数据的变换规则。最简单且客观的数据增强方法是从真实的数据分布上获取到更多的数据。然而这是不可能实现的，因为使用医疗设备采集数据是成本高昂的。以核磁共振技术为例，一台GE 1.5T Excite HDXT价格在150,000到250,000美元之间，扫描一次的成本至少为500元人民币。尽管医院等机构在临床诊疗过程中积累了大量数据，但出于对病人隐私的保护，这些数据没有办法被利用起来。
[0005]综上所述，针对现有技术存在的缺陷，特别需要种基于生成对抗网络SEG-GAN的医学图像分割方法和装置，以解决现有技术的不足。

技术实现思路

[0006]本专利技术是针对脑肿瘤医学图像数据标注工作繁重且代价高昂的问题，并且目前存在的有监督方法进行医学图像分割的方法存在分割准确率低的问题，提出一种基于生成对抗网络的图像分割方法、系统和装置。
[0007]为了解决现有技术存在的技术问题，本专利技术的技术方案：
[0008]一种基于生成对抗网络的图像分割方法，包括以下步骤：S1,SEG-GAN利用之前用有标签数据预训练过的判别器网络预测出置信图作为监督信号，并通过自学的方式来指导交叉熵损失。置信图指示预测分布的哪些区域接近真实标签图分布，使得这些预测可以由分割网络通过屏蔽其他不可信区域的交叉熵损失来进行有监督信号的训练。
[0009]S2，与在监督设置中一样，在未标记数据上应用对抗性损失，这鼓励模型对未标记数据的预测结果与真实标签图分布相接近。
[0010]S3，分割网络S为3D-MedGAN的生成器结构。给定一个维度H
×
W
×
D
×
1的输入MR图
像x，分割网络输出大小为H
×
W
×
D
×
C的语义标签概率图S(x)，其中C是语义类别的数量。
[0011]S4，生成器网络G负责根据一个固定维度的随机向量z生成出一个与输入图像相同大小H
×
W
×
D
×
C的语义标签概率图G(z)。
[0012]S5，判别器网络D的性能依赖于分割网络和生成器网络，它以分割网络预测的概率图S(x)，生成器网络生成出的概率图G(z)以及真实标签图y的one-hot图作为输入，然后输出大小为H
×
W
×
D的置信图p；置信图p上的每一个像素点表示输入图像x在与之对应的位置上的标签是从真实标签图y(p＝1)或虚假标签图(p＝0)，包括S(x)和G(z)的采样。
[0013]优选的，所述方法使用了一个生成对抗模型，这个生成对抗模型有两个“生成器”和一个判别器。两个“生成器”分别是一个对输入的MR预测出标签概率图的分割网络S和一个将随机噪声转换成标签概率图的生成器G。通过将分割网络S和生成器G预测的标签概率图作为假样本，将标记数据的标注作为真样本，来训练判别器，使其具备将真实标注与虚假标注分离的能力。当判别器具备该能力时，就可以根据它的预测来得到指示矩阵。指示矩阵可用于保留下分割网络S对无标注样本的相对可靠的预测作为监督信号进行自训练。判别器的性能越好保留下来的监督信号就越有用，最终训练出的模型对脑肿瘤的分割效果也就越好。
[0014]优选的，分割网络S根据的输入数据x包含了标记数据x
l
和未标记数据x
u
，每个标记数据x
l
都有对应的标签图y
l
，在这里H
×
W
×
D大小的标签图y
l
将会进行one-hot编码变为具C个通道离散标签概率图y
l
，每个位置上的标签都会把概率图y
l
上代表其类别的通道设置为1，剩余其他通道上同样位置全部设置为0；在训练过程中，当使用标记数据x
l
时，分割网络S由将由预测出的标签概率图S(x
l
)与真实标签图y
l
的标准交叉熵损失以及判别器网络D鉴别y
pred
的对抗性损失进行引导，更新网络中的各个参数；对于未标记的数据使用自监督学习方法训练分割网络,在由分割网络S预测出未标记图像x
u
的初始分割标签概率图S(x
u
)之后，通过判别器网络D预测出标签概率图S(x
u
)每一个位置上的置信度，得到置信度图p，通过置信度图指示预测的分割区域的质量，使得分割网络S在训练期间的结果可以被信任；然后通过在置信度图p上取阈值保留下置信度高的区域，并取预测标签概率图S(x
u
)在这些区域上所有通道里概率最大通道作为该区域的标签，得到伪标签图，同样将伪标签图进行one-hot编码得到y
u
；然后以置信度高的区域上分割网络S预测标签概率图S(x
u
)和y
u
之间的交叉熵损失与判别器网络D的对抗性损失来训练分割网络；生成器网络根据随机噪声z生成出虚假的标签概率图G(z)，通过取相同位置上值最大的通道作为标签得到y
g
，同时利用判别器计算出生成器损失判别器网络D将从鉴别真实数据标记好的标签概率图y
l
及分割网络预测出的假标签概率图y
pred
得到引导,y
u
和鉴别真实标签概率图y
l
以及生成器网络生成出的假标签概率图y
g
将产生最小化的判别器损失由于训练过程是轮流优化分割网络S和判别器网络D，因此对抗性损失和判别器损失不会同时使用。
[0015]优选的，所述输入数据x包含了标记数据x
l
和未标记数据x
u本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络SEG-GAN的图像分割方法，其特征在于，方法包括以下步骤：S1:用有标签数据预训练过的判别器网络预测出置信图，生成对抗网络SEG-GAN将所述置信图作为监督信号，并通过自学指导交叉熵损失；其中，置信图指示预测分布的哪些区域接近真实标签图分布，使得这些预测可以由分割网络通过屏蔽其他不可信区域的交叉熵损失来进行有监督信号的训练；S2：在未标记数据上应用对抗性损失，生成对抗模型对未标记数据的预测结果与真实标签图分布相接近；S3：分割网络S为3D-MedGAN的生成器结构，给定一个维度H
×
W
×
D
×
1的输入MR图像x，分割网络输出大小为H
×
W
×
D
×
C的语义标签概率图S(x)，其中C是语义类别的数量；S4：生成器网络G负责根据一个固定维度的随机向量z生成出一个与输入图像相同大小H
×
W
×
D
×
C的语义标签概率图G(z)；S5:判别器网络D依赖于分割网络和生成器网络，以分割网络预测的概率图S(x)、生成器网络生成出的概率图G(z)以及真实标签图y的one-hot图作为输入，然后输出大小为H
×
W
×
D的置信图p；置信图p上的每一个像素点表示输入图像x在与之对应的位置上的标签是从真实标签图y(p＝1)或虚假标签图(p＝0)，包括S(x)和G(z)的采样。2.如权利要求1所述的基于生成对抗网络的图像分割方法，其特征在于：所述生成对抗模型包括两个“生成器”和一个判别器；两个“生成器”中，一个是一个对输入的MR预测出标签概率图的分割网络S和一个将随机噪声转换成标签概率图的生成器G，通过将分割网络S和生成器G预测的标签概率图作为假样本，将标记数据的标注作为真样本，来训练判别器，使判别器具备将真实标注与虚假标注分离的能力；判别器根据预测来得到指示矩阵；指示矩阵用于保留下分割网络S对无标注样本的相对可靠的预测作为监督信号进行自训练。3.如权利要求2所述的基于生成对抗网络的图像分割方法，其特征在于：分割网络S根据的输入数据x包含了标记数据x
l
和未标记数据x
u
，每个标记数据x
l
都有对应的标签图y
l
，在这里H
×
W
×
D大小的标签图y
l
将会进行one-hot编码变为具C个通道离散标签概率图y
l
，每个位置上的标签都会把概率图y
l
上代表其类别的通道设置为1，剩余其他通道上同样位置全部设置为0；在训练过程中，当使用标记数据x
l
时，分割网络S由将由预测出的标签概率图S(x
l
)与真实标签图y
l
的标准交叉熵损失以及判别器网络D鉴别y
pred
的对抗性损失进行引导，更新网络中的各个参数；对于未标记的数据使用自监督学习方法训练分割网络,在由分割网络S预测出未标记图像x
u
的初始分割标签概率图S(x
u
)之后，通过判别器网络D预测出标签概率图S(x
u
)每一个位置上的置信度，得到置信度图p，通过置信度图指示预测的分割区域的质量，使得分割网络S在训练期间的结果可以被信任；然后通过在置信度图p上取阈值保留下置信度高的区域，并取预测标签概率图S(x
u
)在这些区域上所有通道里概率最大通道作为该区域的标签，得到伪标签图，同样将伪标签图进行one-hot编码得到y
u
；然后以置信度高的区域上分割网络S预测标签概率图S(x
u
)和y
u
之间的交叉熵损失与判别器网络D的对抗性损失来训练分割网络；生成器网络根据随机噪声z生成出虚假的
标签概率图G(z)，通过取相同位置上值最大的通道作为标签得到y
g
，同时利用判别器计算出生成器损失判别器网络D将从鉴别真实数据标记好的标签概率图y
l
及分割网络预测出的假标签概率图y
pred
得到引导,y
u
和鉴别真实标签概率图y
l
以及...

【专利技术属性】
技术研发人员：王奕，孙毅，
申请(专利权)人：复旦大学附属肿瘤医院，
类型：发明
国别省市：