一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法技术

本发明专利技术公开了一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络、生成器和判别器；语义分割网络利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器和语义分割网络学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。

【技术实现步骤摘要】
一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法
本专利技术涉及青光眼医学影像分析领域，更具体地，设计一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法。
技术介绍
青光眼是一种由眼内压间断或持续升高而造成视神经损害、视野缺损和视力下降等一系列视功能损伤的眼科疾病。青光眼是全球排名第二位的致盲性眼病，总人群发病率为1％，45岁以后为2％。据世界卫生组织预测，至2020年，全球青光眼患者人数将达到7960万。由于青光眼造成的视神经损伤和视力损失无法逆转，青光眼的早期筛查和诊断对于保持视力至关重要。杯盘比(CuptoDiscRatio,CDR)作为青光眼早期筛查的一项重要指标，指的是眼底图的视杯与视盘之间的比例。通常，CDR值越大，青光眼患病概率越高。对于大规模群体筛查而言，采用人工评估方法难以保证客观，且耗时、昂贵。遵循临床实践设计具有医学解释的自动评估方法，视盘和视杯的准确分割是关键之处。目前，眼底图视盘和视杯分割的常用方法包括传统的计算机视觉技术和深度学习。传统的计算机视觉技术融合图像亮度、颜色及其对比度增强，GraphCut，边缘检测以及形态学等方法，对眼底图进行处理与分析，得到有效的特征信息，用以检测出视盘和视杯。由于过分依赖人工经验来选择特征，且处理数据规模较小，导致模型泛化能力差，视盘和视杯分割效果有待改进，实际推广应用价值不高。深度学习能够自动提取图像特征，无需人工干预，适用于图像语义分割等任务。因此，结合深度学习分析青光眼医学影像成为研究热点，利用全连接卷积神经网络和生成式对抗网络已取得若干研究成果。经过图像预处理的眼底图，作为全连接语义分割网络U-Net和M-Net等模型输入，计算并输出眼底图视盘和视杯的分割结果。网络参数通过后向传播技术训练得到，是一种完备的端对端模型。然而，直接将已有全连接语义分割网络应用于眼底图视盘和视杯分割，忽略像素之间的空间与位置关系，导致输出结果与真实眼底图之间存在高阶不一致性。引入生成式对抗网络有助于发现像素之间的语义关联信息，以便获取具有高阶一致性的分割结果。通常，深度学习需要大量训练数据以保证模型稳定性和泛化能力，但有标注的眼底图样本过少，现有模型仍有待提升。综上，如何构建基于深度学习的眼底图视盘和视杯语义分割模型，应对眼底图标注样本少的挑战，进一步优化视盘和视杯分割结果，是目前亟待解决的问题。
技术实现思路
本专利技术的目的是解决目前现有技术条件下视盘和视杯分割结果优化情况欠佳的缺陷，提出一种面向眼底图视盘和视杯语义分割方法。为实现以上专利技术目的，采用的技术方案是：一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。优选的是，所述语义分割网络Si、生成器Gi和判别器Di使用相同的网络架构。优选的是，所述语义分割网络Si为全连接卷积神经网络，具体包括全卷积、上采样和跳跃连接；其中所述全卷积将卷积神经网络中的全连接层转化为卷积层；所述上采样操作通过转置卷积实现，通过对最后一个卷积层的特征图进行上采样，使它放大恢复到输入图像相同的尺寸，从而预测每个像素分类；所述跳跃连接操作能够将不同池化层的特征图合并，再进行上采样，可优化最终的语义分割结果。优选的是，所述语义分割网络Si、生成器Gi和判别器Di的训练流程均包括以下步骤：S1.1：输入眼底图及其分割图；S1.2：网络初始化，并设置迭代次数为0；S1.3：进行语义分割网络，迭代次数加1；S1.4：判断迭代次数是否超过上限，结果为是则进入步骤S；结果为否进入步骤S1.5；S1.5：根据眼底图生成(视盘或视杯)分割图；S1.6：前向传播计算分割图损失函数差值；S1.7：计算对抗损失值；S1.8：判断训练样本是否遍历完成；结果为是则进入步骤S1.9，结果为否则进入步骤S1.10；S1.9：反向传播更新参数并进入步骤S1.11；S1.10：判断数据集中所有训练样本损失值与对抗损失值之和是否小于阈值，结果为是则转入步骤S1.11，结果为否则转入步骤S1.3；S1.11：结束。优选的是，所述语义分割网络Si和生成器Gi的训练流程还包括对输入图像进行预处理操作；所述预处理操作所处流程为输入眼底图及其分割图之后，具体包括图像裁剪、旋转和颜色对比度增强。优选的是，所述判别器Di的训练流程还包括在卷积神经网络的最后一层输出真假断言，所处流程为步骤S1.5根据眼底图生成(视盘或视杯)分割图之后。优选的是，所述生成器Gi为具有Residual结构的卷积神经网络并引入残差学习和转置卷积操作。优选的是，所述生成器Gi中间层的激活函数为ReLU；输出层的激活函数选择Tanh。优选的是，所述判别器Di为卷积神经网络，激活函数采用LeakyReLU替换ReLU，并引入BatchNorm2d规范化操作，通过零均值化每一层的输入，使每一层拥有服从相同分布的输入样本。优选的是，所述网络框架的对抗损失LGAN(Si，Gi，Di)定义为：其中α∈(0，1)，反映Si和Gi在对抗学习中的重要程度；以对抗损失的minmax形式为优化目标函数，当且仅当：minmax达到均衡；但是该最优解条件无法保证Si和Gi学习到眼底图和分割图的联合分布，因此加入监督学习的损失，并且对抗损失LGAN(Si，Gi，Di)改为：仍以对抗损失的minmax形式为优化目标函数，当取得全局最优时：该最优解条件表明Si和Gi学习到眼底图和分割图的联合分布。为进一步提升Si和Gi生成图像的质量，增加L1(Si，Gi)损失函数：因此，模型最终的损失函数L(Si，Gi，Di)定义如下：L(Si，Gi，Di)＝LGAN(Si，Gi，Di)+L1(Si，Gi)全局优化目标如下：对于Di，其目标是最大化对抗损失LGAN，而Si和Gi则是最小化对抗损失LGAN和L1损失；训练后的两个不同阶段的Si，可分别用于识别眼底图的视盘和视杯，进而计算CDR指标，为青光眼筛查提供参考依据。与现有技术相比，本专利技术的有益效果是：相对于现有技术，本专利技术CDR-GANs模型在眼底图视盘和视杯语义分割任务上综合表现更优，有效地解决有标注眼底图数据不足的困难，且分开识别视盘和视杯比同时识别两者更为简单可行。附图说明图1为本专利技术所述的方法的框架图；图2为本专利技术所述的生成器和判别器的网络框架图；图3为眼底图的视盘和视杯分割流程图；图4为语义分割网络训练流程图；图5为生成器网络训练流程图；图6为判别器网络训练流程图；图7为本专利技术与主流模型在10张眼底图的分割图对比情况图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；以下结合附图和实施例对本专利技术做进一步的阐述。实施例1一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法本文档来自技高网...

【技术保护点】
1.一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。

【技术特征摘要】
1.一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。2.根据权利要求1所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si、生成器Gi和判别器Di使用相同的网络架构。3.根据权利要求2所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si为全连接卷积神经网络，具体包括全卷积、上采样和跳跃连接；其中所述全卷积将卷积神经网络中的全连接层转化为卷积层；所述上采样操作通过转置卷积实现，通过对最后一个卷积层的特征图进行上采样，使它放大恢复到输入图像相同的尺寸，从而预测每个像素分类；所述跳跃连接操作能够将不同池化层的特征图合并，再进行上采样，可优化最终的语义分割结果。4.根据权利要求2所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si、生成器Gi和判别器Di的训练流程均包括以下步骤：S1.1：输入眼底图及其分割图；S1.2：网络初始化，并设置迭代次数为0；S1.3：进行语义分割网络，迭代次数加1；S1.4：判断迭代次数是否超过上限，结果为是则进入步骤S；结果为否进入步骤S1.5；S1.5：根据眼底图生成(视盘或视杯)分割图；S1.6：前向传播计算分割图损失函数差值；S1.7：计算对抗损失值；S1.8：判断训练样本是否遍历完成；结果为是则进入步骤S1.9，结果为否则进入步骤S1.10；S1.9：反向传播更新参数并进入步骤S1.11；S1.10：判断数据集中所有训练样本损失值与对抗损失值之和是否小于阈值，结果为是则转入步骤S1.11，结果为否则转入步骤S1.3；S1.11：结束。5.根据权利要求4所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方...

【专利技术属性】
技术研发人员：刘少鹏，贾西平，关立南，林智勇，廖秀秀，梁杰鹏，洪佳明，严继利，
申请(专利权)人：广东技术师范学院，
类型：发明
国别省市：广东,44