三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质技术

本发明专利技术公开了三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质，属于CycleGAN领域。本发明专利技术的三重多尺度的CycleGAN，输入、输出有多个尺寸，增强了两个模态域之间不同尺度的约束，提高网络的鲁棒性和域间映射能力，且基于此增加了几个多尺度判别器，确保模型可以引导生成器获得更全局的图像视图；利用质量损失在生成和重构的每个过程的深层特征之间建立约束，从而得到高质量的图像；本发明专利技术的一种三重多尺度的CycleGAN，能够利用彩色眼底图像生成更加真实的眼底荧光造影。

Triple multi-scale cycligan, fundus fluorescein angiography generation method, computer equipment and storage medium

【技术实现步骤摘要】
三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质
本专利技术属于CycleGAN领域，尤其是三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。
技术介绍
糖尿病性视网膜病变是糖尿病性眼病最常见的一种，也是导致可预防性失明的主要原因。常见的有两种用来检测糖尿病性视网膜病变的眼底图像方式，一种为眼底荧光造影，另一种为彩色眼底图像。临床上，眼底荧光造影是一种侵入性成像，由于其增强视网膜血管可视化，使得血管造影术成为一种更适合于糖尿病性视网膜病变检测的方式，因此作为首选原则使用。然而，进行眼底荧光造影需要将荧光染料注入患者体内，存在因荧光素过敏死亡的危险。相比之下，简单易获取的彩色眼底图像，不需要辐射或药物就能产生高分辨率的视觉效果。但是，眼底荧光造影是检测糖尿病视网膜病变的最常见方法，因为病变在荧光造影中比在彩色眼底图像中有更明显的反差。因此，利用彩色眼底图像合成眼底荧光造影具有十分重要的意义。现有的方法，主要是利用神经网络学习两个不同领域之间复杂关系，来进行图像的生成，这其中需要大量的配对图像。但是在医学图像领域内，很难找到大量的配对图像，更不要说配对的配准图像了。使用两个生成对抗网络和循环一致性损失来合成图像，并提供源图像与合成图像之间的相似性度量让在两个未配对的图像域中合成图像成为可能。但循环一致性损失是一种间接性约束，不能保证两个域之间的完美域映射。特别是对于医学图像，上述方法不能保证对合成图像的严格约束，导致缺乏具有更精细细节信息的整体框架，不能合成出更加真实的图像。
技术实现思路
本专利技术的目的在于克服上述现有技术中缺少配对图像且多使用间接约束，导致生成的眼底荧光造影图像不够真实的缺点，提供三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。为达到上述目的，本专利技术采用以下技术方案予以实现：一种三重多尺度的CycleGAN，包括生成器G1、生成器G2和6个判别器D1、D2、D3、D4、D5和D6，每个生成器对应三个判别器；生成器G1和生成器G2之间设有质量损失函数，所述质量损失函数利用L1范数来约束两个生成器的特征层；生成器G1和其对应的三个判别器、生成器G2和其对应的三个判别器构成CycleGAN。进一步的，生成器G1和生成器G2的底部均设有自注意力模块，自注意力模块位于生成器的编码器和解码器之间。进一步的，所述自注意力模块包括通道注意块和空间注意块；所述通道注意块用于捕获任何双通道映射之间的通道依赖关系以改进通道维度上的映射；所述空间注意块用于捕获特征图的空间依赖关系，以增强空间映射，使生成器和判别器能够有效地建立分离空间区域之间的关系模型。一种三重多尺度对抗学习的眼底荧光造影生成方法，包括以下步骤：1)以彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，分别输入到生成器G1和生成器G2中，训练权利要求1、2或3所述的三重多尺度CycleGAN，直至总损失函数收敛稳定时，得到训练好的三重多尺度CycleGAN；2)将彩色眼底图像原图输入到训练好的三重多尺度CycleGAN中的生成器G1中，输出合成的荧光造影图像。进一步的，步骤1)的训练过程为：101)将彩色眼底图像原图、尺寸缩小图作为训练集输入到生成器G1中，荧光造影图像的原图、尺寸缩小图作为目标集，生成器G1将生成合成的荧光造影图像，并将合成的不同尺寸荧光造影图像进行分层，每层输出与对应的荧光造影图像的原图或尺寸缩小图共同输入到对应的判别器中，产生多尺度对抗损失；102)以步骤101)中的分层输出作为输入数据，输入到生成器G2中，生成器G2对所述输入进行重建，得到重建图像与步骤1)的输入产生多尺度重建损失，即循环一致性损失；103)将步骤101)的生成器G1中的编码器产生的一个特征图和与步骤102)的生成器G2中的编码器产生的相应的特征图利用L1范数进行约束，产生质量感知损失；104)将荧光造影图像的原图、尺寸缩小图作为训练集输入到生成器G2中，彩色眼底图像原图、尺寸缩小图作为目标集，按照步骤101)-103)交替循环训练生成器G2及其对应的判别器、生成器G1及其对应的判别器，直至多尺度对抗损失、循环一致性损失和质量损失的总和收敛，得到训练好的三重多尺度CycleGAN。进一步的，多尺度对抗损失LGAN为：其中，Ladv与传统的CycleGAN具有相同的对抗式损失格式，和对应于GA和GB的多尺度判别器，i和j通过2i和2j因子控制下采样图像的尺度，αi和βj分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。进一步的，多尺度循环一致性损失为：其中，Lcyc与传统的CycleGAN有相同格式的循环一致性损失，CFi和FAj对应的是通过2i和2j得到A和B的不同尺度下采样，λi和γj分别为平衡各损失贡献的权重系数，CF为彩色眼底图像，FA为荧光造影图像。进一步的，质量感知损失为：其中，μA和μB是归一化参数，表示位于生成器第i个卷积层(激活后)的特征图。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术的三重多尺度对抗学习的眼底荧光造影生成方法的步骤。与现有技术相比，本专利技术具有以下有益效果：本专利技术的三重多尺度的CycleGAN，为一种有效的图像生成网络，是一个包含多尺度输入、多尺度判别器和多尺度循环一致性损失的三重多尺度网络，增强了不同尺度视网膜形态间的相似性；本专利技术的三重多尺度的CycleGAN，输入、输出有多个尺寸，增强了两个模态域之间不同尺度的约束，提高网络的鲁棒性和域间映射能力，且基于此增加了几个多尺度判别器，确保模型可以引导生成器获得更全局的图像视图；利用质量损失在生成和重构的每个过程的深层特征之间建立约束，从而得到高质量的图像；本专利技术的三重多尺度的CycleGAN，能够利用彩色眼底图像生成更加真实的眼底荧光造影。进一步的，在两个生成器的底部设有自注意力模块，有利于提高CycleGAN的关系映射能力，帮助在不同图像领域中建立远程，有多层次依赖关系的模型。本专利技术的三重多尺度对抗学习的眼底荧光造影生成方法，增强不同尺度视网膜形态间的相似性，并提供了更严格的约束，从不同的尺度和过程的生成和重建在特征层，提高了关系映射的模态能力。本专利技术提供一种三重多尺度对抗学习的眼底荧光造影生成方法的计算机设备及存储介质，用于实现上述工作方法的具体步骤。附图说明图1为眼底荧光造影合成方法说明图；图2为本专利技术所设计的网络架构图；<本文档来自技高网...

【技术保护点】
1.一种三重多尺度的CycleGAN，其特征在于，包括生成器G1、生成器G2和6个判别器D1、D2、D3、D4、D5和D6，每个生成器对应三个判别器；/n生成器G1和生成器G2之间设有质量损失函数，所述质量损失函数利用L1范数来约束两个生成器的特征层；/n生成器G1和其对应的三个判别器、生成器G2和其对应的三个判别器构成CycleGAN。/n

【技术特征摘要】
1.一种三重多尺度的CycleGAN，其特征在于，包括生成器G1、生成器G2和6个判别器D1、D2、D3、D4、D5和D6，每个生成器对应三个判别器；
生成器G1和生成器G2之间设有质量损失函数，所述质量损失函数利用L1范数来约束两个生成器的特征层；
生成器G1和其对应的三个判别器、生成器G2和其对应的三个判别器构成CycleGAN。


2.根据权利要求1所述的三重多尺度CycleGAN，其特征在于，生成器G1和生成器G2的底部均设有自注意力模块，自注意力模块位于生成器的编码器和解码器之间。


3.根据权利要求2所述的三重多尺度CycleGAN，其特征在于，所述自注意力模块包括通道注意块和空间注意块；
所述通道注意块用于捕获任何双通道映射之间的通道依赖关系以改进通道维度上的映射；
所述空间注意块用于捕获特征图的空间依赖关系，以增强空间映射，使生成器和判别器能够有效地建立分离空间区域之间的关系模型。


4.一种三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，包括以下步骤：
1)以彩色眼底图像原图、尺寸缩小图作为训练集或目标集，荧光造影图像的原图、尺寸缩小图作为训练集或目标集，分别输入到生成器G1和生成器G2中，训练权利要求1、2或3所述的三重多尺度CycleGAN，直至总损失函数收敛稳定时，得到训练好的三重多尺度CycleGAN；
2)将彩色眼底图像原图输入到训练好的三重多尺度CycleGAN中的生成器G1中，输出合成的荧光造影图像。


5.根据权利要求4所述的三重多尺度对抗学习的眼底荧光造影生成方法，其特征在于，步骤1)的训练过程为：
101)将彩色眼底图像原图、尺寸缩小图作为训练集输入到生成器G1中，荧光造影图像的原图、尺寸缩小图作为目标集，生成器G1将生成合成的荧光造影图像，并将合成的不同尺寸荧光造影图像进行分层，每层输出与对应的荧光造影图像的原图或尺寸缩小图共同输入到对应的判别器中，产生多尺度对抗损失；
102)以步骤101)中的分层输出作为输入数据，输入到生成器G2中，生成器G2对所述输入进行重建，得到重建图像与步骤1)的输入产生多尺度重建损失，...

【专利技术属性】
技术研发人员：辛景民，蔡卓桐，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61