三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质技术

技术编号:26173033 阅读:20 留言:0更新日期:2020-10-31 13:53
本发明专利技术公开了三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质,属于CycleGAN领域。本发明专利技术的三重多尺度的CycleGAN,输入、输出有多个尺寸,增强了两个模态域之间不同尺度的约束,提高网络的鲁棒性和域间映射能力,且基于此增加了几个多尺度判别器,确保模型可以引导生成器获得更全局的图像视图;利用质量损失在生成和重构的每个过程的深层特征之间建立约束,从而得到高质量的图像;本发明专利技术的一种三重多尺度的CycleGAN,能够利用彩色眼底图像生成更加真实的眼底荧光造影。

Triple multi-scale cycligan, fundus fluorescein angiography generation method, computer equipment and storage medium

【技术实现步骤摘要】
三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质
本专利技术属于CycleGAN领域,尤其是三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质。
技术介绍
糖尿病性视网膜病变是糖尿病性眼病最常见的一种,也是导致可预防性失明的主要原因。常见的有两种用来检测糖尿病性视网膜病变的眼底图像方式,一种为眼底荧光造影,另一种为彩色眼底图像。临床上,眼底荧光造影是一种侵入性成像,由于其增强视网膜血管可视化,使得血管造影术成为一种更适合于糖尿病性视网膜病变检测的方式,因此作为首选原则使用。然而,进行眼底荧光造影需要将荧光染料注入患者体内,存在因荧光素过敏死亡的危险。相比之下,简单易获取的彩色眼底图像,不需要辐射或药物就能产生高分辨率的视觉效果。但是,眼底荧光造影是检测糖尿病视网膜病变的最常见方法,因为病变在荧光造影中比在彩色眼底图像中有更明显的反差。因此,利用彩色眼底图像合成眼底荧光造影具有十分重要的意义。现有的方法,主要是利用神经网络学习两个不同领域之间复杂关系,来进行图像的生成,这其中需要大量的本文档来自技高网...

【技术保护点】
1.一种三重多尺度的CycleGAN,其特征在于,包括生成器G1、生成器G2和6个判别器D1、D2、D3、D4、D5和D6,每个生成器对应三个判别器;/n生成器G1和生成器G2之间设有质量损失函数,所述质量损失函数利用L1范数来约束两个生成器的特征层;/n生成器G1和其对应的三个判别器、生成器G2和其对应的三个判别器构成CycleGAN。/n

【技术特征摘要】
1.一种三重多尺度的CycleGAN,其特征在于,包括生成器G1、生成器G2和6个判别器D1、D2、D3、D4、D5和D6,每个生成器对应三个判别器;
生成器G1和生成器G2之间设有质量损失函数,所述质量损失函数利用L1范数来约束两个生成器的特征层;
生成器G1和其对应的三个判别器、生成器G2和其对应的三个判别器构成CycleGAN。


2.根据权利要求1所述的三重多尺度CycleGAN,其特征在于,生成器G1和生成器G2的底部均设有自注意力模块,自注意力模块位于生成器的编码器和解码器之间。


3.根据权利要求2所述的三重多尺度CycleGAN,其特征在于,所述自注意力模块包括通道注意块和空间注意块;
所述通道注意块用于捕获任何双通道映射之间的通道依赖关系以改进通道维度上的映射;
所述空间注意块用于捕获特征图的空间依赖关系,以增强空间映射,使生成器和判别器能够有效地建立分离空间区域之间的关系模型。


4.一种三重多尺度对抗学习的眼底荧光造影生成方法,其特征在于,包括以下步骤:
1)以彩色眼底图像原图、尺寸缩小图作为训练集或目标集,荧光造影图像的原图、尺寸缩小图作为训练集或目标集,分别输入到生成器G1和生成器G2中,训练权利要求1、2或3所述的三重多尺度CycleGAN,直至总损失函数收敛稳定时,得到训练好的三重多尺度CycleGAN;
2)将彩色眼底图像原图输入到训练好的三重多尺度CycleGAN中的生成器G1中,输出合成的荧光造影图像。


5.根据权利要求4所述的三重多尺度对抗学习的眼底荧光造影生成方法,其特征在于,步骤1)的训练过程为:
101)将彩色眼底图像原图、尺寸缩小图作为训练集输入到生成器G1中,荧光造影图像的原图、尺寸缩小图作为目标集,生成器G1将生成合成的荧光造影图像,并将合成的不同尺寸荧光造影图像进行分层,每层输出与对应的荧光造影图像的原图或尺寸缩小图共同输入到对应的判别器中,产生多尺度对抗损失;
102)以步骤101)中的分层输出作为输入数据,输入到生成器G2中,生成器G2对所述输入进行重建,得到重建图像与步骤1)的输入产生多尺度重建损失,...

【专利技术属性】
技术研发人员:辛景民蔡卓桐郑南宁
申请(专利权)人:西安交通大学
类型:发明
国别省市:陕西;61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1