【技术实现步骤摘要】
本公开的实施例属于计算机视觉，具体涉及一种荧光素血管造影图像生成模型训练方法、生成方法及装置。
技术介绍
1、眼底成像是临床诊断眼底疾病的重要检查。近年来，超广角眼底成像(ultra-widefield，uwf)、超广角荧光素血管造影(ultra-widefield fundus fluoresceinangiography，uw-ffa)和超广角扫描激光检眼镜(ultra-widefield scanning laserophthalmoscope，uwf-slo)技术已广泛投入使用。例如，利用uw-ffa来检测糖尿病性视网膜病变等视网膜血管性疾病的早期迹象；利用uw-ffa检测眼内肿瘤，包括脉络膜瘤和视网膜血管瘤等；利用uwf-slo帮助医生确定视网膜脱离的类型和程度，并帮助制定治疗计划。其中，uwf-ffa检查需要注射荧光素钠，注射的荧光素钠会引起恶心、呕吐、过敏性休克甚至死亡等不良反应。
2、近年来，生成对抗网络(generative adversarial networks,gans)及其变体在该领域取得了突破。例如，为了合成更清晰的图像，所提出的patchgan的思路。一种端到端多输入多输出的磁共振成像(magnetic resonance imaging，mr)图像合成深度对抗学习网络。一种transfer-gan模型，将迁移学习与gan相结合，来提高多模态ct图像分辨率。
3、通过合并多尺度生成器，这些网络可以从图像中探索精细和粗糙的特征。例如，一种半监督模型，称为vtgan，在鉴别器中引
4、目前大家对ffa图像的生成研究极少。2023年才有人首次提出了一种uwat-gan方法，通过使用多尺度鉴别器和多尺度生成器来克服uw-ffa成像的局限性。尽管该方法对生成图像的细节有约束，但存在以下问题：首先对于其视盘部分，所生成的视盘区域较为模糊，无法突出其细节，进而无法很好地为眼科医生对眼部疾病的诊断提供帮助；其次，所生成的ffa图像的血管信息不够准确，无法准确辅助结构的分析和疾病的诊断。总结来看，上述ffa图像生成方法主要有以下两点不足：
5、1、该方法对视盘区域的生成不够清晰，对眼底检查来说，帮助有限。
6、2、该方法对于血管信息的生成不够准确，对各类眼科疾病的检测与诊断来说，无法提供准确、完整的重要血管信息。
技术实现思路
1、本公开的实施例旨在至少解决现有技术中存在的技术问题之一，公开了一种荧光素血管造影图像生成模型训练方法、生成方法及装置。
2、第一方面，本公开的实施例提供一种荧光素血管造影图像生成模型的训练方法，所述生成模型包括全局生成模块、局部生成模块和多尺度判别器模块；所述训练方法包括：
3、获取超广角眼底成像图像及对应的荧光素血管造影图像；
4、对所述超广角眼底成像图像进行血管分割，得到对应的血管信息图像；
5、基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，分别对所述全局生成模块和所述局部生成模块进行训练，并利用所述多尺度判别器模块对生成图像进行判断，得到训练好的所述生成模型。
6、在一些实施例中，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述全局生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
7、将所述超广角眼底成像图像及对应的所述血管信息图像整体输入到所述全局生成模块中，生成对应的荧光素血管造影图像同时提取所述超广角眼底成像图像的全局信息特征；将所述超广角眼底成像图像与对应的所述荧光素血管造影图像拼接输入到所述多尺度判别器模块，得到其第一特征表示与第一损失函数；
8、将所述超广角眼底成像图像与所述生成的荧光素血管造影图像拼接输入到所述多尺度判别器模块，得到其第二特征表示与第二损失函数。
9、在一些实施例中，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述局部生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
10、对所述超广角眼底成像图像、所述血管信息图像、所述荧光素血管造影图像和提取的所述全局信息特征，随机裁剪生成一一对应的超广角眼底成像图像块、血管信息图像块、荧光素血管造影图像块和全局信息特征块；
11、将所述超广角眼底成像图像块与所述血管信息图像块进行拼接，并且将所述对应的全局信息特征块一起输入到所述局部生成器模块，生成对应的荧光素血管造影图像块；
12、将所述超广角眼底成像图像块与对应的所述荧光素血管造影图像块拼接输入到所述多尺度判别器模块，得到其第三特征表示和第三损失函数；
13、将所述超广角眼底成像图像块与所述生成的荧光素血管造影图像块拼接输入到所述多尺度判别器模块，得到其第四特征表示和第四损失函数。
14、在一些实施例中，在得到训练好的所述生成模型之后，所述方法还包括对所述训练好的生成模型进行优化的步骤，具体包括：
15、对所述超广角眼底成像图像进行目标视盘检测，从而获取其视盘的中心坐标，并裁剪得到超广角视盘图像块、血管信息视盘图像块和荧光素视盘图像块，同时根据中心坐标裁剪全局信息特征，得到对应的视盘信息特征块；
16、将所述超广角视盘图像块与血管信息视盘图像块进行拼接，与所述视盘信息特征块一并输入到所述局部生成器模块，生成对应的荧光素视盘图像块；
17、将所述超广角视盘图像块与对应的所述荧光素视盘图像块拼接输入到所述多尺度判别器模块，得到其第五特征表示和第五损失函数；
18、将所述超广角视盘图像块与所述生成的荧光素视盘图像块拼接输入到所述多尺度判别器模块，得到其第六特征表示和第六损失函数。
19、在一些实施例中，所述多尺度判别器模块的损失函数采用二进制交叉熵损失函数，所述全局生成模块和所述局部生成模块的损失函数采用均方误差损失函数，同时引入gan损失函数loss_g_f_gan和loss_g_c_gan，分别对应于精细生成器和粗糙生成器。
20、第二方面，本公开的实施例提供一种荧光素血管造影图像生成方法，所述生成方法包括：
21、获取实际超广角眼底成像图像；
22、将所述实际超广角眼底成像图像输入到训练好的生成模型，生成超广角荧光素血管造影图像；其中，所述生成模型采用前文记载的所述的训练方法训练得到。
23、第三方面，本公开的实施例提供一种荧光素血管造影图像生成模型的训练装置，所述生成模型包括全局生成模块、局部生成模块和本文档来自技高网...
【技术保护点】
1.一种荧光素血管造影图像生成模型的训练方法，其特征在于，所述生成模型包括全局生成模块、局部生成模块和多尺度判别器模块；所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述全局生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
3.根据权利要求2所述的训练方法，其特征在于，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述局部生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
4.根据权利要求3所述的训练方法，其特征在于，在得到训练好的所述生成模型之后，所述方法还包括对所述训练好的生成模型进行优化的步骤，具体包括：
5.根据权利要求4所述的训练方法，其特征在于，所述多尺度判别器模块的损失函数采用二进制交叉熵损失函数，所述全局生成模块和所述局部生成模块的损失函数采用均方误差损失函数，同时引入GAN损失函数loss_G_F_GAN和loss_G_C_GAN，分别对应于精细生成器和
6.一种荧光素血管造影图像生成方法，其特征在于，所述生成方法包括：
7.一种荧光素血管造影图像生成模型的训练装置，其特征在于，所述生成模型包括全局生成模块、局部生成模块和多尺度判别器模块；所述训练装置包括：
8.一种荧光素血管造影图像生成装置，其特征在于，所述生成装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
...【技术特征摘要】
1.一种荧光素血管造影图像生成模型的训练方法，其特征在于，所述生成模型包括全局生成模块、局部生成模块和多尺度判别器模块；所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述全局生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
3.根据权利要求2所述的训练方法，其特征在于，所述基于所述超广角眼底成像图像及对应的荧光素血管造影图像和所述血管信息图像，对所述局部生成模块进行训练，并利用所述多尺度判别器对生成图像进行判断，包括：
4.根据权利要求3所述的训练方法，其特征在于，在得到训练好的所述生成模型之后，所述方法还包括对所述训练好的生成模型进行优化的步骤，具体包括：
...【专利技术属性】
技术研发人员：张少冲，杨卫华，余成洲，方慧卉，许言午，李王婷，
申请(专利权)人：深圳市眼科医院深圳市眼病防治研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。