白内障眼底图像的修复方法、修复模型的训练方法及装置制造方法及图纸

本公开提供一种白内障眼底图像的修复方法、修复模型的训练方法及装置，该训练方法包括构建训练数据集，训练数据集包括清晰眼底图像以及与清晰眼底图像对应的参考白内障图像；利用生成器将参考白内障图像作为输入以通过多次下采样获取不同尺度的第一特征图，将第一特征图与相应的上采样的第二特征图进行融合，生成修复图像，利用判别器将参考白内障图像和对应的清晰眼底图像作为输入以输出第一判别结果，将参考白内障图像和对应的修复图像作为输入以输出第二判别结果；基于训练数据集、第一判别结果和第二判别结果获取目标损失，基于目标损失对修复模型进行训练以优化修复模型，进而获得用于修复白内障眼底图像的训练后的生成器。生成器。生成器。

【技术实现步骤摘要】
白内障眼底图像的修复方法、修复模型的训练方法及装置


[0001]本公开大体涉及人工智能图像处理领域，具体涉及一种白内障眼底图像的修复方法、修复模型的训练方法及装置。

技术介绍

[0002]白内障是一种容易致盲的眼病，是导致老年人视力障碍较常见的因素。由于白内障患者的晶状体的浑浊，导致光散射严重从而大大降低了其眼底图像的质量，不利于观察眼底图像中的特征。
[0003]因此，对白内障眼底图像进行修复十分必要。经修复的白内障眼底图像能够提高眼底图像的质量，从而提高白内障眼底图像的可读性和评估性，有助于临床医生对眼底图像中的异常特征进行观察和判断，对辅助白内障的评估具有重要的临床作用。
[0004]目前，专利文献1(CN113362258A)提供了一种白内障患者眼底彩照图像去噪方法，该去噪方法构建第一判别器并分别将模拟噪声眼底图像与清晰眼底图像及模拟去噪图像的组合输入得第一判别器的损失，根据该损失对生成器优化；用优化后的生成器对真实噪声眼底图像去噪得真实去噪图像；构建第二判别器并将真实去噪图像和模拟去噪图像输入得第二判别器的损失，根据该损失对生成器优化；根据再次优化后的生成器对真实噪声眼底图像去噪得到最终去噪结果，进而实现了对白内障患者眼底图像的去噪。然而，上述专利文献1直接利用模拟噪声眼底图像、清晰眼底图像和模拟去噪图像对生成器的生成效果进行评估，对去噪结果中细节的处理还有待于提高。

技术实现思路

[0005]本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够提高修复图像的细节的白内障眼底图像的修复方法、修复模型的训练方法及装置，从而实现对白内障眼底图像的修复。
[0006]为此，本公开第一方面提供一种白内障眼底图像的修复模型的训练方法，所述修复模型包括生成器和判别器，所述训练方法包括：构建训练数据集，所述训练数据集包括清晰眼底图像以及与所述清晰眼底图像对应的参考白内障图像；利用所述生成器将所述训练数据集中的所述参考白内障图像作为输入以通过多次下采样获取不同尺度的第一特征图，并将所述不同尺度的第一特征图与相应的经上采样获取的第二特征图进行融合，进而生成修复图像；利用所述判别器将所述参考白内障图像和对应的清晰眼底图像作为输入以输出针对所述清晰眼底图像的第一判别结果，并将所述参考白内障图像和对应的修复图像作为输入以输出针对所述修复图像的第二判别结果；并且基于所述训练数据集、所述第一判别结果和所述第二判别结果获取目标损失，并基于所述目标损失对所述修复模型进行训练以优化所述修复模型，进而获得用于修复白内障眼底图像的训练后的所述生成器；其中，所述目标损失包括第一损失、第二损失、第三损失和第四损失，所述第一损失由所述第一判别结果和所述第二判别结果确定，所述第二损失由所述修复图像与对应的清晰眼底图像之间像
素的差异所确定，所述第三损失由基于卷积神经网络的特征提取器提取的所述修复图像与对应的清晰眼底图像之间的不同尺度的特征图的差异所确定，所述第四损失由所述修复图像与对应的清晰眼底图像之间的结构相似性所确定。
[0007]在本公开的第一方面中，构建具有成对关系的训练数据集来训练包括生成器和判别器的修复模型，在训练中，将来自下采样的不同尺度的特征细节传递到对应尺度的上采样中以利用更多特征细节来还原修复图像的细节，使得修复图像更接近清晰眼底图像。另外，还能够使修复模型生成的修复图像从多个方面尽量接近清晰眼底图像，有利于提高修复效果。另外，还能够有利于提取一些感兴趣的图像信息。另外，还能够对修复图像和清晰眼底图像之间的结构进行约束。
[0008]另外，在本公开第一方面所涉及的训练方法中，可选地，所述目标损失还包括第五损失，所述第五损失由所述修复图像的局部区域与全局区域之间的光照强度的差异所确定。在这种情况下，能够平衡修复图像的局部区域与全局区域之间的光照强度的差异，进而能够改善修复图像过暗的问题。
[0009]另外，在本公开第一方面所涉及的训练方法中，可选地，获取所述第五损失包括：计算所述修复图像的全局区域的平均光照强度而获得全局平均强度；将所述修复图像分为多个图像块，通过计算每个图像块的平均光照强度而获得光照矩阵；基于所述光照矩阵与所述全局平均强度之间的差值获得光照差异性矩阵；调整所述光照差异性矩阵以获得与所述修复图像的大小相匹配的光照分布矩阵；并且求所述光照分布矩阵的平均绝对值而获得所述第五损失。在这种情况下，能够确定修复图像的局部区域与全局区域之间的光照强度的差异，进而确定第五损失。
[0010]另外，在本公开第一方面所涉及的训练方法中，可选地，所述参考白内障图像由对应的清晰眼底图像进行光线干扰和模糊处理而获得，其中，所述光线干扰包括对比度干扰、亮度干扰和饱和度干扰中的至少一种，所述模糊处理包括高斯模糊和随机高斯噪声中的至少一种。在这种情况下，光线干扰能够模拟白内障晶状体的浑浊，模糊处理能够模拟白内障的成像模糊。由此，能够获得与真实白内障眼底图像较接近的参考白内障图像。
[0011]另外，在本公开第一方面所涉及的训练方法中，可选地，在所述目标损失中，所述第一损失具有第一权重，所述第二损失具有第二权重，所述第三损失具有第三权重，所述第四损失具有第四权重；其中，所述第三权重大于所述第二权重，所述第二权重等于所述第四权重。在这种情况下，通过设置权重的大小，能够提高第三损失对修复模型的影响，并平衡第二损失和第四损失对修复模型的影响，从而在提高判别器的判别结果影响的基础上，更有利于感兴趣的图像信息的提取。
[0012]另外，在本公开第一方面所涉及的训练方法中，可选地，所述特征提取器具有依次连接的多个卷积层，所述第三损失满足公式：其中，L
per
(G)表示所述第三损失，G表示所述生成器，c表示所述清晰眼底图像，c'表示所述参考白内障图像，G(c')表示所述修复图像，φ
i
表示所述特征提取器的第i层卷积层，φ
i
(c)表示第i层卷积层输出的针对所述清晰眼底图像的特征图，φ
i
(G(c'))表示第i层卷积层输出的针对所述修复图像的特征图，M
i
表示所述特征提取器的第i层特征图的像素点的个数，||||1表示L1范数，N表示所述特征提取器的卷积层的层数。在这种情况下，基于不同卷积层输
出的针对修复图像的特征图和针对清晰眼底图像的特征图之间的差异确定第三损失，能够使第三损失更精准，进而在训练修复模型时有利于提取一些感兴趣的图像信息。
[0013]另外，在本公开第一方面所涉及的训练方法中，可选地，基于滑窗获取所述第四损失，所述第四损失满足公式：其中，L
str
(G)表示所述第四损失，G表示所述生成器，K表示滑窗的个数，表示所述修复图像中第i个滑窗中像素值的标准差，表示所述清晰眼底图像中第i个滑窗中像素值的标准差，表示所述修复图像与所述清晰眼底图像之间针对第i个滑窗的协方差，m表示常数，E[]表示数学期望。由此，能够基于修复图像与对应的清晰眼底图像之间的结构相似性获取第四损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种白内障眼底图像的修复模型的训练方法，其特征在于，所述修复模型包括生成器和判别器，所述训练方法包括：构建训练数据集，所述训练数据集包括清晰眼底图像以及与所述清晰眼底图像对应的参考白内障图像；利用所述生成器将所述训练数据集中的所述参考白内障图像作为输入以通过多次下采样获取不同尺度的第一特征图，并将所述不同尺度的第一特征图与相应的经上采样获取的第二特征图进行融合，进而生成修复图像；利用所述判别器将所述参考白内障图像和对应的清晰眼底图像作为输入以输出针对所述清晰眼底图像的第一判别结果，并将所述参考白内障图像和对应的修复图像作为输入以输出针对所述修复图像的第二判别结果；并且基于所述训练数据集、所述第一判别结果和所述第二判别结果获取目标损失，并基于所述目标损失对所述修复模型进行训练以优化所述修复模型，进而获得用于修复白内障眼底图像的训练后的所述生成器；其中，所述目标损失包括第一损失、第二损失、第三损失和第四损失，所述第一损失由所述第一判别结果和所述第二判别结果确定，所述第二损失由所述修复图像与对应的清晰眼底图像之间像素的差异所确定，所述第三损失由基于卷积神经网络的特征提取器提取的所述修复图像与对应的清晰眼底图像之间的不同尺度的特征图的差异所确定，所述第四损失由所述修复图像与对应的清晰眼底图像之间的结构相似性所确定。2.根据权利要求1所述的训练方法，其特征在于，所述目标损失还包括第五损失，所述第五损失由所述修复图像的局部区域与全局区域之间的光照强度的差异所确定。3.根据权利要求2所述的训练方法，其特征在于，获取所述第五损失包括：计算所述修复图像的全局区域的平均光照强度而获得全局平均强度；将所述修复图像分为多个图像块，通过计算每个图像块的平均光照强度获得光照矩阵；基于所述光照矩阵与所述全局平均强度之间的差值获得光照差异性矩阵；调整所述光照差异性矩阵以获得与所述修复图像的大小相匹配的光照分布矩阵；并且求所述光照分布矩阵的平均绝对值而获得所述第五损失。4.根据权利要求1所述的训练方法，其特征在于，所述参考白内障图像由对应的清晰眼底图像进行光线干扰和模糊处理而获得，其中，所述光线干扰包括对比度干扰、亮度干扰和饱和度干扰中的至少一种，所述模糊处理包括高斯模糊和随机高斯噪声中的至少一种。5.根据权利要求1所述的训练方法，其特征在于，在所述目标损失中，所述第一损失具有第一权重，所述第二损失具有第二权重，所述第三损失具有第三权重，所述第四损失具有第四权重；其中，所述第三权重大于所述第二权重，所述第二权重等于所述第四权重。6.根据权利要求1所述的训练方法，其特征在于，所述特征提取器具有依次连接的多个卷积层，所述第三损失满足公式：
其中，L
per
(G)表示所述第三损失，G表示所述生成器，c表示所述清晰眼底图像，c'表示所述参考白内障图像，G(c')表示所述修复图像，φ
i
表示所述特征提取器的第i层卷积层，φ
i
(c)表示第i层卷积层输出的针对所述...

【专利技术属性】
技术研发人员：袁进，肖鹏，李嘉雄，
申请(专利权)人：中山大学中山眼科中心，
类型：发明
国别省市：