基于特征一致性的眼底图像增强方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于特征一致性的眼底图像增强方法、系统、设备及介质，其方法包括：将低质量眼底图像序列输入拉普拉斯金字塔，得到低质量眼底图像序列的多层金字塔特征；构建图像增强网络，并将每一层金字塔特征按照分辨率由大至小依次输入图像增强网络，得到增强眼底图像序列；通过增强眼底图像序列构建第一损失函数；通过金字塔特征在图像增强网络得到的融合图像特征构建第二损失函数；通过第一损失函数和第二损失函数计算得到最终损失函数，并通过最终损失函数监督图像增强网络学习直至收敛；本发明专利技术能够提取低质量眼底图像的关键特征，有效保持和增强眼底图像的关键信息，提高低质量眼底图像增强的效果。低质量眼底图像增强的效果。低质量眼底图像增强的效果。

【技术实现步骤摘要】
基于特征一致性的眼底图像增强方法、系统、设备及介质


[0001]本专利技术涉及眼底图像增强
，尤其是涉及一种基于特征一致性的眼底图像增强方法、系统、设备及介质。

技术介绍

[0002]眼底彩照广泛应用于临床的常规检查中，利用其拍摄图像可观察到的视网膜、视盘和黄斑等眼底结构，眼科医生能为病人诊断出多种视网膜疾病。然而，眼底彩照拍摄的过程容易受到拍摄条件的限制，导致眼底彩照出现不同程度的退化，包括因眼底相机的不当设置、光线的不足和拍摄时眼球移动导致的图像退化等，这些退化的眼底图像会影响眼科医生和辅助分析系统的分析，导致诊断结果出现误差。
[0003]现有研究提出了多种对低质量眼底图像增强的方法，这些方法可以大致分为基于统计直方图、基于滤波器、基于非配对的对比学习和基于领域自适应的方法。然而，由于低质量眼底图像的噪声类型多且十分复杂，不利于基于统计直方图和基于滤波器的方法的设计，并且利用上述方法进行图像增强时，尽管可以改善光照不足的区域和提高对比度，但是会存在较严重的色彩失真；眼底图像中的眼底结构特征对临床诊断十分关键，但是利用基于非配对的对比学习方法训练模型时，容易使模型忽略这些关键特征，影响临床诊断筛查；临床上的眼底图像风格多变，利用基于领域自适应算法难以适应所有临床噪声的风格，并且其在训练过程中对临床数据的需求，将导致模型在临床应用上部署繁琐问题。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于特征一致性的眼底图像增强方法、系统、设备及介质，容易部署在临床应用上，能够既保证低质量眼底图像增强的可靠性，也能保证聚焦于提取低质量眼底图像的关键特征，有效保持和增强眼底图像的关键信息。
[0005]第一方面，本专利技术的实施例提供了一种基于特征一致性的眼底图像增强方法，包括：
[0006]获取低质量眼底图像序列；
[0007]将所述低质量眼底图像序列输入拉普拉斯金字塔，得到所述低质量眼底图像序列的多层金字塔特征；
[0008]构建图像增强网络，并将每一层所述金字塔特征按照分辨率由大至小依次输入所述图像增强网络，得到每一层所述金字塔特征在所述图像增强网络的融合图像特征，根据所述融合图像特征得到增强眼底图像序列；通过所述增强眼底图像序列构建第一损失函数；计算所述每一层所述金字塔特征在所述图像增强网络的融合图像特征的池化特征，并根据所述池化特征构建第二损失函数；
[0009]通过所述第一损失函数和所述第二损失函数计算得到最终损失函数，并通过所述最终损失函数的结果监督所述图像增强网络学习直至收敛，得到最终图像增强网络；所述
最终图像增强网络用于对低质量眼底图像进行图像增强。
[0010]根据本专利技术实施例的方法，至少具有如下有益效果：
[0011]本方法首先通过将低质量眼底图像序列输入拉普拉斯金字塔，得到多层金字塔特征，拉普拉斯金字塔可以更有效地保存图像特征，并且拉普拉斯金字塔的内存需求低，容易部署；将金字塔特征输入图像增强网络，得到增强眼底图像序列，进行图像增强网络的训练，能提取低质量眼底图像的不变特征；通过所述增强眼底图像序列构建的第一损失函数和池化特征均值构建的第二损失函数来对图像增强网络进行监督，直至图像增强网络收敛得到最终图像增强网络，此时得到的最终图像增强网络使得低质量图像得到有效增强并着重增强了其中关键眼底信息，并且引入了池化特征的损失，引导网络提取低质量眼底图像中的关键特征，提高了低质量眼底图像增强的效果。
[0012]根据本专利技术的一些实施例，所述图像增强网络为U型网络，且所述增强网络的层数与所述金字塔特征的层数一致。
[0013]根据本专利技术的一些实施例，将每一层所述金字塔特征按照分辨率由大至小依次输入所述图像增强网络，通过如下方式得到所述增强眼底图像序列：
[0014]将第一层所述金字塔特征输入至对应的第一层所述图像增强网络，得到第一层所述图像增强网络提取的图像特征；
[0015]将第二层所述金字塔特征输入至对应的第二层所述图像增强网络，得到第二层所述图像增强网络提取的图像特征；并将第二层所述图像增强网络提取的图像特征与第一层所述图像增强网络提取的图像特征通过下采样的方式融合得到第二层所述图像增强网络输出的融合图像特征；
[0016]将第三层所述金字塔特征输入至对应的第三层所述图像增强网络，得到第三层所述图像增强网络提取的图像特征；并将第三层所述图像增强网络提取的图像特征与第二层所述图像增强网络输出的融合图像特征通过下采样的方式融合得到第三层所述图像增强网络输出的融合图像特征；
[0017]依此类推，直至将第L层所述金字塔特征输入至对应的第L层所述图像增强网络，得到第L层所述图像增强网络提取的图像特征；并将第L层所述图像增强网络提取的图像特征与第L
‑
1层所述图像增强网络输出的融合图像特征通过下采样的方式融合得到第L层所述图像增强网络输出的融合图像特征；将每一层所述图像增强网络输出的融合图像特征从第L层开始依次进行上采样直至第一层所述图像增强网络输出的融合图像特征上采样结束，得到所述增强眼底图像序列，其中，所述金字塔特征一共L层。
[0018]根据本专利技术的一些实施例，通过如下公式得到所述融合图像特征：
[0019][0020]其中，表示图像增强网络输出的第l+1层融合图像特征中的第k个图像的融合图像特征，Conv(
·
)表示卷积操作，[
·
]表示特征拼接操作，表示第l+1层金字塔特征中的第k个图像的金字塔特征，表示图像增强网络输出的第l层融合图像特征的第k个图
像的融合图像特征，且
[0021]根据本专利技术的一些实施例，所述第一损失函数为：
[0022][0023]其中，L
N
表示第一损失函数，K表示低质量眼底图像序列中低质量眼底图像的数量，I表示高质量眼底图像，表示第k张低质量眼底图像增强后得到的增强眼底图像。
[0024]根据本专利技术的一些实施例，所述通过每层所述金字塔特征对应的池化特征均值构建第二损失函数的公式包括：
[0025][0026][0027]其中，L
C
表示第二损失函数，表示第l层融合图像特征的一致性约束损失，表示经过空间金字塔池化后的池化特征，表示低质量图像序列在第l层的融合图像特征的池化特征均值。
[0028]根据本专利技术的一些实施例，通过如下公式计算得到所述最终损失函数：
[0029]L
tatal
＝L
N
+λ
c
L
c
[0030]其中，L
tatal
表示最终损失函数，λ
C
表示第二损失函数的权重。
[0031]第二方面，本专利技术的实施例提供了一种基于特征一致性的眼底图像增强系统，所述眼底图像增强系统包括：
[0032]低质量眼底图像获取模块，用于获取低质量眼底图像序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征一致性的眼底图像增强方法，其特征在于，所述眼底图像增强方法包括：获取低质量眼底图像序列；将所述低质量眼底图像序列输入拉普拉斯金字塔，得到所述低质量眼底图像序列的多层金字塔特征；构建图像增强网络，并将每一层所述金字塔特征按照分辨率由大至小依次输入所述图像增强网络，得到每一层所述金字塔特征在所述图像增强网络的融合图像特征，根据所述融合图像特征得到增强眼底图像序列；通过所述增强眼底图像序列构建第一损失函数；计算所述每一层所述金字塔特征在所述图像增强网络的融合图像特征的池化特征，并根据所述池化特征构建第二损失函数；通过所述第一损失函数和所述第二损失函数计算得到最终损失函数，并通过所述最终损失函数的结果监督所述图像增强网络学习直至收敛，得到最终图像增强网络；所述最终图像增强网络用于对低质量眼底图像进行图像增强。2.根据权利要求1所述的基于特征一致性的眼底图像增强方法，其特征在于，所述图像增强网络为U型网络，且所述增强网络的层数与所述金字塔特征的层数一致。3.根据权利要求2所述的基于特征一致性的眼底图像增强方法，其特征在于，将每一层所述金字塔特征按照分辨率由大至小依次输入所述图像增强网络，通过如下方式得到所述增强眼底图像序列：将第一层所述金字塔特征输入至对应的第一层所述图像增强网络，得到第一层所述图像增强网络提取的图像特征；将第二层所述金字塔特征输入至对应的第二层所述图像增强网络，得到第二层所述图像增强网络提取的图像特征；并将第二层所述图像增强网络提取的图像特征与第一层所述图像增强网络提取的图像特征通过下采样的方式融合得到第二层所述图像增强网络输出的融合图像特征；将第三层所述金字塔特征输入至对应的第三层所述图像增强网络，得到第三层所述图像增强网络提取的图像特征；并将第三层所述图像增强网络提取的图像特征与第二层所述图像增强网络输出的融合图像特征通过下采样的方式融合得到第三层所述图像增强网络输出的融合图像特征；依此类推，直至将第L层所述金字塔特征输入至对应的第L层所述图像增强网络，得到第L层所述图像增强网络提取的图像特征；并将第L层所述图像增强网络提取的图像特征与第L
‑
1层所述图像增强网络输出的融合图像特征通过下采样的方式融合得到第L层所述图像增强网络输出的融合图像特征；将每一层所述图像增强网络输出的融合图像特征从第L层开始依次进行上采样直至第一层所述图像增强网络输出的融合图像特征上采样结束，得到所述增强眼底图像序列，其中，所述金字塔特征一共L层。4.根据权利要求3所述的基于特征一致性的眼底图像增强方法，其特征在于，通过如下公式得到所述融合图像特征：
其中，表示图像增强网络输出的第l+1层融合图像特征中的第k个图像的融合图像特征，Conv(
·
)表示卷积操作，[
·
]表示特征拼接操作，表示第l+1层金字塔特征中...

【专利技术属性】
技术研发人员：刘江，刘浩锋，李衡，胡衍，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：