一种眼科体征保持的眼底图像增强方法技术

本发明专利技术属于医学图像处理技术领域，具体为一种眼科体征保持的眼底图像增强方法。本发明专利技术方法采用基于CycleGAN的图像增强网络模型，该模型包括一个血管分割网络和由两个生成器、两个判别器组成的转换增强网络；考虑到眼底图像的特殊性，本发明专利技术模型除使用转换损失外，引入血管分割损失和结构损伤作为约束，使得增强后的眼底图像能够更好地保留眼底血管细节和病理形态结构。实验结果表明，本方法可以有效增强眼底图像，保留眼底体征，提高图像质量，使增强后的眼底图像更有利于临床医疗诊断；SSGAN模型在客观评价指标和眼科医生的主观评价结果表明优于现有模型，能有效地实现眼底图像增强，具有广泛的应用前景。具有广泛的应用前景。具有广泛的应用前景。

【技术实现步骤摘要】
一种眼科体征保持的眼底图像增强方法


[0001]本专利技术属于医学图像处理
，具体涉及眼底图中眼科体征保持的眼底图像增强方法。

技术介绍

[0002]眼底图像是由眼底相机拍摄生成的图像，能够观察到黄斑、视盘等重要的眼底组织，是各类眼科疾病检查和诊断中常用且重要的依据。当前眼科检查广泛采用的眼底图成像设备具有成像速度快且成本低等优点，但成像的眼底图存在整体光照分布不均匀、眼睑睫毛遮挡、边缘伪影、眼科体征对比度较差等问题，影响了临床医师的诊断效率和精度，也进一步阻碍了下游的眼底血管分割、中心凹定位等眼底图像分析任务的发展。而新型高端眼底成像设备虽然存在价格高昂、普及率低、拍摄时间长等问题，但眼科体征可以得到高保真度成像，图像质量非常适合眼科医师诊断。在这种情况下，将传统设备拍摄的普通眼底图像转换增强为真彩高清的高质量的眼底图像，进而实现两种成像方式优点的有效融合，具有重要的研究意义和现实应用价值。
[0003]现阶段用于增强眼底图像的方法主要分为两类，一类是基于传统数字图像处理的增强方法，另一类是基于深度学习的增强方法。
[0004]基于传统数字图像处理技术的增强方法，主要包括基于直方图的方法，如直方图均衡化
[1]，动态直方图均衡化
[2]和对比度受限的自适应直方图均衡化
[3][4]；基于变换分析的方法，如小波变换
[5]，非下采样轮廓波变换
[6][7]；以及基于Retinex理论的方法
[8][9]。早期的眼底图像增强任务大多是对传统的数字图像增强技术的直接应用，如Jintasuttisak等人
[4]提出使用对比度受限的自适应直方图均衡化方法
[3]对彩色眼底图像进行增强，E.Daniel等人
[5]则使用小波变换的方法对眼底图像进行了增强。同时，也有一些研究针对医学图像的特点在传统方法的基础上进行了改进，如Hsu等人
[1]提出了基于色彩保留的直方图医学图像直方图均衡化方法，在增强图像的同时更好地保留图像的原始色彩。
[0005]然而，这些方法都只是基于图像的统计学特征上对图像进行改变，只能直接对图像整体进行处理，没有考虑到医学图像中特征保留的重要性，容易出现色彩失真、局部噪声放大和特征丢失等问题。
[0006]基于深度学习的方法大多是有监督的，需要配对的图像作为训练集，但是收集并构造配对的原始图像/增强图像数据集是非常困难的，尤其是对于医学图像而言。Zhu J Y等人提出的循环生成对抗网络(Cycle
‑
GAN)
[10]为非配对图像之间的转换增强提供了一种有效的解决办法，该网络能够在非配对数据集上学习到原始图像域的特征并将其转换至目标图像域，因此出现了很多基于循环生成对抗网络的眼底图像增强方法。Yoo等人
[11]收集网络上公开的眼底图像并邀请眼科专家将图像分为带有伪影和不带伪影的两类，通过使用循环生成对抗网络在该非配对数据集上训练，基本实现了去除眼底图像伪影的工作。但是由于循环生成网络对图像内部的细节特征约束不足，只能学习到两个域之间的风格差异及图像的全局特征，所以转换得到的图像中局部细节特征保留得并不充分。注意到这个问题，
Wan C等人
[12]将注意力机制引入到循环生成对抗网络中，使得网络能够关注到更多的图像细节特征。马煜辉等人
[13]提出的StillGAN网络在循环生成对抗网络中引入了亮度和结构两个损失约束，能够转换生成亮度更均匀的医学图像。但是这些方法都没有考虑到眼底图像的特殊性，并未关注到眼底图像的具体体征，在对视盘和存在病变的区域进行增强时容易出现病灶变形等问题。
[0007]然而，在以上的工作中都没有考虑到眼底图像的特殊性，在增强过程中通常只关注于人眼主观效果而非有利于眼科医生诊断的眼底体征，导致增强后的图片会出现病灶变形的问题，影响到临床的医疗诊断的准确性。而眼底体征是眼科医生做出诊断的重要依据，比如眼底血管的长度、宽度和弯曲程度能为医生对糖尿病视网膜病变、青光眼做出诊断提供关键信息，尽可能准确地保留血管形态等关键体征是眼底图像增强模型的基本要求。
[0008]因此，为克服以上缺陷，本专利技术提出了一种血管分割一致性和结构相似性约束的循环生成对抗网络模型SSGAN(Segmentation and Structure constrained GAN)作为一种新的特征保留的眼底图像增强方法，引入分割损失和结构损失两个新的约束函数，使得增强得到的眼底图像能够更准确地保留眼底血管形态和结构细节特征，更好地保留原始图像的病灶形态。

技术实现思路

[0009]本专利技术的目的是为了克服现有技术中的不足，提供一种能有效保留眼底体征的眼底图像增强方法。
[0010]本专利技术提供的眼科体征保持的眼底图像增强方法，采用基于CycleGAN的图像增强网络模型SSGAN；所述SSGAN模型包括一个血管分割网络和由两个生成器(G
A
，G
B
)、两个判别器(D
A
，D
B
)组成的转换增强网络；其中：
[0011]所述生成器(G
A
，G
B
)，用于将输入图像转换到与生成器下标对应的图像域，生成器G
A
将输入图像转换到图像域A，生成器G
B
将输入图像转换到图像域B；每个生成器使用带有残差块的编码器
‑
解码器架构，所述编码器对输入图像进行特征提取，得到特征图，特征图输入到所述残差快中进行转换，获取新的特征表示，最后所述解码器将这些特征重建为新的图像，作为生成器输出；
[0012]其中，所述编码器由三层卷积组成，第一层使用7
×
7的卷积核对图像进行步长为1的卷积操作，剩余两层则接连使用3
×
3的卷积核，对图像进行步长为2的卷积操作。每一个卷积层后都紧跟着一个实例归一化层和一个ReLU激活函数，分别起到对单个图像进行归一化和引入非线性因素的作用；最后的输出是通道数为256的特征图。
[0013]其中，所述解码器与编码器的结构对称，同样由三层卷积组成，前两层使用3
×
3的卷积核，对特征图进行步长为2的转置卷积操作，每一次转置卷积之后都连接一个实例归一化层和一个ReLU激活函数，最后一层使用7
×
7的卷积核，进行步长为1的卷积，将特征还原为带有RGB三个通道的图像，并使用tanh激活函数放大特征效果，加快收敛速度。
[0014]其中，所述残差快使用带有9个卷积层的残差网络，用于对特征进行整理。
[0015]所述判别器(D
A
，D
B
)，用于对输入图像是否属于判别器对应的图像域做出判断，以判别器D
A
为例，D
A
需要能够分辨出输入图像是图像域A中的真实图像还是生成器G
A
生成的伪造图像，同样，D...

【技术保护点】

【技术特征摘要】
1.一种眼科体征保持的眼底图像增强的方法，其特征在于，采用基于CycleGAN的图像增强网络模型，记为SSGAN；SSGAN模型包括一个血管分割网络和由两个生成器(G
A
,G
B
)、两个判别器(D
A
,D
B
)组成的转换增强网络；其中：所述生成器(G
A
,G
B
)，用于将输入图像转换到与生成器下标对应的图像域，生成器G
A
将输入图像转换到图像域A，生成器G
B
将输入图像转换到图像域B；每个生成器使用带有残差块的编码器
‑
解码器架构，所述编码器对输入图像进行特征提取，得到特征图，特征图输入到所述残差快中进行转换，获取新的特征表示，最后所述解码器将这些特征重建为新的图像，作为生成器输出；所述判别器(D
A
,D
B
)，用于对输入图像是否属于判别器对应的图像域做出判断，以判别器D
A
为例，D
A
需要能够分辨出输入图像是图像域A中的真实图像还是生成器G
A
生成的伪造图像，同样，D
B
需要能够分辨出输入图像是图像域B中的真实图像还是生成器G
B
生成的伪造图像；所述血管分割网络，是在带有分割标注的眼底血管图像上预先训练好的一个U
‑
Net模型，用于从输入的图像中分割出眼底的血管体征；分割的结果可用于计算血管分割损失，对原始图像和增强图像之间的血管分布差异进行量化。2.根据权利要求1所述的眼科体征保持的眼底图像增强的方法，其特征在于，所述判别器(D
A
,D
B
)中：所述编码器由三层卷积组成，第一层使用7
×
7的卷积核对图像进行步长为1的卷积操作，剩余两层则接连使用3
×
3的卷积核，对图像进行步长为2的卷积操作；每一个卷积层后都紧跟着一个实例归一化层和一个ReLU激活函数，分别起到对单个图像进行归一化和引入非线性因素的作用；最后的输出是通道数为256的特征图；所述解码器与编码器的结构对称，同样由三层卷积组成，前两层使用3
×
3的卷积核，对特征图进行步长为2的转置卷积操作，每一次转置卷积之后都连接一个实例归一化层和一个ReLU激活函数，最后一层使用7
×
7的卷积核，进行步长为1的卷积，将特征还原为带有RGB三个通道的图像，并使用tanh激活函数放大特征效果，加快收敛速度；所述残差快使用带有9个卷积层的残差网络，用于对特征进行整理。3.根据权利要求2所述的眼科体征保持的眼底图像增强的方法，其特征在于，所述判别器使用PatchGANs结构，通过卷积操作将图像缩小为70
×
70大小的矩阵块，使用该矩阵作为最后的评价标准来判断输入图像是否为对应域中的真实图像。4.根据权利要求3所述的眼科体征保持的眼底图像增强的方法，其特征在于，所述血管分割网络模型分为下采样和上采样两个对称的过程；每个过程都具有五层；在下采样过程中的每一层进行两次卷积和非线性变换，得到的结果一方面再使用最大池化进行下采样，另一方面还进行裁剪复制后直接通过跳跃连接输送到上采样过程中；在上采样过程中的每一层都要对输入的特征图进行反卷积，将反卷积的结果与从跳跃连接得到的图像进行拼接，拼接后的结果再进行两次卷积来提取特征；最后使用2个1
×
1大小的卷积核将图像的特征通道变为2个，即分割的目标和背景，得到最终输出的分割图像；使用该输出计算出的分割损失用于优化转换增强图像的生成，使得环形转换网络中的生成器能够更多地关注眼底图像的血管细节，保证增强后图像较好地保有原始图像的眼底血管纹路细节。
5.根据权利要求4所述的眼科体征保持的眼底图像增强的方法，其特征在于，所述转换网络由两个所述生成器和所述判别器组成；训练中，使用的损失包...

【专利技术属性】
技术研发人员：韦巧玲，颜波，赵晨，谭伟敏，谷卓遥，
申请(专利权)人：复旦大学，
类型：发明
国别省市：