一种基于测试时自适应的眼底图像分类方法技术

本发明专利技术公开了一种基于测试时自适应的眼底图像分类方法，首先进行眼底图像数据集获取及数据预处理；然后基于测试时自适应的眼底图像分类模型的构建，通过预处理后的数据对构建的眼底图像分类模型进行训练；最后通过训练好的眼底图像分类模型从而完成对青光眼类别的眼底图像识别。本发明专利技术采用贝塞尔曲线变换的方式，可将输入的单源域眼底图像的风格进行随机变换从而迫使模型去学习具有泛化性的内容信息。通过这种方式可增强模型在未知域上的鲁棒性，使其不受变换的风格信息所干扰。本发明专利技术在实际使用阶段，采用测试时自适应的策略对模型进行进一步的更新，防止未知域的未见风格信息的干扰来增强模型的泛化性。的干扰来增强模型的泛化性。的干扰来增强模型的泛化性。

【技术实现步骤摘要】
一种基于测试时自适应的眼底图像分类方法


[0001]本专利技术涉及机器学习、领域泛化以及计算机辅助诊断等领域，尤其涉及一种基于测试时自适应的眼底图像分类方法。

技术介绍

[0002]青光眼作为全球范围内不可治愈的终生性疾病，是导致视力丧失的主要原因。因此，青光眼的早期筛查和治疗对于预防视力下降具有重要作用。近些年来，使用深度学习的图像分类方法来辅助医师来加快对青光眼疾病筛查的趋势越来越明显。虽然基于深度学习的眼底图像分类方法最近取得了较好的进展并能有效的从眼底图像中识别出属于青光眼类别的图像，然而它依赖于大规模的标记数据进行监督，同时要求标注的训练集和待测试的测试集独立同分布。这一限制大大降低了模型的实用性和泛化性。为了使模型能够在未知分布的眼底图像中也能有效的识别出青光眼，一种域泛化的技术被提出。然而，现有的基于域泛化的图像分类方法仅寻求从已有标注的源域数据集上找到具有泛化性的特征，缺乏测试时对未知眼底图像风格信息的挖掘与利用。

技术实现思路

[0003]为了解决
技术介绍
中现有的基于域泛化的图像分类方法中的不足，本专利技术提出了一种基于测试时自适应的眼底图像分类方法。
[0004]一种基于测试时自适应的眼底图像分类方法，包括如下步骤：
[0005]步骤1：眼底图像数据集获取及数据预处理；
[0006]步骤2：基于测试时自适应的眼底图像分类模型的构建；
[0007]眼底图像分类模型包括：风格变换模块、特征提取器、重建解码器、内容分类器和风格分类器。
[0008]步骤3：通过预处理后的数据对构建的眼底图像分类模型进行训练；
[0009]步骤4：实际使用中，通过训练好的眼底图像分类模型从而完成对青光眼类别的眼底图像识别；
[0010]进一步的，眼底图像来源于公开数据集REFUGE，选用该数据集作为输入的单源域。对于未知域眼底图像，选择公开数据集ORIGA,该数据集。
[0011]数据集预处理包括使用归一化操作使眼底图像的像素值归一到(0，1)，此外，还采用缩放的操作来统一眼底图像尺度到256x256大小。
[0012]进一步的，步骤2具体方法如下：眼底图像分类模型包括：风格变换模块、特征提取器、重建解码器、内容分类器和风格分类器。
[0013]其中风格变换模块采用非线性变换函数贝塞尔曲线(Bezier Curve)将原始图像的像素映射到新的值上，实现改变图像风格的操作。特征提取器采用Resnet50作为主干网络用于提取眼底图像的高维特征。重建编码器由多个卷积层构成。用于对特征提取器提取的高维特征进行重建到原始输入相同尺度从而确保特征提取器提取的深层特征不丢失细
节信息。内容分类器和风格分类器采用Softmax分类层分别用来对风格变换的眼底图像进行预测以及原始源域眼底图像进行预测。
[0014]进一步的，步骤3具体方法如下：
[0015]眼底图像分类模型训练时利用步骤1中预处理后的眼底图像(单源域)作为模型的输入。前向推理时，单源域经过风格变换(Bezier Curve)后得到变换域的图像，然后将单源域图像和变换域后的图像分别各自送入到特征提取器中提取高维特征，接着送入到不同的分类器(内容分类器Cls1，风格分类器Cls2)得到各自的预测概率，变换域在分类损失L
cls1
监督下，特征提取器G
n
和内容分类器Cls1的参数得以更新，同理单源域在分类损失L
cls2
监督下，特征提取器G
s
和风格分类器Cls2的参数得以更新。最后为了使特征提取器G
s
减少对风格的学习，进一步的使用对抗损失L
adv
对特征提取器G
s
的参数进一步的更新。
[0016]进一步的，步骤3中所述的风格变换用于改变输入的眼底图像的风格，通过将入的眼底图像映射到新的值。具体而言，风格变换通过控制贝塞尔曲线(Bezier Curve)的四个参数(两个端点(P0和P3)和两个控制点(P1和P2))来完成风格的随机变换。贝塞尔曲线定义如下：其中t表示对输入的眼底图像进行归一化(0,1)后的眼底图像。其中P1＝(
‑
v,v)，P2＝(v,
‑
v)，v∈(0,1)。P0＝(
‑
1,m)，P1＝(1,
‑
m)，其中m为
‑
1和1组成的2元素集合中的随机任一元素。当m＝
‑
1为B(t)递增映射，m＝1时B(t)为递减映射。递增和递减的幅度有v∈(0,1)变量进行控制。
[0017]进一步的，步骤3中所述的对抗学习策略来约束特征提取器G
s
时其减少对风格的依赖，具体而言，采用对抗损失来更新特征提取器G
s
，其表达如下：其中λ
adv
是权重系数，N是最小批次数，K是类别数，表示源域的第j个样本经过特征提取器后的提取的高维特征，cls1是内容分类器。
[0018]进一步的，步骤3中的重建解码器用于对单源域x和变换域x
′
的眼底图像提取的特征进行约束使其通过重建解码器后仍能恢复之前的眼底信息的内容。具体而言，重建解码器损失L
rec
的定义如下：L
rec
＝E[||Rec(G
n
(x),G
s
(x
′
))
‑
x||1]，其中E表示数学期望，Rec表示重建解码器，G
s
表示单源域眼底图像x对应的特征提取器，G
n
表示变换域眼底图像x
′
对应的特征提取器。
[0019]进一步的，步骤4具体方法如下：
[0020]为了利用未知域青光眼图像的风格信息，在实际使用时，利用测试时自适应策略：对未知域青光眼图像进行强增强(高斯噪声)和弱增强(水平翻转和随机缩放)后送入到特征提取器G
s
以及风格分类器Cls1之中并利用预测一致性损失L
cons
进行更新G
s
、Cls1的参数，更新完成之后经风格分类器后得到未知域的青光眼分类结果。
[0021]进一步的，步骤4中所述的测试时自适应策略，通过对未知域眼底图像进行强增强α和弱增强β变换后利用预测一致性损失L
cons
约束其输出一致来进一步的在之前训练模型参数下更新特征提取器和风格分类器的参数来增强对未知域眼底图像风格的鲁棒性。其中预测一致性损失定义如下：其中cls1表示风格变换器，x
t
为未知域眼底图像，G
s
为特征提取器。
[0022]本专利技术相比于现有技术而言，具有以下有益效果：
[0023]1)本专利技术采用贝塞尔曲线变换的方式，可将输入的单源域眼底图像的风格进行随机变换从而迫使模型去学习具有泛化性的内容信息。通过这种方式可增强模型在未知域上的鲁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于测试时自适应的眼底图像分类方法，其特征在于，包括如下步骤：步骤1：眼底图像数据集获取及数据预处理；步骤2：基于测试时自适应的眼底图像分类模型的构建；眼底图像分类模型包括：风格变换模块、特征提取器、重建解码器、内容分类器和风格分类器；步骤3：通过预处理后的数据对构建的眼底图像分类模型进行训练；步骤4：实际使用中，通过训练好的眼底图像分类模型从而完成对青光眼类别的眼底图像识别。2.根据权利要求1所述的一种基于测试时自适应的眼底图像分类方法，其特征在于，眼底图像来源于公开数据集REFUGE，选用该数据集作为输入的单源域；对于未知域眼底图像，选择公开数据集ORIGA,该数据集。3.根据权利要求2所述的一种基于测试时自适应的眼底图像分类方法，其特征在于，数据集预处理包括使用归一化操作使眼底图像的像素值归一到(0，1)，此外，还采用缩放的操作来统一眼底图像尺度到256x256大小。4.根据权利要求1或2或3所述的一种基于测试时自适应的眼底图像分类方法，其特征在于，步骤2具体方法如下：眼底图像分类模型包括：风格变换模块、特征提取器、重建解码器、内容分类器和风格分类器；其中风格变换模块采用非线性变换函数贝塞尔曲线将原始图像的像素映射到新的值上，实现改变图像风格的操作；特征提取器采用Resnet50作为主干网络用于提取眼底图像的高维特征；重建编码器由多个卷积层构成；用于对特征提取器提取的高维特征进行重建到原始输入相同尺度从而确保特征提取器提取的深层特征不丢失细节信息；内容分类器和风格分类器采用Softmax分类层分别用来对风格变换的眼底图像进行预测以及原始源域眼底图像进行预测。5.根据权利要求4所述的一种基于测试时自适应的眼底图像分类方法，其特征在于，步骤3具体方法如下：眼底图像分类模型训练时利用步骤1中预处理后的眼底图像作为模型的输入；前向推理时，单源域经过风格变换后得到变换域的图像，然后将单源域图像和变换域后的图像分别各自送入到特征提取器中提取高维特征，接着送入到不同的分类器得到各自的预测概率，变换域在分类损失L
cls1
监督下，特征提取器G
n
和内容分类器Cls1的参数得以更新，同理单源域在分类损失L
cls2
监督下，特征提取器G
s
和风格分类器Cls2的参数得以更新；最后为了使特征提取器G
s
减少对风格的学习，进一步的使用对抗损失L
adv
对特征提取器G
s
的参数进一步的更新。6.根据权利要求5所述的一种基于测试时自适应的眼底图像分类方法，其特征在于，步骤3中所述的风格变换用于改变输入的眼底图像的风格，通过将入的眼底图像映射到新的值；具体而言，风格变换通过控制贝塞尔曲线(BezierCurve)的四个参数(两个端点(P0和P3)和两个控制点(P1和P2))来完成风格的随机变换；贝塞尔曲线定义如下：其中t表...

【专利技术属性】
技术研发人员：颜成钢，程志明，王帅，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：