一种基于知识蒸馏网络检测眼底图像类型的方法及装置制造方法及图纸

本发明专利技术公开了一种基于知识蒸馏网络检测眼底图像类型的方法及装置，方法包括步骤：在教师网络和学生网络之间设置若干个教师辅助网络，得到基础网络架构；在所述基础网络架构中的每一个网络的最后特征输出层中增设稠密传输模块，在所述基础网络构架中的任意两个相邻网络之间设置对抗学习网络的判别器，构建知识蒸馏网络模型模型；将已标记眼底图像输入到所述知识蒸馏网络模型中进行训练，得到训练后知识蒸馏网络模型；将待测眼底图像输入到所述训练后知识蒸馏网络模型，输出待测眼底图像的类型。本发明专利技术方法能够有效地避免蒸馏过程中的特征信息损失，使得学生网络能以较小的尺寸实现对眼底图像类型较高的预测精度。现对眼底图像类型较高的预测精度。现对眼底图像类型较高的预测精度。

【技术实现步骤摘要】
一种基于知识蒸馏网络检测眼底图像类型的方法及装置


[0001]本专利技术涉及深度学习算法应用领域，特别涉及一种基于知识蒸馏网络检测眼底图像类型的方法及装置。

技术介绍

[0002]早产儿视网膜病变(ROP)是低出生体重儿常见的视网膜疾病，也是儿童失明的主要原因。AP
‑
ROP是一种特殊的ROP，其特征是视网膜血管发育中的血管增生性疾病，如果干预不及时，可能会导致不可逆转的视觉损害。因此，AP
‑
ROP也被视为最严重的ROP类型之一，对其进行准确、客观、高效的鉴别已成为学术界、医疗界共同关注的课题。
[0003]准确的鉴别有助于临床医生做出相应的科学判断，选择合适的诊断和治疗方法。特别地，AP
‑
ROP的发病率相对较低，许多眼科医生在区分常规ROP和AP
‑
ROP方面经验不足。常规ROP、AP
‑
ROP和正常眼底图像的示意图如图1所示。可以观察到，常规ROP与AP
‑
ROP在外观和特征上极为相似，这是眼科医师准确、快速鉴别的一大障碍。因此，计算机辅助诊断对于帮助临床医生对常规ROP和AP
‑
ROP进行客观评估显得尤为重要。
[0004]因卷积神经网络能够利用其强大的特征提取能力表征图像所具的显著特征，已被广泛应用于医学图像处理。然而，由于卷积神经网络一般具有较多的网络参数，使得网络模型的复杂度较高，对于嵌入式设备的算法移植造成很大的挑战，导致对ROP和AP
‑
ROP的图像识别效率较低。
[0005]因此，现有技术还有待于改进和发展。

技术实现思路

[0006]本专利技术要解决的技术问题在于，针对现有技术的不足，提供一种基于知识蒸馏网络检测眼底图像类型的方法及装置，旨在解决现有深度学习方法对眼底图像的类别识别准确率较低的问题。
[0007]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0008]一种基于知识蒸馏网络检测眼底图像类型的方法，其中，包括步骤：
[0009]在教师网络和学生网络之间设置若干个教师辅助网络，得到基础网络架构；
[0010]在所述基础网络架构中的每一个网络的最后特征输出层中增设稠密传输模块，在所述基础网络构架中的任意两个相邻网络之间设置对抗学习网络的判别器，构建知识蒸馏网络模型模型；
[0011]将已标记眼底图像输入到所述知识蒸馏网络模型中进行训练，得到训练后知识蒸馏网络模型，所述已标记眼底图像包括正常眼底图像、ROP眼底图像以及AP
‑
ROP眼底图像；
[0012]将待测眼底图像输入到所述训练后知识蒸馏网络模型，输出待测眼底图像的类型。
[0013]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，所述教师网络为ResNet
‑
34网络、ResNet
‑
50网络或ResNet
‑
101中的一种，所述学生网络为具有6个残差层的网络结
构，所述教师辅助网络为具有18、14、10、8个残差层的网络结构中的一种或多种。
[0014]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，所述稠密传输模块用于将教师网络和学生网络的最后输出以KL散度作为损失函数，约束学生网络的输出并蒸馏教师网络学习到的特征。
[0015]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，定义教师网络和学生网络的最后输出为T
o
和S
o
，则利用KL散度计算KD损失可表达为：其中，是一个超参数，控制教师网络和学生网络的软信号输出。
[0016]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，所述稠密传输模块还用于对基础网络架构中每个网络的最后特征输出层进行稠密传输处理，并以L1和L2范数约束每个网络的特征输出。
[0017]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，定义教师网络和学生网络的最后特征输出层的特征分别为f
up
和f
low
，则其最后特征输出层的损失函数为：
[0018]L1＝|f
up
‑
f
low
|1，L2＝||f
up
‑
f
low
||2；定义教师辅助网络的蒸馏损失为i为教师辅助网络的数量索引。
[0019]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，所述对抗学习网络的判别器由两个卷积核大小为1的卷积层、一个自适应平均池化层、全连接层及一个Sigmoid层组成。
[0020]所述基于知识蒸馏网络检测眼底图像类型的方法，其中，所述判别器用于对基础网络构架中的任意两个相邻网络的输出特征进行特征空间对齐
[0021]一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本专利技术基于知识蒸馏网络检测眼底图像类型的方法中的步骤。
[0022]一种基于知识蒸馏网络检测眼底图像类型的装置，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本专利技术所述基于知识蒸馏网络检测眼底图像类型的方法中的步骤。
[0023]有益效果：本专利技术提出了基于知识蒸馏网络检测眼底图像类型的方法，在教师网络与学生网络间加入若干个教师辅助网络，利用稠密连接的原理，对网络的最后输出以及每个网络的最后特征输出层进行稠密蒸馏，最大可能地降低蒸馏过程中的特征信息损失；此外，为使得两个相邻网络的特征能够尽可能保持一致性，达到蒸馏信息损失最小化，本方法利用对抗学习网络对两个相邻网络的输出特征进行特征空间对齐。本专利技术方法能够有效地避免蒸馏过程中的特征信息损失，使得学生网络能以较小的尺寸实现对眼底图像类型较高的预测精度。本专利技术为利用彩色眼底图像筛查常规ROP和AP
‑
ROP的计算机辅助诊断系统的设计提供了新思路，也可为轻量级的便携式和嵌入式设备开发提供技术支持。
附图说明
[0024]图1为常规ROP、AP
‑
ROP和正常眼底图像的展示图。
[0025]图2为本专利技术一种基于知识蒸馏网络检测眼底图像类型的方法较佳实施例的流程图。
[0026]图3为本专利技术一种基于知识蒸馏网络检测眼底图像类型的方法框架图。
[0027]图4为本专利技术对抗学习网络的判别器结构组成图。
[0028]图5为三种蒸馏策略下的分类对比结果图。
[0029]图6为本专利技术一种基于知识蒸馏网络检测眼底图像类型的装置原理框图。
具体实施方式
[0030]本专利技术提供一种基于知识蒸馏网络检测眼底图像类型的方法及装置，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏网络检测眼底图像类型的方法，其特征在于，包括步骤：在教师网络和学生网络之间设置若干个教师辅助网络，得到基础网络架构；在所述基础网络架构中的每一个网络的最后特征输出层中增设稠密传输模块，在所述基础网络构架中的任意两个相邻网络之间设置对抗学习网络的判别器，构建知识蒸馏网络模型模型；将已标记眼底图像输入到所述知识蒸馏网络模型中进行训练，得到训练后知识蒸馏网络模型，所述已标记眼底图像包括正常眼底图像、ROP眼底图像以及AP
‑
ROP眼底图像；将待测眼底图像输入到所述训练后知识蒸馏网络模型，输出待测眼底图像的类型。2.根据权利要求1所述基于知识蒸馏网络检测眼底图像类型的方法，其特征在于，所述教师网络为ResNet
‑
34网络、ResNet
‑
50网络或ResNet
‑
101中的一种，所述学生网络为具有6个残差层的网络结构，所述教师辅助网络为具有18、14、10、8个残差层的网络结构中的一种或多种。3.根据权利要求1所述基于知识蒸馏网络检测眼底图像类型的方法，其特征在于，所述稠密传输模块用于将教师网络和学生网络的最后输出以KL散度作为损失函数，约束学生网络的输出并蒸馏教师网络学习到的特征。4.根据权利要求3所述基于知识蒸馏网络检测眼底图像类型的方法，其特征在于，定义教师网络和学生网络的最后输出为T
o
和S
o
，则利用KL散度计算KD损失可表达为：其中，是一个超参数，控制教师网络和学生网络的软信号输出。5.根据权利要求1所述基于知识蒸馏网络检测眼底图像类型的方法，...

【专利技术属性】
技术研发人员：谢海，雷柏英，张国明，汪天富，陈懿，田汝银，
申请(专利权)人：深圳大学，
类型：发明
国别省市：