一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质，方法为：使用眼底图像样本训练教师网络，然后生成眼底图像样本的证据图谱；设计包括证据图谱预测和青光眼预测两个分支的多任务学生网络；根据青光眼分类标签、教师网络和学生网络的预测结果，设计样本先验加权系数和样本反馈损失系数，基于该两个系数设计学生网络的损失函数；以眼底图像样本同时作为学生网络两个预测分支的输入，以分类标签作为青光眼预测分支的输出，以标签证据图谱作为证据图谱预测分支的输出，基于损失函数训练学生网络；使用训练完毕的学生网络，生成待分类眼底图像的青光眼分类标签和证据图谱。本发明专利技术提升分类准确率并生成分类决策的证据图谱。分类决策的证据图谱。分类决策的证据图谱。

【技术实现步骤摘要】
一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质


[0001]本专利技术属于图像信息处理领域，特别涉及一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法。

技术介绍

[0002]青光眼已成为世界上第二大致盲眼病，威胁着超过6500万人的视觉健康。青光眼发展缓慢，其症状在早期阶段比较轻度，使患者很容易忽略病情，从而对其视力造成不可逆转的损害。因此，早期筛查和治疗对于防治青光眼至关重要。青光眼的常见临床诊断方法是视神经头(ONH)检查，是指眼科医生对眼底图像中的青光眼的病理现象和生理结构进行综合分析。主要的病理变化是神经视网膜边缘糜烂、视杯扩张、视网膜神经纤维层缺陷、视盘出血和β
‑ꢀ
区旁弧萎缩(β
‑
PPA)等，这些细微的病变为医生提供了诊断依据。
[0003]近年来，随着计算机技术的发展，已经提出了许多基于数字视网膜图像的青光眼辅助诊断算法，这些方法主要包括基于特征工程的机器学习方法和基于卷积神经网络(CNN)的深度学习方法。基于特征工程的方法依赖于从眼底图像中手动制作和提取一些青光眼的区别性特征，主要包括具有临床先验信息的结构特征，例如杯盘比(CDR)、视盘直径、视盘面积等或某些图像特征，例如灰度共生矩阵纹理特征、基于小波变换和基于gabor变换的特征。手工制作的特征很难完全表征青光眼，因此这种方法的青光眼诊断准确性受到限制。深度学习方法集特征提取和分类为一体，在生物医学图像分析中表现出优异的性能。因此，许多新的 CNN网络被设计用来改善青光眼的诊断性能，例如Fu等人提出一种视盘感知的融合网络模型DENet用于青光眼筛查，该融合模型拥有四条单线分支分别独立地进行青光眼筛查，最终的筛查结果由这四条预测分支投票决定，可以参考论文《Aisc
‑
aware ensemble network forglaucoma screening from fundus image》(载于IEEE transactions on medical imaging，2018年)。这种融合模型虽在检测精度上相比于单模型有一定提升，但是多模型带来的成倍计算消耗不可忽视，导致其难以大规模应用于实际临床诊断筛查。此外，该方法对于青光眼硬样本的挖掘能力不足，面对不均衡数据集依然会产生预测偏差，还缺乏一定的可解释性。而另一种网络EAMNet以ResNet为骨架，将ResNet不同层的特征图进行全局平均池化后再连接到全连接层以实现青光眼分类，该方法根据每张特征图对应的全连接层的权重来加权不同的特征图以生成证据图谱，从而提供可解释性，可以参考论文《Clinical Interpretable Deep Learning Modelfor Glaucoma Diagnosis》(载于IEEE Journal of Biomedical and Health Informatics，2019年)。但是这种方法对于特征图进行全局平均池化会导致信息损失，并且只根据对应的权重对特征图进行加权来生成证据图谱缺乏可靠性。此外，该方法无法克服青光眼硬样本的干扰，筛查准确度受限制。总之，现有的青光眼筛查方法由于以下难题都面临着性能瓶颈：a.训练样本比例不均衡。大多数开源数据集或临床收集数据集都有很大一部分正常类的眼底图像，而青光眼阳性样本通常很少。如果使用具有不平衡类别的数据集训练模型，将导致预测出现偏
差。 b.一些硬样本的存在会影响模型的准确性。在青光眼发病的早期阶段，症状较轻，难以区分。一些患者先天性视神经发育不良或伴有其他眼科疾病和外伤，该模型很难正确识别这些稀有硬样本，从而降低其敏感性和准确性，这在其临床应用中是不可接受的。c.类间差异很小，但是类内差异很大。青光眼有多种类型，其眼底图像特征不同。青光眼和非青光眼之间的总体差异很小，因此该模型的准确性难以进一步提高。d.缺乏可解释性。由于诸如CNN之类的模型具有黑匣子特征，因此无法提供诊断证据，这使其无法满足临床应用标准。
[0004]课程学习为改善非凸优化和模型泛化性能提供了新思路。古典课程学习根据任务难度对样本进行排序。在训练过程中，训练数据集从简单样本逐渐扩展为困难样本，以提高训练模型的性能。尽管课程学习可以通过从困难到容易的顺序训练模型来增强泛化能力，但是现有方法仍然不能完全克服青光眼自动诊断算法存在的上述问题。面对训练样本分布不均，存在硬样本以及类间相似度较大的情况，预测结果存在偏差，无法进一步提高模型的训练效果。更重要的是，这些方法通常缺乏可解释性，并且无法可视化用于诊断青光眼的决策依据。
[0005]在此背景下，研究一种可同时进行青光眼的无偏筛查和模型决策区域可视化的多任务课程式学习方法尤其重要。

技术实现思路

[0006]本专利技术提供一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法，可以解决已有青光眼筛查方法难以克服训练样本不均衡分布、无法准确识别困难样本实现无偏筛查并且缺乏一定可解释性的问题。
[0007]为实现上述技术目的，本专利技术采用如下技术方案：
[0008]一种基于多任务课程式学习的眼底图像分类方法，包括以下步骤：
[0009]步骤A，设计基于自注意力机制的教师网络；以眼底图像样本作为输入、青光眼分类标签作为输出，对教师网络进行监督训练；使用训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱；
[0010]步骤B，设计多任务学生网络，包括证据图谱预测分支和青光眼预测分支；
[0011]步骤C，根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果，设计眼底图像样本的样本先验加权系数θ；根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果，设计眼底图像样本的样本反馈损失系数α；根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α，设计训练多任务学生网络的损失函数；
[0012]步骤D，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于步骤C设计的损失函数训练多任务学生网络；
[0013]步骤E，将待分类的眼底图像输入至训练完毕的学生网络，输出得到待分类的眼底图像的青光眼分类标签和证据图谱。
[0014]在更优的技术方案中，所述教师网络依次包括：移除全连接层的ResNet
‑
34主干结构、卷积层、GC自注意力机制模块、全局平均池化层和全连接层；其中，在移除全连接层的 ResNet
‑
34主干结构中，第2至第5个池化层的输出均被降采样为同一预设值大小并合并，合并结果经过卷积层进行通道压缩，再跟上GC自注意力机制模块，最后经过全局平均池化层
和全连接层进行预测分类。
[0015]在更优的技术方案中，采用Grad CAM++算法根据训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱，得到的标签证据图谱为像素值为0
‑
1的激活图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务课程式学习的眼底图像分类方法，其特征在于，包括以下步骤：步骤A，设计基于自注意力机制的教师网络；以眼底图像样本作为输入、青光眼分类标签作为输出，对教师网络进行监督训练；使用训练完毕的教师网络生成每个眼底图像样本对应的证据图谱；步骤B，设计多任务学生网络，包括证据图谱预测分支和青光眼预测分支；步骤C，根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果，设计眼底图像样本的样本先验加权系数θ；根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果，设计眼底图像样本的样本反馈损失系数α；根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α，设计训练多任务学生网络的损失函数；步骤D，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的证据图谱作为证据图谱预测分支的输出，基于步骤C设计的损失函数训练多任务学生网络；步骤E，将待分类的眼底图像输入至训练完毕的学生网络，输出得到待分类的眼底图像的青光眼分类标签和证据图谱。2.根据权利要求1所述的眼底图像分类方法，其特征在于，所述教师网络从输入至输出依次包括：移除全连接层的ResNet
‑
34主干结构、卷积层、GC自注意力机制模块、全局平均池化层和全连接层；其中，在移除全连接层的ResNet
‑
34主干结构中，第2至第5个池化层的输出均被降采样为同一预设值大小并合并，合并结果经过卷积层进行通道压缩，再跟上GC自注意力机制模块，最后经过全局平均池化层和全连接层进行预测分类。3.根据权利要求1所述的眼底图像分类方法，其特征在于，采用Grad CAM++算法根据训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱，得到的标签证据图谱为像素值为0
‑
1的激活图。4.根据权利要求1所述的眼底图像分类方法，其特征在于，所述多任务学生网络的青光眼预测分支包括五个阶段的卷积模块，最后一个卷积模块后跟上一个全连接层用于预测分类，每个阶段的卷积模块包括若干个残差模块并且在最后一个残差块后连接一个池化层；所述多任务学生网络的证据图谱预测分支包括三个阶段卷积模块，与青光眼预测分支的前三个阶段相同；证据图谱预测分支的每个阶段卷积模块对应设置一个映射层，用于将证据图谱预测分支各阶段的输出特征图为映射为相同大小；所述证据图谱预测分支还包括多孔金字塔池化模块和sigmoid激活层，多孔金字塔池化模块对映射得到的大小相同的特征图进行解码，再由sigmoid激活层进行激活，输出得到证据图谱；将证据图谱预测分支输出的证据图谱，按青光眼预测分支的第三个阶段的输出特征图尺寸进行下采样，再将下采样得到的图像与青光眼预测分支的第三个阶段的输出特征图进行广播相乘，再输出到证据图谱预测分支第四个阶段的卷积模块。5.根据权利要求4所述的眼底图像分类方法，其特征在于，所述多任务学生网络在证据图谱预测分支和青光眼预测分支之间还设置协同学习模块，设证据图谱预测分支第i个阶段的卷积模块输出特征图为E
i
，设青光眼预测分支第i个阶段的卷积模块输出特征图为G
i
，协同学习模块的计算表示为：
式中，[,]表示特征图的合并操作，i∈{1,2}，g和f表示用于学习特征交互作用映射关系的卷积操作，表示逐像素相加合并；和分别是协同学习模块输出的特征图；然后将特征图和分别替代G
i
和E
i
作为青光眼预测分支和证据图谱预测分支第i+1个阶段卷积模块的输入特征图。6.根据权利要求1所述的眼底图像分类方法，其特征在于，眼底图像样本的样本先验加权系数θ和样本反馈损失系数α的计算式为：权系数θ和样本反馈损失系数α的计算式为：权系数θ和样本反馈损失系数α的计算式为：权系数θ和样本反馈损失系数α的计算式为：式中，i是眼底图像样本的标号，θ
i
是眼底图像样本i对应的样本先验加权系数，是眼底图像样本i对应的先验加权作用条件系数，是教师...

【专利技术属性】
技术研发人员：郭璠，李伟清，申子奇，杨佳男，刘卓群，王志远，
申请(专利权)人：中南大学，
类型：发明
国别省市：