基于虚拟全局代理的糖网眼底图像分级方法和设备技术

基于虚拟全局代理的糖网眼底图像分级方法和设备，属于图像分级技术领域，解决糖网眼底图像样本分布不均衡造成的模型分级精确度低问题。本发明专利技术方法包括：虚拟全局代理方法中根据所有训练样本数据集的分布情况进行虚拟全局代理带点的选择；基于虚拟全局代理方法提出一种线性动态镜像特征合成方法，利用外部存储空间来保存过往的训练样本特征从而使得模型在进行样本特征合成的时候可以利用到全部的数据集特征，根据当前训练批次的状态对外部存储空间中保存的样本特征进行一个动态的调整；同时，还根据当前训练过程中少数类别样本的平均损失占比差值来动态的控制样本的生成。本发明专利技术适用于糖网眼底图像分级。本发明专利技术适用于糖网眼底图像分级。本发明专利技术适用于糖网眼底图像分级。

【技术实现步骤摘要】
基于虚拟全局代理的糖网眼底图像分级方法和设备


[0001]本申请涉及图像分级
，尤其涉及糖网眼底图像分级。

技术介绍

[0002]糖尿病视网膜眼底病变分级是深度学习在医学图像处理领域中的一个典型应用。该任务中的网络模型预测能力受到许多因素的干扰，主要是由于眼底图像数据集中的图像特征具有较高的相似度，仅在病变点上存在一些不同。这会使得网络模型难以提取数据集中的关键信息，并导致分类效果不理想。因此，如何提高网络模型的预测准确率，以及如何将其应用于生产实践，一直是医学图像分类领域的研究热点。研究人员需要探索新的方法和技术，以提高网络模型对眼底图像的特征提取和分类能力，从而为医学诊断和治疗提供更加准确和可靠的支持。
[0003]通常基于度量学习的医学图像分类的方法都会通过样本图像之间特征的相似性来衡量样本的语义相似度，从而使得计算机能够对图像的内容进行理解与分类。基于代理的损失则能够快速、可靠地收敛，但是其无法考虑到丰富的数据与数据之间的关系。
[0004]但是，由于显卡的显存容量限制，网络模型在训练的过程中只能以分批次的形式加载数据集进行训练，而这种训练方式会使得网络模型只能通过局部少量数据的分布情况进行更新，导致更新受到限制，可能会向着错误的方向进行更新，从而导致模型的偏置。此外，局部的样本特征分布难以完整反映整个数据集的特征分布，这也会使得利用局部样本特征对模型进行更新容易造成偏置。
[0005]在大多数的医学图像数据集中，往往都会存在比较严重的样本分布不均衡问题。过少的患病严重患者的样本数据量将会直接导致该类别样本在训练过程中样本信息的缺乏。以往的深度度量学习方法大多采用Hard
‑
negative挖掘策略来缓解训练过程中信息样本的缺乏带来的影响。然而，这种挖掘方法仅仅只利用到了训练数据集中的一个子集，从而使得模型难以全面的描述嵌入空间的全局几何形状。
[0006]现有技术提出了一种基于内存机制的跨批次训练方法（XBM），可以使得模型能够考虑到更多的样本信息。但在XBM中仍然存在一定的限制，外部存储空间中保存的数据无法及时的随着模型的更新而做出相应的调整，这就会使得外部储存空间中保存的样本特征会与当前模型存在一定的偏差，利用这些存在偏差的数据对模型进行更新难免会使得模型受到一定的限制。
[0007]现有方法开始考虑生成潜在的Hard
‑
negative样本来为模型提供额外的样本信息来充分训练模型。然而，目前的方法也有几个缺点。首先，生成样本的Hard
‑
level无法得到精准的控制。其次，它们都需要一种对抗性的方式来训练生成器，这使得模型难以端到端学习，训练过程也非常不稳定。
[0008]现有方法还提出了一种HDML框架来动态的控制生成的样本，但是该方法仍然存在一些问题，首先，合成的样本是根据训练过程中Mini
‑
batch中的样本信息通过线性插值而来，这就会使得合成的样本信息难以全面反映出真实的样本特征。其次，该方法在进行样本
合成时仅仅通过训练过程中的平均损失来控制合成样本的Hard
‑
level。在某些情况下这种控制样本合成的方法可能会进一步加重训练过程中样本分布不均衡的程度。

技术实现思路

[0009]本专利技术目的是为了解决现有技术针对糖网眼底图像的样本分布不均衡及模型分级精确度低的问题，提供了基于虚拟全局代理的糖网眼底图像分级方法和设备。
[0010]本专利技术是通过以下技术方案实现的，本专利技术一方面，提供一种基于虚拟全局代理的糖网眼底图像分级方法，所述方法包括：建立基于虚拟全局代理的神经网络模型；利用所述基于虚拟全局代理的神经网络模型，对糖网眼底图像进行分级；其中，所述基于虚拟全局代理的神经网络模型的建立方法，具体包括：步骤1、获取糖网眼底图像样本数据集，所述糖网眼底图像样本数据集包含图像及其对应的分类标签；步骤2、利用CNN神经网络对所述眼底图像进行特征提取，使用Tml损失作为损失函数将提取的特征向量映射到一个嵌入空间内，在模型训练迭代预设次数后，此时暂停梯度回传；步骤3、使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理点；步骤4、对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，使用Tml损失函数并结合Vgpl损失函数对CNN神经网络进行优化，以选出虚拟全局代理点作为Vgpl损失函数初始代理点，以继续梯度回传更新网络参数，直至损失收敛，迭代训练结束；其中的Vgpl为基于代理的损失，Tml为基于样本对的损失。
[0011]进一步地，步骤2中，所述CNN神经网络达到预设迭代次数之前使用Tml损失函数，达到预设迭代次数之后同时使用Tml损失函数和Vgpl损失函数。
[0012]进一步地，步骤3，具体包括：步骤3.1、对整个训练数据集进行采样并获取数据集的空间嵌入表示；步骤3.2、对训练数据集的嵌入空间表示按照样本类别进行划分有，其中代表着嵌入空间中类别为的样本集合；步骤3.3、计算样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量，计算公式为：其中，为代表着嵌入空间中类别为的样本集合，为使得集合中存在至少一个样本使得满足条件的最小值，为集合中的第个样本，为两个样本点和之间的欧氏距离；步骤3.4、对于样本集合中的第个样本，要求与之对应的应当满足下面的公式：
其中为集合中的样本数量，为一个小于1的非零常量；的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高；将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合；步骤3.5、对所有类别重复步骤3.3
‑
步骤3.5，得到所有类别的候选样本点集合；步骤3.6、通过下面的公式求取每个类别的虚拟全局代理点：其中，为集合中的样本数量，为中的一个样本，为类别的样本所对应的虚拟全局代理。
[0013]进一步地，步骤4中，所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，具体包括：步骤4.1、将步骤2中CNN神经网络提取的特征向量映射成的嵌入空间表示保存到Feature memory bank中；步骤4.2、获取训练过程中mini
‑
batch中的少数类别，建立所述mini
‑
batch中的少数类别样本集合，其中代表着类别为的少数类别样本集合；步骤4.3、在Feature memory bank中获取集合所对应的镜像样本特征集合，其中为镜像样本特征集合中类别为的样本特征集合；步骤4.4、利用步骤4.2中的所述少数类别样本集合和步骤4.3中的所述镜像样本特征集合，获取少数类别样本的平均特征变化量；步骤4.5、获取Feature memory bank中非本批次mini
‑
batch的其他少数类样本集合，其中为集合中的类别为的样本特征集合；按下面公式对进行更新，公式如下：其中为集合中的类别为的样本特征集合，为类别为的样本所对应的平均特征变化量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，所述方法包括：建立基于虚拟全局代理的神经网络模型；利用所述基于虚拟全局代理的神经网络模型，对糖网眼底图像进行分级；其中，所述基于虚拟全局代理的神经网络模型的建立方法，具体包括：步骤1、获取糖网眼底图像样本数据集，所述糖网眼底图像样本数据集包含图像及其对应的分类标签；步骤2、利用CNN神经网络对所述眼底图像进行特征提取，使用Tml损失作为损失函数将提取的特征向量映射到一个嵌入空间内，在模型训练迭代预设次数后，此时暂停梯度回传；步骤3、使用Selecter算法为每一个类别的样本都选择出一个与之对应的虚拟全局代理点；步骤4、对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，使用Tml损失函数并结合Vgpl损失函数对CNN神经网络进行优化，以选出虚拟全局代理点作为Vgpl损失函数初始代理点，以继续梯度回传更新网络参数，直至损失收敛，迭代训练结束；其中的Vgpl为基于代理的损失，Tml为基于样本对的损失。2.根据权利要求1所述的一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，步骤2中，所述CNN神经网络达到预设迭代次数之前使用Tml损失函数，达到预设迭代次数之后同时使用Tml损失函数和Vgpl损失函数。3.根据权利要求1所述的一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，步骤3，具体包括：步骤3.1、对整个训练数据集进行采样并获取数据集的空间嵌入表示；步骤3.2、对训练数据集的嵌入空间表示按照样本类别进行划分有，其中代表着嵌入空间中类别为的样本集合；步骤3.3、计算样本集合中第个样本与该集合中所有样本之间距离小于等于的样本的数量，计算公式为：其中，为代表着嵌入空间中类别为的样本集合，为使得集合中存在至少一个样本使得满足条件的最小值，为集合中的第个样本，为两个样本点和之间的欧氏距离；步骤3.4、对于样本集合中的第个样本，要求与之对应的应当满足下面的公式：其中为集合中的样本数量，为一个小于1的非零常量；的数值越大则代表着对应的样本点周边存在的同类别样本的比例越高；
将每一个满足的取值最小并且存在的样本点构成一个候选样本点集合；步骤3.5、对所有类别重复步骤3.3
‑
步骤3.5，得到所有类别的候选样本点集合；步骤3.6、通过下面的公式求取每个类别的虚拟全局代理点：其中，为集合中的样本数量，为中的一个样本，为类别的样本所对应的虚拟全局代理。4.根据权利要求3所述的一种基于虚拟全局代理的糖网眼底图像分级方法，其特征在于，步骤4中，所述对少数类使用线性动态镜像特征合成方法合成具有不同学习价值的镜像样本特征，具体包括：步骤4.1、将步骤2中CNN神经网络提取的特征向量映射成的嵌入空间表示保存到Feature memory bank中；步骤4.2、获取训练过程中mini
‑
batch中的少数类别，建立所述mini
‑
batch中的少数类别样本集合，其中代表着类别为的少数类别样本集合；步骤4.3、在Feature memory ban...

【专利技术属性】
技术研发人员：刘萍萍，商文理，杨晓康，杜广新，周求湛，
申请(专利权)人：吉林大学，
类型：发明
国别省市：