【技术实现步骤摘要】
本专利技术涉及计算机，具体来说涉及机器学习的不平衡学习领域，更具体地说，涉及一种用于图像分类模型的不平衡学习方法。
技术介绍
1、近年来，受益于精心收集的数据集，机器学习取得了巨大的成功，其中样本数量在类别间平衡[1]。然而，现实世界中的数据集通常是不平衡的，即只有少数类具有大量样本(即多数类)，而其他类只有少量样本(即少数类)[2]。由于该问题，朴素的经验风险最小化(empirical risk minimization，简称erm)学习会对多数类别产生偏见，因此对少数类别的泛化变得更为困难。因此，不平衡学习问题近年来受到越来越多的关注[3]。
2、一种简单但有效的不平衡学习方向是修改现有的交叉熵损失函数，使学习过程能更多关注少数类别。在该方向，现有方法通常分为两类：重加权(re-weighting)[4]和得分调整(logits adjustment，简称la)[5][6][7]。重加权方法将更大的权重分配给少数类别的损失。虽然该类方法符合直觉，但可能导致优化的困难和不稳定性[4][5]。为解决该问题，文献[5]提出了一种名为延迟重加权(deferred re-weighting，简称drw)的方案，仅在训练的最后阶段应用重加权方法。得分调整类方法基于类别敏感项来调整模型得分。例如，ldam损失要求少数类具有较大的间隔(margin)，以实现强正则化[5]。la损失[6]仅利用加法项来调整模型得分。cdt损失0仅利用乘法项来调整模型得分。最近，文献[7]将上述两种项结合起来，提出了一种用于不平衡学习的统一向量缩放
3、尽管现有的损失修饰方法已取得令人满意的性能，但理论洞见仍然有待改进。具体而言，文献[5]利用经典的间隔理论来解释ldam损失中加法项的必要性，但该理论未能解释drw带来的显著性能增益。文献[6]分析了la损失中加法项的费希尔(fisher)一致性性质，但未提供进一步的泛化分析。文献[7]提供了vs损失的泛化分析，但该结果仅能在线性模型和线性可分数据的假设下解释乘法项的作用。此外，本申请的专利技术人研究发现，vs损失与drw相当不兼容，这也超出了现有理论范畴。因此，在损失修饰方法的理论和实践间，仍然存在鸿沟，导致模型分类的泛化性有待提高。
4、上述文献的信息如下所示：
5、[1]russakovsky o,deng j,su h,et al.imagenet large scale visualrecognition challenge[j].international journal of computer vision,2015,115:211-252.
6、[2]van horn g,mac aodha o,song y,et al.the inaturalist speciesclassification and detection dataset[c]//proceedings of the ieee conferenceon computer vision and pattern recognition.2018:8769-8778.
7、[3]zhang y,kang b,hooi b,et al.deep long-tailed learning:a survey[j].ieee transactions on pattern analysis and machine intelligence,2023.
8、[4]cui y,jia m,lin t y,et al.class-balanced loss based on effectivenumber of samples[c]//proceedings of the ieee/cvf conference on computervision and pattern recognition.2019:9268-9277.
9、[5]cao k,wei c,gaidon a,et al.learning imbalanced datasets withlabel-distribution-aware margin loss[j].advances in neural informationprocessing systems,2019,32.
10、[6]menon a k,jayasumana s,rawat a s,et al.long-tail learning vialogit adjustment[c]//international conference on learning representations.
11、[7]kini g r,paraskevas o,oymak s,et al.label-imbalanced and group-sensitive classification under overparameterization[j].advances in neuralinformation processing systems,2021,34:18970-18983.
12、[8]ye h j,chen h y,zhan d c,et al.identifying and compensating forfeature deviation in imbalanced deep learning[j].arxiv preprint arxiv:2001.01385,2020.
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种用于图像分类模型的不平衡学习方法。
2、本专利技术的目的是通过以下技术方案实现的：
3、根据本专利技术的第一方面，提供一种用于图像分类模型的不平衡学习方法，包括：获取各类别样本量不平衡的图像分类的训练集，其中，包括多个样本图像和标签，标签指示样本图像对应的类别真值；获取基于神经网络构建的图像分类模型，并对所述模型中特征提取器和分类器的参数进行初始化；以初始化后的模型为基础，重复按照以下方式对所述模型进行多次迭代训练，得到经训练的模型：从所述训练集采样一个批次的样本图像，并输入当前的模型；利用当前的模型中的特征提取器从输入的样本图像提取图像特征，并利用当前的模型中的分类器根据所述图像特征确定所述输入的样本图像的分类结果，所述分类结果包括对应图像在各个类别的得分；根据当前采样的次数确定当前的训练阶段为前期还是后期，在前期和后期分别对预设的损失函数中的得分调整项和重加权项进行不同配置，得到按训练阶段配置的损失函数；利用所述按训练阶段配置的损失函数，根据当前批次的样本图像的分类结果和对应的标签计算损失，更新当前模型的参数。
4、可选的，所述预设的损失函数表示为：
5、
6、其中，f(x)表示图像分类模型f(·)对输入的样本图像x输出的分类结果，y表示样本图像x的标签，αy表本文档来自技高网...
【技术保护点】
1.一种用于图像分类模型的不平衡学习方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的损失函数表示为：
3.根据权利要求2所述的方法，其特征在于，在当前采样的次数小于第一预设次数阈值时，确定当前的训练阶段为前期，所述得分调整项和重加权项按照以下方式配置：
4.根据权利要求3所述的方法，其特征在于，在当前采样的次数大于等于第一预设次数阈值时，确定当前的训练阶段为后期，所述得分调整项和重加权项按照以下方式配置：
5.根据权利要求1-4之一所述的方法，其特征在于，对所述模型中特征提取器和分类器的参数进行初始化时采用参数随机初始化的方式，采样的第一个批次的样本图像输入所述初始化后的模型，后续采样的批次的样本图像输入根据前一个批次采样的样本图像训练更新参数后的模型。
6.根据权利要求5所述的方法，其特征在于，当前批次的样本图像输入模型后，根据所述按训练阶段配置的损失函数计算其中每个样本图像对应的子损失后求平均，得到所述损失，根据所述损失求梯度并反向传播更新当前模型的参数。
7.根据权利要求5
8.一种图像分类方法，其特征在于，所述方法包括：
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至8中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种用于图像分类模型的不平衡学习方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的损失函数表示为：
3.根据权利要求2所述的方法，其特征在于，在当前采样的次数小于第一预设次数阈值时，确定当前的训练阶段为前期，所述得分调整项和重加权项按照以下方式配置：
4.根据权利要求3所述的方法，其特征在于，在当前采样的次数大于等于第一预设次数阈值时，确定当前的训练阶段为后期，所述得分调整项和重加权项按照以下方式配置：
5.根据权利要求1-4之一所述的方法，其特征在于，对所述模型中特征提取器和分类器的参数进行初始化时采用参数随机初始化的方式，采样的第一个批次的样本图像输入所述初始化后的模型，后续采样的批次的样本图像输入根据前一个批次采样的样本图像训练...
【专利技术属性】
技术研发人员：许倩倩，王子泰，杨智勇，操晓春，黄庆明，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。