一种基于层次KL散度模型的优化长尾机器学习性能的方法技术

本发明专利技术属于机器学习算法技术领域，具体为一种基于层次KL散度模型的优化长尾机器学习性能的方法。本发明专利技术方法包括设计层次KL‑RS模型，并进行等价对偶转换；采用基于搜索和梯度下降法求解层次KL‑RS模型；长尾机器学习过程中采用Ldam损失函数和Focal损失函数结合的复合损失函数，从而提升模型的平均准确率和在最差类别上的准确率；基于数据集CIFAR10(LT)和CIFAR100(LT)的实验结果表明，本发明专利技术方法能够有效提升神经网络的平均准确率和最差准确率有所提升。

【技术实现步骤摘要】

本专利技术属于长尾机器学习，具体涉及一种基于层次kl散度模型的优化长尾机器学习性能的方法。

技术介绍

1、长尾机器学习是一种训练数据具有长尾特征的机器学习任务。长尾特征是现实世界的数据通常具有的一种分布种特征，它描述的是训练数据类别不均衡的现象：通常训练数据类别包括头部类别和尾部类别；头部类别中的每一个类别都包含大量的样本，但是头部类别的数量相对总体类别数量较少；而尾部类别中的每一个类别都仅仅只有少量的样本，但是全体类别中大多数类别都是尾部类别[1]。传统的机器学习方法往往容易忽视模型在尾部类别上的表现，使得训练出来的模型会严重偏向头部类型，在尾部类别上的准确性以及泛化性都显著下降[2]。

2、类别重平衡是当前解决长尾分布挑战的重要方法，它的核心思路是通过调整训练过程中样本的分布或者改变损失函数来调节类别不平衡导致的模型表现的偏差。这类方法简单高效，并且可以直接嵌入到常规的机器学习优化流程中，便于实现部署。类别重平衡方法主要有两种：一种是重采样(re-sample)方法，其基本的想法是在头部类别降低采样频率，而在尾部类别提高采样频率，从而使得尾本文档来自技高网...

【技术保护点】

1.一种基于层次KL散度模型的优化长尾机器学习性能的方法，其特征在于，包括设计层次KL-RS模型，并进行等价对偶转换；采用基于搜索和梯度下降法求解层次KL-RS模型；长尾机器学习过程中采用Ldam损失函数和Focal损失函数结合的复合损失函数，从而提升模型的平均准确率和在最差类别上的准确率；具体步骤如下：

2.根据权利要求1所述的优化长尾机器学习性能的方法，其特征在于，步骤(二)中：

3.根据权利要求2所述的优化长尾机器学习性能的方法，其特征在于，步骤(二)中，为了进一步提升长尾学习任务的表现，采用Ldam损失函数和Focal损失函数结合的复合损失函数；

【技术特征摘要】

1.一种基于层次kl散度模型的优化长尾机器学习性能的方法，其特征在于，包括设计层次kl-rs模型，并进行等价对偶转换；采用基于搜索和梯度下降法求解层次kl-rs模型；长尾机器学习过程中采用ldam损失函数和focal损失函数结合的复合损失函数，从而提升模型的平均准确率和在最差类别上的准确率；...

【专利技术属性】
技术研发人员：鄢浩洁，徐跃东，
申请(专利权)人：复旦大学，
类型：发明
国别省市：