一种基于一对多分解策略的神经网络自适应下采样方法技术

技术编号:41486140 阅读:22 留言:0更新日期:2024-05-30 14:34
本发明专利技术专利公开了一种基于一对多分解策略的神经网络自适应下采样方法。首先获取不平衡图像数据集,然后利用改进的一对多分解策略将数据集划分为若干个子数据集同时将每一个子数据集中的少数类使用自动编码器进行预训练,接着使用预训练的模型预测多数类样本的特征值并计算与少数类特征值之间的欧式距离,最后综合各子任务的差异筛选出待删除的多数类候选点样本。本发明专利技术能有效地针对不平衡相似图像数据集进行自适应欠采样,有效缓解多数类样本信息的严重丢失问题,并帮助分类器提升不平衡场景下的分类性能。

【技术实现步骤摘要】

本专利技术属于不平衡学习和深度学习领域,提供了一种基于一对多分解策略的神经网络自适应下采样方法


技术介绍

1、随着大数据存储技术的迅猛发展以及智能手机、平板电脑等终端设备的广泛使用,抖音、快手、小红书和微信等社交媒体平台已经成为大众信息交流的重要载体,每天以数以百亿级的图像数据在上传、浏览和传播,目前如何针对这些海量的信息进行数据挖掘已经成为了研究热点。数据分类技术作为数据挖掘的有效手段之一,可借助海量信息建模出泛化能力足够强的深度学习模型,从而去探索数据中蕴含的有效信息。然而现实世界中的数据往往是不均衡分布的,当使用传统的分类方法去处理时,模型很容易偏向多数类的一方而忽略数量较少的类,而往往数量罕见的少数类更为重要,如癌症检测、异常点任务、轴承故障识别等任务。

2、欠采样方法通过平衡数据集的分布来缓解这一问题。然而由于现实世界中数据之间的相似性,数据间的分布在决策边界存在着严重的区域重叠问题,尤其是正负类样本比例严重失衡时,传统的基于欠采样的不平衡处理方法很容易造成严重的信息丢失。为此,我们提出了一种基于一对多分解策略的神经网络自适应下采样本文档来自技高网...

【技术保护点】

1.一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于,具体步骤如下:

2.根据权利要求1所述的一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于所述步骤2中利用改进后的一对多分解策略OVM将数据集划分为若干个子数据集,其具体步骤如下:

3.根据权利要求1所述的一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于所述步骤3中将每个子数据集中的少数类使用自动编码器进行预训练,其具体步骤如下:

4.根据权利要求1所述的一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于所述步骤4中使用预训练的模型预测多数类样本的特征值并...

【技术特征摘要】

1.一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于,具体步骤如下:

2.根据权利要求1所述的一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于所述步骤2中利用改进后的一对多分解策略ovm将数据集划分为若干个子数据集,其具体步骤如下:

3.根据权利要求1所述的一种基于一对多分解策略的神经网络自适应下采样方法,其特征在于所述步骤3中将每个子数据集中的少数类使用自动编码...

【专利技术属性】
技术研发人员:董明刚夏令富
申请(专利权)人:桂林理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1