一种基于自蒸馏辅助的噪声标签校正方法及系统技术方案

技术编号:40675477 阅读:14 留言:0更新日期:2024-03-18 19:13
本发明专利技术提供一种基于自蒸馏辅助的噪声标签校正方法及系统,该方法包括:将噪声数据集输入标签校正模型,并利用原始噪声标签训练所述标签校正模型;根据所述原始噪声标签生成集成标签;利用所述集成标签训练并更新所述标签校正模型中的分类器网络;利用更新后的所述分类器网络在所述原始噪声标签和所述集成标签之间的交叉熵损失更新所述标签校正模型中的重加权网络的参数。本发明专利技术采用自蒸馏框架构作为分类器网络,通过利用分类器网络最深层网络生成的软标签训练分类器网络其他浅层网络,从而增强模型的鲁棒性,而且还能不受原始噪声标签的影响从而达到缓解过拟合并增强模型性能的效果。

【技术实现步骤摘要】

本申请涉及图像标签噪声学习领域,具体而言,涉及一种基于自蒸馏辅助的噪声标签校正方法及系统


技术介绍

1、在深度学习领域,大规模的高质量数据集一直被视为取得成功的关键因素之一。然而,获取这样的数据集通常需要巨大的投入,包括专业标注人员、时间和金钱。对于许多应用,特别是在新兴领域或特定任务中,获取大规模干净的数据集可能并不切实际。因此,研究人员和从业者们常常会面临通过搜索引擎、自动标签软件等手段获取大量非专业化标注数据的挑战。然而,这些数据集通常会包含标签噪声,这是由于人为误差、自动标签工具的局限性或众包标注的不一致性引起的。标签噪声会严重威胁深度神经网络的性能,因为模型可能会过度拟合这些错误标签,从而导致泛化性能下降。

2、为了应对标签噪声的挑战,已经涌现了一系列方法,旨在改进深度学习模型在噪声标签数据下的训练和性能,以提高模型的鲁棒性,以便有效地应对标签错误或不准确性所带来的问题。这些方法通常可以分为以下两个主要方向,旨在解决标签噪声问题。第一种为数据清洗和校正方法,这一类方法专注于识别和校正噪声标签,从而提高数据集的质量和可用性。其中,噪声本文档来自技高网...

【技术保护点】

1.一种基于自蒸馏辅助的噪声标签校正方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将噪声数据集输入标签校正模型,并利用原始噪声标签训练所述标签校正模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述原始噪声标签生成集成标签,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述软标签与所述原始噪声标签按照不同的比例共同构成集成标签,包括:

5.根据权利要求1所述的方法,其特征在于,所述利用所述集成标签训练并更新所述标签校正模型中的分类器网络,包括:

6.根据权利要求1所述的...

【技术特征摘要】

1.一种基于自蒸馏辅助的噪声标签校正方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将噪声数据集输入标签校正模型,并利用原始噪声标签训练所述标签校正模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述原始噪声标签生成集成标签,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述软标签与所述原始噪声标签按照不同的比例共同构成集成标签,包括:

5.根据...

【专利技术属性】
技术研发人员:黄雨鑫黄贻望唐郑熠
申请(专利权)人:福建理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1