基于元学习的标签噪声监测方法技术

本发明专利技术公开了基于元学习的标签噪声监测方法，包括以下步骤：分类器训练：首先对数据集进行数据处理，将数据集输入到分类器网络中，对于每一个样本，都保存下交叉熵损失产生的损失值和样本的特征向量；元网络训练：对元网络输入，对于每一个样本，本发明专利技术使用了元网络来生成权重，通过学习的方法减少了对阈值的依赖，这种学习的方法在应对不同标签噪声类型和不同程度的噪声比例时，能有更强的鲁棒性，扩展性更强；采用元学习的思想使训练不再依靠对神经网络记忆性的假设，而是有了更深的理论保证，样本带给分类器大幅度提升；借助一个数量很小、但标签完全正确的干净数据集，完成了对元学习器的有效更新。元学习器的有效更新。元学习器的有效更新。

【技术实现步骤摘要】
基于元学习的标签噪声监测方法


[0001]本专利技术涉及模型训练
，具体为基于元学习的标签噪声监测方法。

技术介绍

[0002]当前深度学习的成功很大程度上依赖大规模且高质量的标注数据。无论是在分类，还是目标检测、分割等领域，都需要精确详细的监督信息来帮助模型训练。大部分数据往往通过爬虫、众包等技术来获取，剩余领域性较强的数据往往需要该领域内的专家进行标注，比如医学图像等等。这就造成了一个进退两难的困境：前者对于标注数据的质量无法保证，而后者则需要较大的人工成本。看上去，训练数据的规模和完全准确的标签无法共存。因此，提供给模型训练的数据往往伴随着标签缺失或者标签携带噪声，这给模型训练带来了新的挑战。
[0003]传统方法中，使用固定阈值来直接对小批量的损失直接进行筛选，这造成三个问题：(1)阈值的设置对于噪声环境是十分敏感的，对阈值的调参往往要借助验证集和交叉验证的方法，这导致了该类型的方法在应对多样的噪声环境时表现出扩展性不够；(2)小损失的样本表示模型已经“学会了”该样本，假设模型从干净数据中获得加速度，已经学会的样本带给分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于元学习的标签噪声监测方法，其特征在于：包括以下步骤：S1、分类器训练：首先对数据集进行数据处理，将数据集输入到分类器网络中，对于每一个样本，都保存下交叉熵损失产生的损失值和样本的特征向量；S2、元网络训练：对元网络输入，对于每一个样本，元网络能学会根据特征向量和损失值来生成一个权重，通过权重与阈值的比较，从而分离出干净样本和噪声样本；S3、分类器更新：借助元网络生成的权重，可产生一个基于mini
‑
batch的mask，通过mask，继而实现对训练批次中的样本的筛选，用样本来更新网络；S4、元网络更新：借助一个数量很少的干净样本集，通过这个干净样本集的监督作用，可以保证元网络的参数不受到噪声信号的影响，从而使得元网络对噪声标签做出正确的检测；S5、模型输出：在完成端到端的训练之后，保存下两个网络的参数，此时分类器是足够鲁棒的，对于单个样本，元网络能根据图片的特征向量和损失值来判断该样本是否为噪声，实现了对标签噪声的检测。2.根据权利要求1所述的基于元学习的标签噪声监...

【专利技术属性】
技术研发人员：高文飞，王辉，王瑞雪，王磊，郭丽丽，
申请(专利权)人：济南融瓴科技发展有限公司，
类型：发明
国别省市：