一种自监督的分布内、外噪声识别算法制造技术

本发明专利技术公开一种自监督的分布内、外噪声识别算法，包括如下步骤：S1.首先，训练一个具有噪声鲁棒性的子中心分类器，并利用训练样本与其类别中心的距离来从全局的角度区分干净和噪声样本；S2.利用识别出的干净样本训练一个自监督策略的旋转检测模型。并利用该模型在噪声样本中辨别分布内和分布外的噪声；S3.最后，通过重标分部内噪声以及丢弃分布外噪声，实现网络数据的净化，本发明专利技术可以有效地缓解标签噪声带来的危害，显著地提升模型性能。显著地提升模型性能。显著地提升模型性能。

【技术实现步骤摘要】
一种自监督的分布内、外噪声识别算法


[0001]本专利技术涉及噪声识别
，具体为一种自监督的分布内、外噪声识别算法。

技术介绍

[0002]至今，已有大量的标签噪声处理相关研究被发表，其提出的解决方法可以大致分为两类：噪声净化策略和噪声鲁棒策略。噪声净化策略旨在丢弃或修正错误的标签以减少标签噪声的影响，根据其处理方式（丢弃或修正）可大致分为样本选择策略和标签修正策略。
[0003]样本选择是一种非常直观的策略，通过直接丢弃噪声样本，能够从源头上解决标签噪声问题。但这种简单的策略无法充分地利用数据集，大量可以重标注的分布内噪声被丢弃。同时，在丢弃噪声样本的过程中，干净样本也有一定的可能被丢弃，进一步降低了数据集的利用率。除此以外，主流的样本选择策略（例如 Decoupling、Co
‑
teaching、Co
‑
teaching+、Peer
‑
Learning以及JoCoR）倾向于在小批次（Mini
‑
batch）的数据中进行噪声识别和丢弃操作。然而在训练过程中，不同小批次的噪声比率是不同的，该现象被称为噪声比不平衡（NoiseRate Imbalance）问题。上述算法难以在噪声比不平衡的小批次数据中表现出一致且稳定的噪声识别结果。总的来说，这类策略缺乏了一个基于数据集的全局视角，即无法明确地在整个数据集中识别出标签噪声。
[0004]标签修正（又称损失修正）策略通过矫正错误的标签使噪声样本得以应用在模型训练过程中，尽可能地利用数据集以提升模型性能。此类方法倾向于建模噪声分布或估计噪声转换矩阵。例如，在发表于2017年International Conference on Learning Representations会议上的“Training deep neural
‑
networks using a noise adaptation layer”文章中，在有标签噪声的条件下，可以将正确的标签看作一个潜在的随机变量，并通过一个参数未知的通信信道来建模噪声过程，因此可以用 EM 算法来寻找网络和噪声模型的参数，并估计正确的标签。由此观点出发，他们为模型增加了一个额外的 Softmax 层来模拟 EM 算法优化的似然函数，以此来建模噪声分布并估计训练样本的正确标签，目前存在两种利用噪声转换矩阵来修正标签的算法，分别是反向损失矫正（Backward LossCorrection）和前向损失矫正（Forward Loss Correction）。
[0005]虽然标签修正策略能充分利用数据集，但这类方法往往假设数据集中不存在分布外噪声，即所有的标签噪声都可以被修正，此类假设制约了标签修正策略的实用性。

技术实现思路

[0006]本专利技术的目的在于提供一种自监督的分布内、外噪声识别算法，以解决上述
技术介绍
提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种自监督的分布内、外噪声识别算法，包括如下步骤：S1.首先，训练一个具有噪声鲁棒性的子中心分类器，并利用训练样本与其类别中
心的距离来从全局的角度区分干净样本和噪声样本；S2.利用识别出的干净样本训练一个自监督策略的旋转检测模型，并利用该模型在噪声样本中辨别分布内和分布外的噪声；S3.最后，通过重标分部内噪声以及丢弃分布外噪声，实现网络数据的净化。
[0008]进一步的，在S1中，首先将每个类别的中心 Wj扩展为 K 个子中心 [Wj1, Wj2 , ... , Wjk ]；然后，使用最大池化（Maxpooling）操作从子类级的余弦相似性提取出类别级的余弦相似性，子中心损失函数如下：其中，，为几个子类中心中最接近特征 fi 的中心与 fi 之间的角度。
[0009]更进一步的，通过设定阈值 thr来将网络训练样本 D区分为一个干净样本Dclean 和噪声样本 Dnoisy：Dnoisy：（6.2）其中，θx,y是样本 x 与其相应的类别中心 y 之间的夹角。
[0010]更进一步的,在S2中，利用自监督策略训练一个旋转检测器 Nrot，它以被旋转过的干净样本为输入，输出一个旋转角度的预测概率分布，旋转损失函数为：（6.3）其中，Rr(x)是输入样本 x 旋转变换后的图像，旋转角度 r ∈ {0
°
, 90
°
, 180
°
, 270
°
}，one_hot(r) 是旋转角度 r 对应的独热标签。
[0011]更进一步的，在使用公式训练过程中，模型会学习到基础类别的形状和特征；在训练结束后，该模型即可用来识别分布外噪声，定义出一个样本属于分布外噪声的预测分数：（6.4）其中，std, softmax 以及 Nrot(Rr(x)) 分别表示计算标准差，Softmax 函数，以及旋转检测器 Nrot 对于输入图像 Rr(x) 预测的旋转角度概率分布。
[0012]更进一步的，对于输入图像 Rr(x) 预测的旋转角度概率分布,将低标准差的样本视为分布外噪声样本，从噪声集 Dnoisy 中选择 ns 个具有较低分布外预测分数 Scoreood(x)的样本，作为分布内噪声集 Din_noisy：（6.5）；
在区分完分布内和分布外噪声后，下一步可以重标注分布内噪声，使它们能够应用于模型训练。
[0013]更进一步的，在S3中，首先，使用子中心损失函数，即公式 （6.1）在干净集 Dclean 上训练一个用于重标注的分类网络 Nrelabel，网络训练完毕后可直接利用其预测结果对分布内噪声集 Din_noisy 进行重标注：（6.6）；重标注完成后，通过组合干净集 Dclean 和重标注集 Drelabeled 能获取一个净化后的数据集 Dpurified：（6.7）。
[0014]更进一步的，使用标签平滑策略（Label Smoothing）策略来进一步提升模型性能；标签平滑通过给非标签类别分配一定的权重，能有效防止模型过拟合，为标签和其他类分别赋予ω 和的权重，其表达式为：（6.8）。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术首先利用子中心分类器来区分干净和噪声样本，区分出干净和噪声样本后，利用干净样本遵循自监督学习策略训练一个分布外噪声和分布内噪声区分模型，同时利用干净样本训练一个细粒度分类网络，对分布内噪声进行重标注操作，最后，丢弃分布外噪声，并将干净样本和重标注后的分布内噪声样本组合成一个新的数据集，实现网络数据集的净化，本专利技术可以有效地缓解标签噪声带来的危害，显著地提升模型性能，并且还通过半监督的实验，表明了净化后的网络图像作为人工标注训练集的数据增强可以有效地提升细粒度识别模型的性能。
附图说明
[0016]图1为本专利技术样本与主要子中心的夹角分布直方图；图2为本专利技术算法流程图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督的分布内、外噪声识别算法，其特征在于，包括如下步骤：S1.首先，训练一个具有噪声鲁棒性的子中心分类器，并利用训练样本与其类别中心的距离来从全局的角度区分干净样本和噪声样本；S2.利用识别出的干净样本训练一个自监督策略的旋转检测模型，并利用该模型在噪声样本中辨别分布内和分布外的噪声；S3.通过重标分部内噪声以及丢弃分布外噪声，实现网络数据的净化。2.根据权利要求1所述的一种自监督的分布内、外噪声识别算法，其特征在于，在S1中，首先将每个类别的中心 Wj扩展为 K 个子中心 [Wj1, Wj2 , ... , Wjk ]；然后，使用最大池化Maxpooling操作从子类级的余弦相似性提取出类别级的余弦相似性，子中心损失函数如下：（6.1）其中，，为几个子类中心中最接近特征 fi 的中心与 fi 之间的角度。3.根据权利要求2所述的一种自监督的分布内、外噪声识别算法，其特征在于，训练样本D通过设定阈值 thr来讲训练样本D分为干净样本 Dclean 和噪声样本 Dnoisy：Dnoisy：（6.2）其中，θx,y是样本 x 与其相应的类别中心 y 之间的夹角。4.根据权利要求1所述的一种自监督的分布内、外噪声识别算法，其特征在于，在S2中，利用自监督策略训练一个旋转检测器 Nrot，且被旋转过的干净样本为输入，输出一个旋转角度的预测概率分布，旋转损失函数为：（6.3）其中，Rr(x)是输入样本 x 旋转变换后的图像，旋转角度 r ∈ {0
°
, 90
°
, 180
°
, 270<...

【专利技术属性】
技术研发人员：姚亚洲，申恒涛，沈复民，孙泽人，
申请(专利权)人：南京码极客科技有限公司，
类型：发明
国别省市：