聚焦于陌生样本的不平衡学习制造技术

聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型训练过程中，本发明专利技术中的损失函数为基于样本logit值的成本敏感损失函数：可分为实例级和类别级。本发明专利技术可以改善训练中类内样本的聚合特征，并减少注释错误对不平衡学习的负面影响。在模型的推理过程中，本发明专利技术采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。采用该偏移策略可以纠正模型在推理过程中由于模型的偏移而引起的分类错误。的偏移而引起的分类错误。的偏移而引起的分类错误。

【技术实现步骤摘要】
聚焦于陌生样本的不平衡学习


[0001]本专利技术涉及机器学习，具体说，涉及一种聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。

技术介绍

[0002]类不平衡指的是数据中不同类之间存在有数量上的不平衡。在过去几年中，随着机器学习不断发展，深度人工神经网络取得了很大的进展。深度神经网络模型总是在精心设计的数据集上进行训练，这些数据集通常是分布平衡的。然而，在现实世界中，由于物体、事件和行为出现的频率不同，类不平衡数据在真实的训练场景中普遍存在。如果在训练过程中没有修正机制，数据集中的不平衡特征将导致深度神经网络模型对小类的识别性能低。随着深度学习的广泛应用，如何从类不平衡的或长尾分布的数据集中学习高性能的模型成为了一个亟待解决的问题。
[0003]目前存在一些解决类不平衡问题的方法，可以分为基于数据的方法和基于算法的方法。基于数据的方法中，一个常见的方式是通过对小类的过采样、对大类的欠采样或它们的组合来重新采样训练数据，但这将改变数据的分布。另一种方式是分类器的集合，每个分类器都是从原始数据集的不同样本训练得到的。近年来，为了更好地学习数据集的分布，研究者们还通过样本生成的方式来扩展数据集，从而提升模型的性能。基于算法的方法中，成本敏感损失函数往往被广泛采用，通过为每个类或每个样本引入成本(权重)来直接或间接地强调/抑制小类/大类的重要性，从而解决不平衡学习的问题。与基于数据的方法相比，这类方法很直观，更容易实现，在深度学习中被广泛使用。在广泛使用的成本敏感损失函数中，成本是基于样本的损失或类概率。然而，这些方法只利用了类别之间的分类特征，丢弃了类别内部的聚类特征，并将标注的错误引入到成本敏感损失函数的计算中，容易导致模型次优。另外，在样本稠密标注的任务中，例如计算机视觉中的图像分割任务，由于样本标注的工作量大且枯燥乏味，标注的轮廓往往离真实轮廓有几个像素的偏差，从而在目标轮廓的附近产生大量的错误标注样本。在现有的基于损失或类概率的成本敏感损失函数中，这些标注错误会被引入到成本敏感损失函数的计算中来，影响到训练过程中模型性能的提升。

技术实现思路

[0004]1、聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型的训练过程中，其损失函数为基于样本logit值的成本敏感损失函数；在模型的推理过程中，采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。
[0005]采用聚焦于陌生样本学习的思想，分别为将传统的交叉熵损失函数改进为实例级
的聚焦于陌生样本的成本敏感损失函数(Instance
‑
level Focal stranger loss,IFSL)，将传统的基于类频率成本的平衡交叉熵损失函数(Cross Entropy Based on class Frequency,BCE_F)改进为类别级的聚焦于陌生样本的成本敏感损失函数(Class
‑
level Focal stranger loss,CFSL)。
[0006]2、实例级聚焦于陌生样本的成本敏感损失函数IFSL的计算公式为
[0007][0008]其中，x
i
为第i个样本输入，θ为深度网络模型参数，p
i
为第i个样本在网络模型上的概率输出，p
it
为第i个样本的真实类的概率输出，y
i
为第i个样本的标签，为第i个样本在网络模型上的logit输出线性变换到[0,255]区域内的值，μ
t
为基于logit的成本敏感损失函数，定义为：
[0009][0010]其中，T∈(0,1)，表示陌生样本的定义范围，μ∈(1,2)，表示陌生样本的聚焦程度。
[0011]3、类别级聚焦于陌生样本的成本敏感损失函数CFSL的计算公式为
[0012][0013]其中x
i
,θ,y
i
,和μ
t
的含义同本
技术实现思路
2中所述。
[0014]4、使用偏移策略的模型推理步骤为：
[0015]1)首先使用公式(4)获得模型中分类器的最优偏移参数。
[0016][0017]其中，H(
·
)为模型在验证集上的性能指标，p＝{p0,p1}为预测概率，定义如公式(5)所示，y＝{y0,y1}为标签值，b＝{b0,b1}为偏移函数，定义如公式(6)所示。
[0018][0019]其中，f
c
为样本在c类上的logit值，
[0020][0021]公式(4)中，为最优的δ，即使得模型性能在验证集上达到最优的δ。
[0022]2)在模型的分类器中使用公式(7)推理得到预测类。
[0023][0024]其中，C
pre
为预测类，p
c
为类别c上的概率，其计算公式如(5)所示，δ为步骤1)中求得的偏移值。
[0025]本专利技术的有益效果是：
[0026]聚焦于陌生样本的不平衡学习方法用于基于深度神经网络的分类模型的不平衡学习和推理中，在训练过程中，可以改善类内样本的聚合特征，并减少注释错误对不平衡学习的负面影响，，从而提高训练模型的分类性能。另外，基于logit偏移性的推理策略可以纠正模型在推理过程中由于模型的偏移而引起的分类错误。
[0027]现有的深度神经网络模型往往是在平衡分布的数据集上进行训练的，对于小类来
说分类性能较低。随着深度学习技术在现实世界中落地应用的开展，现实世界中普遍存在的不平衡数据越来越成为了限制深度学习性能和应用的一个瓶颈所在。本专利技术针对这个问题改进已有的不平衡学习方法，具有广阔的应用前景。
[0028]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0029]图1是本专利技术摘要附图；
[0030]图2是本实施例1中性能随偏移参数变化的曲线；
[0031]图3是本实施例1中使用不同成本敏感损失函数训练的模型在测试集上的推理结果；
[0032]图4是本实施例2中使用CFSL和BCE_F生成的模型产生的显著框；
[0033]图5是本实施例2中使用偏移策略和常规策略的分割结果。
[0034]实施方式
[0035]以下将结合实施例和图2
‑
5对本专利技术的构思、具体步骤及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、特征和效果。显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部实施例，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型的训练过程中，其损失函数为基于样本logit值的成本敏感损失函数；在模型的推理过程中，采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。采用聚焦于陌生样本学习的思想，分别为将传统的交叉熵损失函数改进为实例级的聚焦于陌生样本的成本敏感损失函数(Instance
‑
level Focal stranger loss,IFSL)，将传统的基于类频率成本的平衡交叉熵损失函数(Cross Entropy Based on class Frequency,BCE_F)改进为类别级的聚焦于陌生样本的成本敏感损失函数(Class
‑
level Focal stranger loss,CFSL)。2.根据权利要求1所述的方法，其特征在于：实例级的聚焦于陌生样本的成本敏感损失函数IFSL的计算公式为其中，x
i
为第i个样本输入，θ为深度网络模型参数，p
i
为第i个样本在网络模型上的概率输出，p
it
为第...

【专利技术属性】
技术研发人员：胡祝华，赵瑶池，
申请(专利权)人：海南大学，
类型：发明
国别省市：