一种基于固定类别中心的样本选择方法技术

本发明专利技术公开一种基于固定类别中心的样本选择方法，包括固定类别中心，样本选择和网络更新，本发明专利技术提出了一个固定类别中心的算法，与其他的小损失样本选择方法不同，SSFCC在进行样本选择之前最大化各子类的类间距离，大大的避免了不同细粒度子类间的样本的特征分布重合，进而提高样本选择的准确率；采用平滑后的交叉熵损失来进行网络的反向传播。与常规的交叉熵损失相比，平滑后的交叉熵损失可以避免网络的“过度自信”，特别是在含噪条件下，标签平滑可以缓解网络由于错误预测而导致性能下降的问题。降的问题。降的问题。

【技术实现步骤摘要】
一种基于固定类别中心的样本选择方法


[0001]本专利技术涉及细粒度图像分类
，具体为一种基于固定类别中心的样本选择方法。

技术介绍

[0002]细粒度图像分类在深度学习发展的浪潮下已经成为了一个热门研究方向。细粒度图像分类主要是针对子类进行的分类，难点在于区分各子类间的细微差别，在尺度或视点变化、复杂背景和遮挡，以及不同姿态下能准确识别出子类别。早期的细粒度图像分类方法一般都是采用基于人工设计特征进行分类，人工设计特征的局限性影响了细粒度分类的性能。此外，人工设计特征依赖于大量的精确的人工标注信息，这更加限制了细粒度图像分类算法的发展。
[0003]由于深度神经网络所表现出来的强大的特征提取能力，细粒度图像分类不再需要依靠精确的人工标注信息，仅依靠图像类别标签就可以实现分类，这使得细粒度图像分类技术迅猛发展。而网络图像数据集内部含有噪声标签，由于深度神经网络强大的学习能力，标签噪声的存在会误导神经网络的训练，大大影响网络训练的性能。最直接的处理标签噪声的方法是样本选择方法。样本选择方法拟挑选出干净样本并将干净样本送入网络进行后续训练，以减少噪声标签的影响。常规的样本选择方法基于小损失技巧（如Co
‑
teaching），没有充分考虑细粒度数据集的细粒度特征，当正确标记和错误标记的样本的损失分布大部分重叠时，小损失技巧不能很好地工作。

技术实现思路

[0004]本专利技术的目的在于提供一种基于固定类别中心的样本选择方法，以解决上述
技术介绍
提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于固定类别中心的样本选择方法，包括固定类别中心，样本选择和网络更新，具体步骤如下：S1.将样本集划分为两个集合：干净样本集与噪声集；S2.同时训练两个对等深度神经网络，两个深度神经网络分别从干净样本中学习在超球面上均匀分布的类别中心并固定；S3.再各自挑选出与类别中心有较大余弦相似度的样本作为干净样本；S4.最后每个深度神经网络使用对等深度神经网络挑选出的干净样本来更新网络。
[0006]进一步的，在S1中，将样本集划分为两个集合：干净样本集与噪声集，样本集；其中干净样本集又包含简单样本与硬样
本，在接下来的步骤中将挑选出干净样本集并且更好的利用硬样本进行训练，其中是第i个训练样本，是的标签；由于网络图像是含噪的，以小损失方法挑选出二分之一的样本用于生成类别中心，挑选方式如下：（6.1）通过利用上述方式生成每个类的预定义中心，最终生成均匀分布的类中心。
[0007]更进一步的，损失函数如下： （6.2）（6.3）（6.4）其中（6.2）为交叉熵损失，m为每个类之间的余弦间隔，s用于提高收敛速度，方程（6.3）是输出特征与预定义中心之间的最小损失函数，是输出特征，是相应的标号，是指预定义的类中心，其中n≥1是一个可以调整的超参数，n取2。
[0008]进一步的，在S2中，为了更好的学习模糊图像，利用特征归一化来约束特征的L2范数；常规的L2约束的Softmax输出如下：
ꢀꢀ
（6.5）上式中，与分别为深度神经网络f1（f2）的最后一层的全连接层的参数与提取的特征,使用预训练生成的类别中心来初始化全连接层的参数，并使用L2范数来约束全连接层的参数与提取特征；最终得到样本特征与类别中心的余弦相似度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6.6）。
[0009]更进一步的，归一化之后，使用一个超参数s来缩放余弦值，则经过归一化的Softmax层的输出为：（6.7）经过归一化后，特征在超球面上以角度分布，最后一个全连接层的参数为预训练生成的每个类的中心；网络全连接层的输出为图片特征与每个类中心的余弦距离，记录每张图片与其相应类中心的余弦相似度：
ꢀꢀ
（6.8）为第个样本与其类别中心的余弦距离；挑选出与类别中心有着高余弦相似度的样本，挑选公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6.9）其中，为一个可校正的丢弃率，经过挑选的图片送入对等网络更新网络。
[0010]更进一步的，在S3中，对Softmax层的输出进行平滑处理，平滑后的单张图片的交叉熵损失为：
ꢀꢀ
（6.10）其中，为平滑标签向量，的取值如下:（6.11） （6.12）最终使用更新网络。
[0011]与现有技术相比，本专利技术的有益效果是：本专利技术提出了一个固定类别中心的算法，与其他的小损失样本选择方法不同，SSFCC在进行样本选择之前最大化各子类的类间距离，大大的避免了不同细粒度子类间的样本的特征分布重合，进而提高样本选择的准确率；采
用平滑后的交叉熵损失来进行网络的反向传播。与常规的交叉熵损失相比，平滑后的交叉熵损失可以避免网络的“过度自信”，特别是在含噪条件下，标签平滑可以缓解网络由于错误预测而导致性能下降的问题。
附图说明
[0012]图1为BCNN网络示意图；图2为本专利技术SSFCC 网络主体结构示意图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]实施例一请参照图1和2所示，本专利技术为一种基于固定类别中心的样本选择方法（Sample Selection based on Fixed Class Center），简称SSFCC，本方法与现有方法的不同之处在于本方法考虑到细粒度数据集类间距离小的特点，在对图像进行样本选择之前首先学习样本的类别中心，并最大化各样本类别中心之间的距离。
[0015]首先，将样本集划分为两个集合：干净样本集与噪声集，样本集；其中干净样本集又包含简单样本与硬样本。在接下来的步骤中将挑选出干净样本集并且更好的利用硬样本进行训练，其中是第i个训练样本，是的标签。
[0016]在本实施例中，从统计模式识别的传统观点来看，维度降低的主要目标是生成最大类间距离和最小类内距离的低维表达式；如果类内方差较大，类间距离较近，则不同类之间会出现重叠，从而导致分类错误，受PEDCC算法的启发，对于类间距离较近的细粒度数据集，本专利技术所提方法生成在超球面上均匀分布的类别中心，这一阶段被称为预训练阶段；对于单个网络，预训练阶段的目标是生成均匀分布的c个类别中心，以最大化类间距离。
[0017]PEDCC算法是基于超球面上类电荷能量最低的物理模型生成的，将投影到超球面上的c个类别中心比做c个电荷点，超球面上的c个电荷点之间有排斥力，排斥力推动电荷运动，当运动最终达到平衡，超球面上的点停止运动时，c个点最终均匀分布在超球面上。
[0018]由于网络图像是含噪的，以小损失方法挑选出二分之一的样本用于生成类别中心，挑选方式如下：（6.1）
通过利用上述方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于固定类别中心的样本选择方法，其特征在于，包括固定类别中心，样本选择和网络更新，具体步骤如下：S1.将样本集划分为两个集合：干净样本集与噪声集；S2.同时训练两个对等深度神经网络，两个深度神经网络分别从干净样本集中学习在超球面上均匀分布的类别中心并固定；S3.再各自挑选出与类别中心有较大余弦相似度的样本作为干净样本；S4.最后每个深度神经网络使用对等深度神经网络挑选出的干净样本来更新网络。2.根据权利要求1所述的一种基于固定类别中心的样本选择方法，其特征在于，在S1中，将样本集划分为两个集合：干净样本集与噪声集，样本集；挑选出干净样本集并且更好的利用硬样本进行训练，其中是第i个训练样本，是的标签；以小损失方法挑选出二分之一的样本用于生成类别中心，挑选方式为：（6.1）通过利用上述方式生成每个类的预定义中心，最终生成均匀分布的类中心。3.根据权利要求2所述的一种基于固定类别中心的样本选择方法，其特征在于，小损失方法运用损失函数的计算方式如下：（6.2）（6.3） （6.4）其中（6.2）为交叉熵损失，m为每个类之间的余弦间隔，s用于提高收敛速度，上式（6.3）是输出特征与预定义中心之间的最小损失函数，是输出特征，是相应的标号，是指预定义的类中心，其中n ≥ 1是一个可以调整的超参数。4.根据权利要求1所述的一种基于固定类别中心的样本选择方法，其特征在于，在S3中，干净样本利用特征归一化来约束特征的L2范数进行挑选；其中常规的L2约束的Softmax输出如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6.5）上式中，与分别为深度神经网络f1或f2的最后一层的全连接层的参数与提取的特征；使用预训练生成...

【专利技术属性】
技术研发人员：姚亚洲，黄丹，孙泽人，沈复民，
申请(专利权)人：南京码极客科技有限公司，
类型：发明
国别省市：