一种基于样本分类的深度学习模型训练方法技术

本发明专利技术公开了一种基于样本分类的深度学习模型训练方法，包括如下步骤：步骤1、抽取样本数据，将样本数据输入至深度学习模型训练，并获得输出结果；步骤2、根据输出结果，统计每个样本数据最近k次被选择后深度学习判断正确的次数以及相应的置信度，并设置置信度阈值；步骤3、根据步骤2的结果将样本数据分为简单样本、困难样本以及错误样本；步骤4、将简单样本直接进入损失函数的计算，将困难样本添加被抽取的概率后进入损失函数的计算，将错误样本终止进入损失函数的计算；步骤5、根据步骤4的结果进行损失函数的计算，然后更新模型参数，以此迭代直至训练结束。本发明专利技术可以提高深度学习模型训练的精度，增加了深度学习模型的准确性。性。性。

【技术实现步骤摘要】
一种基于样本分类的深度学习模型训练方法


[0001]本专利技术涉及深度学习
，特别涉及一种基于样本分类的深度学习模型训练方法。

技术介绍

[0002]深度学习已被广泛地应用到图像、视觉领域，给人机交互体验带来了深刻的变革。然而大部分研究都是对模型架构的改进，极少有研究会对训练技巧作深入探讨，但训练技巧却是影响深度学习泛化性能的重要因素之一。以面部表情识别领域为例，在之前的研究中有研究人员发现，该领域使用的不管是野外采集的数据集，还是在实验室中诱导产生的数据集中都存在一部分“错误”数据。这部分数据的错误可能是在样本收集过程中产生的，也可能来源于样本收集后的标注工作。同时，由于人脸表情本身的复杂性，这部分错误几乎是不可避免的，而这部分的错误数据又会影响到模型的训练。2018年，有学者提出将表情状态分为“模拟”、“掩盖”、“中立”三种类型，并使用有效的知识转移训练CNN进行面部表情识别，在一定程度上解决了表情虚假的问题。也有学者对于面部表情的虚假问题，于2021年提出通过面部微动可以更好地判断表情真实性。除了表情的虚假问题以外，人脸表情样本还存在难度不一的问题。当样本难度不同时，如果对所有的样本都采用相同的处理手段，则模型在训练过程中，会对所有的样本都给以相同的重视。而实际上，对于一些比较简单的样本，例如大笑、极端的愤怒等较为简单区分的表情时，模型也应当可以通过简单的学习便能具备识别这部分样本的能力。相对的，对于一些比较复杂的样本，则应该在训练过程中就引导模型更着重于对这一部分样本的学习。同时，由于人脸表情本身的复杂性，对于样本复杂程度的认定，也应该在学习过程中进行自适应认定，防止人为因素造成的主观影响。

技术实现思路

[0003]本专利技术的目的在于，提供一种基于样本分类的深度学习模型训练方法。本专利技术可以提高深度学习模型训练的精度，增加了深度学习模型的准确性。
[0004]本专利技术的技术方案：一种基于样本分类的深度学习模型训练方法，包括如下步骤：
[0005]步骤1、抽取样本数据，将样本数据输入至深度学习模型训练，并获得输出结果；
[0006]步骤2、根据输出结果，统计每个样本数据最近k次被选择后深度学习模型判断正确的次数，同时统计深度学习模型识别样本数据时得到的置信度，并设置置信度阈值；
[0007]步骤3、基于深度学习模型对样本数据判断正确与否、次数以及置信度阈值，将样本数据分为简单样本、困难样本以及错误样本；
[0008]步骤4、将简单样本直接进入损失函数的计算，将困难样本添加被抽取的概率后进入损失函数的计算，将错误样本终止进入损失函数的计算；
[0009]步骤5、根据步骤4的结果进行损失函数的计算，然后更新模型参数，以此迭代直至训练结束。
[0010]上述的基于样本分类的深度学习模型训练方法，所述样本数据抽取方法使用了蓄
水池抽样算法。
[0011]前述的基于样本分类的深度学习模型训练方法，步骤2中，所述置信度阈值的计算公式如下：
[0012][0013]AT＝β
×
x
×
sigmoid(x)，0≤β≤1；
[0014]式中：x为某个正确分类样本数据的平均置信度，C(i)表示第i个样本数据的置信度，AT为置信度阈值，β是一个常数；sigmoid()表示激活函数；n为样本数据的个数。
[0015]前述的基于样本分类的深度学习模型训练方法，所述简单样本的划分是当深度学习模型对某一样本数据的判断正确且置信度大于自适应阈值时，则认定为简单样本。
[0016]前述的基于样本分类的深度学习模型训练方法，所述困难样本的划分是在某一样本数据不是错误样本的前提下，该样本数据的正确识别的平均置信度小于置信度阈值，则认定为困难样本；或者当深度学习模型训练轮次超过1/4时，且在样本数据不是错误样本的前提下，最近K次识别只有不超过一半的正确率，则认定为困难样本。
[0017]前述的基于样本分类的深度学习模型训练方法，所述错误样本的划分是在深度学习模型的训练过程中记录每个样本数据最近K次的判断结果，若在最近K次中，某个样本数据分类出了超过K/2种结果，则认定为错误样本。
[0018]前述的基于样本分类的深度学习模型训练方法，步骤5中，所述损失函数的公式如下：
[0019][0020]式中：p表示随机变量的真实分布，q表示近似分布；n为样本数据的个数；x
i
为第i个正确分类样本数据的平均置信度；S
i
为第i个样本数据是否是简单样本或困难样本，即当第i个样本是简单样本或困难样本时，才会参与损失函数的计算。
[0021]与现有技术相比，本专利技术在深度学习模型训练过程中，基于深度学习模型对样本数据判断正确与否、次数以及置信度阈值，将样本数据分为简单样本、困难样本以及错误样本，然后将简单样本直接进入损失函数的计算，将困难样本添加被抽取的概率后进入损失函数的计算，将错误样本终止进入损失函数的计算，以此本专利技术可以达到更好的数据利用率，进而通过样本的分类来指导模型的训练，让模型在同样的参数条件下获到更高的精度。本专利技术通过深度学习模型训练过程的实时对于样本数据的判断正确与否、次数以及置信度来进行样本的分类，避免增加如传统模型中样本分类器，可以在模型结构上更加的简单，而且也提高了模型训练的时效性。
附图说明
[0022]图1是本专利技术的流程示意图；
[0023]图2是本专利技术的样本分类的示意图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。
[0025]实施例：一种基于样本分类的深度学习模型训练方法，如图1所示，包括如下步骤：
[0026]步骤1、抽取样本数据，将样本数据输入至深度学习模型训练，并获得输出结果；本实施例中，为了方便地添加样本抽取的概率，同时缩短训练时长，本专利技术的训练方法的样本抽取方法使用了蓄水池抽样算法。蓄水池抽样算法是一个能在O(n)时间复杂度内，且在未知样本数量时能够等概率抽取k个样本的算法，相较于深度学习常用Pytorch框架中默认的样本抽取算法执行效率更高。样本数据抽取后可以使用平常深度学习模型训练时使用的所有数据增强方法，用于提高训练精度。
[0027]步骤2、根据输出结果，统计每个样本数据最近k次被选择后深度学习判断正确的次数，同时统计深度学习识别样本数据时得到的置信度，并设置置信度阈值，所述置信度阈值的计算公式如下：
[0028][0029]AT＝β
×
x
×
sigmoid(x)，0≤β≤1；
[0030]式中：x为某个正确分类样本数据的平均置信度，C(i)表示第i个样本数据的置信度，AT为置信度阈值，β是一个常数，本实施例取值为0.7，在其他实施例中也可以取值0.8；sigmoid()表示激活函数；n为样本数据的个数。
[0031]步骤3、基于深度学习模型对样本数据判断正确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本分类的深度学习模型训练方法，其特征在于：包括如下步骤：步骤1、抽取样本数据，将样本数据输入至深度学习模型训练，并获得输出结果；步骤2、根据输出结果，统计每个样本数据最近k次被选择后深度学习模型判断正确的次数，同时统计深度学习模型识别样本数据时得到的置信度，并设置置信度阈值；步骤3、基于深度学习模型对样本数据判断正确与否、次数以及置信度阈值，将样本数据分为简单样本、困难样本以及错误样本；步骤4、将简单样本直接进入损失函数的计算，将困难样本添加被抽取的概率后进入损失函数的计算，将错误样本终止进入损失函数的计算；步骤5、根据步骤4的结果进行损失函数的计算，然后更新模型参数，以此迭代直至训练结束。2.根据权利要求1所述的基于样本分类的深度学习模型训练方法，其特征在于：所述样本数据抽取方法使用了蓄水池抽样算法。3.根据权利要求1所述的基于样本分类的深度学习模型训练方法，其特征在于：步骤2中，所述置信度阈值的计算公式如下：AT＝β
×
x
×
sigmoid(x)，0≤β≤1；式中：x为某个正确分类样本数据的平均置信度，C(i)表示第i个样本数据的置信度，AT为置信度阈值，β是一个常数；sigmoid( )表示激活函数；n为样本数据的个数。4...

【专利技术属性】
技术研发人员：林雪芬，吴宇菲，马伟锋，徐志毅，唐伟，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：