一种基于深度学习多权重损失函数的数据均衡方法技术

本发明专利技术涉及一种基于深度学习多权重损失函数的数据均衡方法，应用深度学习模型的训练过程中，首先获取目标图像数据集，根据目标数据集确定数据样本的类别数目C和每类样本量N

【技术实现步骤摘要】
一种基于深度学习多权重损失函数的数据均衡方法
本专利技术涉及人工智能、深度学习领域，具体涉及一种基于深度学习多权重损失函数的数据均衡方法。
技术介绍
随着人工智能的快速发展，深度学习在许多方面都取得了非常显著的效果，如数据挖掘、自然语言处理、多媒体学习、推荐和个性化技术、医学图像处理领域等。深度学习通过大量的数据使机器模仿视听和思考等人类的活动，挖掘数据的特征，解决了很多复杂的难题。获取大量的数据是一份非常耗时耗力的工作，且实际环境中的数据往往分布不均衡，从样本数量上来说，不同类别数据样本可能相差过大，例如在医学影像中，越是严重的疾病在同类相关疾病中占比越小，所采集的样本中也相对数量越少，但其误诊或漏诊所带来的代价却非常大。另一方面，从数据样本的区分难易程度上，不同类别数据的学习难度往往也不同，一些类别的特征相对简单固定，较容易训练，而一些类别样本的模式复杂多变，模型学习难度大。数据不均衡会影响神经网络的准确性，导致训练的神经网络模型更侧重于样本数目较多的、易于区分的样本类别，从而使数目较少、学习更为困难的样本类别识别准确率较低。目前解决数据不均衡的问题可从数据层面和算法层面来入手。在数据层面，常借助数据重采样，即对数量较少的类别进行上采样，对数量较多的类别进行下采样；在算法层面上，常利用不同的损失函数来达成不同的训练目的，传统的模型训练时，常使用简单的交叉熵损失函数进行模型与实际数据之间的误差计算，针对数据不均衡问题，目前有如Focalloss损失函数、Class-BalancedFocalLoss损失函数等，即利用不同的权重来对应不同样本空间，从而在参数和误差更新时更有针对性的对训练起到关键性作用，达到缓解数据不均衡的目的。而重采样策略目前仍有很大的不足，其可能会产生大量的噪声、损失有价值的训练样本，同时当数据集数据不均衡现象严重时，仅靠重采样可能会导致模型过拟合现象的发生，且目前同时关注训练样本数量不均衡问题和样本学习难度不均衡问题的工作较少，仍然有待进一步挖掘。
技术实现思路
为了克服现有技术的不足，本专利技术提出一种基于深度学习多权重损失函数的数据均衡方法，利用此损失函数不仅可以同时处理不同数据类别的样本数量不均衡问题和分类难度不均衡问题，还可以进一步提高关键类的检测准确率，将其应用于存在数据不均衡问题的数据集，从而有效缓解类不均衡问题的影响。本专利技术解决上述技术问题采用的技术方案是：一种基于深度学习多权重损失函数的数据均衡方法，应用深度学习模型的训练过程中，包括以下内容：步骤1：获取目标图像数据集，根据目标图像数据集确定样本的类别数目C和每类样本数量Ni，Ni为第i类别的样本数量；步骤2：确定超参数α、γ和每类样本类别的加权系数Ci，分别用来调节不同权重的作用范围；步骤3：确定多权重损失函数，此多权重损失函数用以下公式表示：式中，z表示样本的预测值，y表示样本的真实值；在等式右边中，C表示数据样本的类别数目，Ci表示每一类别样本重要性的加权系数；表示输出预测正确的概率，其定义为：其中zi表示样本在第i类上的预测值，y为样本的标签真值；α、γ为常数，分别用来调节数量较多的样本类别和简单样本权重降低的速率；步骤4，将多权重损失函数用于神经网络模型训练的反向传播过程中，并利用不同的权重来对应不同数据样本进行损失计算，从而缓解不同类别数量不均衡和分类难度不均衡的问题的影响，直至网络收敛，最终达到网络训练的目的。所述步骤1中所述样本的类别包括关键类别样本和普通类别样本，所述关键类别是指在训练时需要重点关注的样本类别；此外，同一类中的样本也分为困难样本和简单样本，所述困难样本是指在训练时难以分类的样本。步骤2中所述数据样本的类别数目中的样本类为关键类时，Ci取大于1的数值，提高关键类样本的权重，超参数α、γ取值越大，数量较多的样本类别和类内的简单样本权重降低速率越快。所述步骤2中，Ci，α、γ的取值均大于0，根据已有目标图像数据集设定初始值，选定初始值后，在训练神经网络模型时进一步搜索寻优，确定具体值。所述步骤3中令权重wi用来处理不同类别样本数量不均衡问题的影响，当某一类别样本数量较少时，对应权重wi会相应较大，通过上述损失函数计算得到的损失也会增大，使得神经网络训练时更加关注这一数量较少的类别，从而缓解不同类别数量不均衡问题的影响。所述步骤3中越大表明输出预测越接近样本真实标签，当样本为简单样本时，相应较大，此时就会越小，通过上述损失函数计算得到的损失相应较小，使得神经网络训练时对简单样本关注较少，更加关注困难样本，从而缓解类内简单样本与困难样本不均衡的影响。本专利技术与现有技术相比的优点在于：(1)该方法可以有效缓解数据集中存在的类样本数量不均衡和分类难度不均衡问题的影响。(2)利用此损失函数可以进一步提高关键类的检测准确率，从而进一步提升实际的应用价值。(3)相较其他损失函数，本专利技术设计的带有多维权重的损失函数使训练的神经网络模型准确率得到提升，训练效果更好。(4)该损失函数可进一步推广至其他存在数据不均衡的数据集中，使深度学习模型的训练效果提升。附图说明图1为本专利技术实现流程图；图2为本专利技术的具体应用流程图。具体实施方式下面将结合本专利技术实施例的附图，对本专利技术中的技术方案进行进一步的描述。当然，所描述的实施例仅仅是本专利技术一部分，本专利技术的范围包括但不限于下述实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的目的是提出一种基于深度学习的多维权重损失函数，可以有效缓解数据集中存在的不同类别样本数量不均衡问题和分类难度不均衡问题的影响，同时利用此损失函数还可以进一步提高关键类的检测准确率，从而进一步提升训练结果的实际应用效果。本专利技术提供一种应用于深度学习模型训练的多权重损失函数，通过利用不同维度的参数值，调节不同类别样本的权重，从而尽可能的减少类间样本不均衡问题和样本分类难易程度不均衡问题的影响。本专利技术的多权重损失函数公式如下所示：其中，FL(z,y)为FocalLoss损失函数，本专利技术在其基础上进行了一定改进，FocalLoss损失函数主要作用是将注意力聚焦在样本分类难易不均衡问题上，表达式如下所示：式中的其中zi表示第i类样本上的预测值，y表示样本的真实值，当i＝y时表明分类预测正确，其他表明分为了其他情形。表示输出预测正确的概率，γ为常数，用来调节易分类样本权重降低的速率，当γ＝0时，FL即为普通的交叉熵损失函数，当γ增加时，其调整因子的影响也随之增加；综上所述，本专利技术的多权重损失函数具体表示如下：式中，z表示样本的预测值，y表示样本的真实值，当两者相差越小时说明训练效果越好，此时Loss越接近于0；在等式右边中，C表示数据样本的类别数目，Ci表示每一类本文档来自技高网...

【技术保护点】
1.一种基于深度学习多权重损失函数的数据均衡方法，其特征在于：所述方法应用深度学习模型的训练过程中，包括以下内容：/n步骤1：获取目标图像数据集，根据目标图像数据集确定样本的类别数目C和每类样本数量N

【技术特征摘要】
1.一种基于深度学习多权重损失函数的数据均衡方法，其特征在于：所述方法应用深度学习模型的训练过程中，包括以下内容：
步骤1：获取目标图像数据集，根据目标图像数据集确定样本的类别数目C和每类样本数量Ni，Ni为第i类别的样本数量；
步骤2：确定超参数α、γ和每类样本类别的加权系数Ci，分别用来调节不同权重的作用范围；
步骤3：确定多权重损失函数，此多权重损失函数用以下公式表示：



式中，z表示样本的预测值，y表示样本的真实值；在等式右边中，C表示数据样本的类别数目，Ci表示每一类别样本重要性的加权系数；表示输出预测正确的概率，其定义为：

其中zi表示样本在第i类上的预测值，y为样本的标签真值；α、γ为常数，分别用来调节数量较多的样本类别和简单样本权重降低的速率；
步骤4，将多权重损失函数用于神经网络模型训练的反向传播过程中，并利用不同的权重来对应不同数据样本进行损失计算，从而缓解不同类别数量不均衡和分类难度不均衡的问题的影响，直至网络收敛，最终达到网络训练的目的。


...

【专利技术属性】
技术研发人员：徐梦娟，姚鹏，申书伟，邵鹏飞，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34