一种损失函数动态加权的方法技术

一种损失函数动态加权的方法，相比于基于采样的样本均衡方法而言，没有破坏原数据集的分布状态，提高了数据利用率的同时也提高了模型的训练效果，使得模型输出的概率分布得以保持原有数据状态。相比于对损失函数固定加权的方法而言，其权重由训练效果决定，动态调整过程中，使得模型的训练更符合数据的本身，从而提升了模型的效果。在调整权重的过程中，提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升。

A dynamic weighting method of loss function

【技术实现步骤摘要】
一种损失函数动态加权的方法
本专利技术涉及人工智能、机器学习与数据挖掘
，具体涉及一种损失函数动态加权的方法。
技术介绍
近年来，随着人工智能浪潮的涌起,人工智能、机器学习在学术界乃至工业界所占分量越来越大。分类问题，是人工智能的一个大类问题。而实际环境中的数据往往分布不均衡，例如：在医学数据中，往往越是严重的疾病在所有疾病中占比越是小，但越是严重的疾病，其误诊或漏诊所带来的代价却越是大。传统的模型训练中，使用简单的交叉熵函数计算模型与实际数据的损失。由于损失函数的设计对各个类别一视同仁，所以并未特意照顾到比例少但是代价越大的少量样本。因此，也造成了，使用常规的交叉熵作为损失函数，训练出来的模型，对于样本数量较少的类别分类效果不佳，但往往这些样本数量少的类别却是关注度高的类别。在真实的环境中，往往各类别的学习难度不同，有的类别有比较简单固定的模式，较容易训练，而有的类别的样本，模式复杂多变，模型学习难度大。然而类别的难易学程度，很难在模型训练前准确定量估计。在事前使用固定的针对损失函数的各类别进行加权的方法无法在训本文档来自技高网...

【技术保护点】
1.一种损失函数动态加权的方法，其特征在于，包括如下步骤：/na)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为N

【技术特征摘要】
1.一种损失函数动态加权的方法，其特征在于，包括如下步骤：
a)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为Ni，1≤i≤C，i为正整数，通过公式计算数据集中样本数量；
b)构建数据集中每个类别的损失函数权重向量为{α1,α2,α3,……,αC}，损失权重向量满足限制条件其中αi为第i类的损失函数权重；
c)根据步骤b)中的限制条件联立方程组求解得到损失函数权重向量中各个类别损失函数权重的值，将求解得到的每个类别损失函数权重的值初始化朴素交叉熵损失函数及FocalLoss损失函数；
d)使用初始化的朴素交叉熵损失函数及初始化的FocalLoss损失函数对分类器模型进行训练，如果训练达到完成状态则停止训练，如果训练没有完成则返回执行步骤c)；
e)统计分类器模型的训练集中每个类别样本的准确度为{T1,T2,T3,……,TC}，其中Ti为训练集中第i类的准确度，1≤i≤C，统计分类器模型训练的验证集中每个类别样本的准确度为{V1,V2,V3,……,VC}，其中Vi为验证集中第i类的准确度，1≤i≤C；
f)对损失函数权重向量为{α1,α2,α3,……,αC}进行第一次调整，如果则使用(1-γ)×αi代替损失函数权重向量{α1,α2,α3,……,αC}中的αi，式中γ为权重的调整比例，0＜γ＜1；<...

【专利技术属性】
技术研发人员：张伯政，吴军，樊昭磊，张述睿，张福鑫，李福友，
申请(专利权)人：山东众阳健康科技集团有限公司，
类型：发明
国别省市：山东;37