一种基于梯度平衡的多类别模型训练方法、介质及设备技术

本发明专利技术提供了一种基于梯度平衡的多类别模型训练方法、介质及设备，其中模型训练方法包括通过将训练样本数据输入到选定的神经网络模型进行训练获得损失函数；统计训练模型时损失函数的梯度分布；根据分布结果分配样本权重；权重的平滑处理；权重的衰减处理；获取新梯度更新网络模型；本发明专利技术通过在训练的过程中根据输入训练样本数据得到的损失函数梯度的分布，调整样本分配的权重，平衡不同程度难易样本对模型的影响，缩短了模型训练时间同时提升了模型的精度。

【技术实现步骤摘要】
一种基于梯度平衡的多类别模型训练方法、介质及设备
本专利技术涉及人工智能图像处理
，特别涉及一种基于梯度平衡的多类别模型训练方法、介质及设备。
技术介绍
随着大数据时代的到来以及计算能力的不断提高，基于大数据驱动的深度学习技术得到了飞速发展。深度学习在很多应用领域如图像分类、目标检测(典型应用如人脸识别、行人识别、车辆识别等)、图像分割等都有着广泛的应用。这些领域的应用背后是近几年来涌现出许多优秀的神经网络结构。可以说：成熟的应用模型＝大量数据+优秀的网络结构+合适的训练方法。通过合适的训练方法和大量的数据，可以使网络模型从数据中自动学习到有用的特征和知识，从而完成相应的任务目标。在近年来，大量的公开数据集被建立。对于大规模图像多分类任务，典型的数据集有ImageNet，COCO，VOC，OpenImage。大量优秀的网络结构被设计出来，并且在这些数据集上的有着优秀的表现。目前绝大多数网络的训练方式还是基于随机梯度下降的训练方式。这种训练方式非常有效，然而其潜力还没有被彻底发挥出来。其中一个重要的原因就是没有利用不本文档来自技高网...

【技术保护点】
1.一种基于梯度平衡的多类别模型训练方法，其特征在于，方法包括如下步骤：/nS1：通过将训练样本数据输入到选定的神经网络模型进行训练获得损失函数；/nS2：统计训练模型时损失函数的梯度分布；/n通过前向传播的方式训练构建好的网络模型，计算损失函数，并对损失函数的梯度进行统计；/nS3：分配样本权重；/n根据获得的梯度分布统计结果，对每个样本分配相应的权重；/nS4：权重的平滑；/n对获得的样本对应的权重进行平滑处理，缩小过大的权重；/nS5：平滑后权重的衰减处理；/n在训练过程中对平滑项进行衰减，使得训练结束后平滑项衰减到0；/nS6：获取新梯度更新网络模型；/n将经过平滑和衰减处理的权重矩阵...

【技术特征摘要】
1.一种基于梯度平衡的多类别模型训练方法，其特征在于，方法包括如下步骤：
S1：通过将训练样本数据输入到选定的神经网络模型进行训练获得损失函数；
S2：统计训练模型时损失函数的梯度分布；
通过前向传播的方式训练构建好的网络模型，计算损失函数，并对损失函数的梯度进行统计；
S3：分配样本权重；
根据获得的梯度分布统计结果，对每个样本分配相应的权重；
S4：权重的平滑；
对获得的样本对应的权重进行平滑处理，缩小过大的权重；
S5：平滑后权重的衰减处理；
在训练过程中对平滑项进行衰减，使得训练结束后平滑项衰减到0；
S6：获取新梯度更新网络模型；
将经过平滑和衰减处理的权重矩阵与原损失函数梯度相乘获得新的梯度，并通过反向传播更新网络模型的参数。


2.根据权利要求1所述的基于梯度平衡的多类别模型训练方法，其特征在于，步骤S1中所述神经网络模型为基于链式法则和随机梯度下降训练方式的机器学习模型，训练样本数据划分为若干个批次输入到模型中。


3.根据权利要求1所述的基于梯度平衡的多类别模型训练方法，其特征在于，步骤S2中，对所述损失函数的梯度进行统计获取统计样本数据，所述统计方式以每次模型迭代后的梯度进行独立统计。


4.根据权利要求2所述的基于梯度平衡的多类别模型训练方法，其特征...

【专利技术属性】
技术研发人员：许轶博，潘泽文，范宏伟，李佳斌，
申请(专利权)人：成都艾特能电气科技有限责任公司，
类型：发明
国别省市：四川;51