一种基于动态采样的分类模型迭代加速方法及系统技术方案

本申请提供一种基于动态采样的分类模型迭代加速方法及系统，所述方法通过加载待训练模型，得到待训练模型的初始化权重，并根据初始化权重调整训练轮数，按照特定的比例，将训练轮数分割为多个数组，并设置每个数组在训练时的梯度步长。最后按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练，直至待训练模型收敛。本申请提供的方法通过分割训练轮数，并在对应的数组筛选出部分较难学习的训练样本进行训练，再通过交替进行全部训练和部分训练的方式防止待训练模型的学习遗忘，以达到节省待训练模型的训练时间，提升待训练模型的训练效率的目的。提升待训练模型的训练效率的目的。提升待训练模型的训练效率的目的。

【技术实现步骤摘要】
一种基于动态采样的分类模型迭代加速方法及系统


[0001]本申请涉及检测模型训练领域，尤其涉及一种基于动态采样的分类模型迭代加速方法及系统。

技术介绍

[0002]在工业视觉领域，由于采样数据比较困难，往往初始训练的可用数据比较少，在对用于工业检测的模型训练时，需要后期不停的收集样本，进行迭代训练。这就造成了大量时间和资源的消耗，所以在保证精度的情况下，提高迭代训练速度是一项很重要的问题。
[0003]现有迭代训练的常规方法是将一个由大型数据集训练出来的待训练模型的权重作为迭代训练的初始化权重，再随着样本数据的不断增多，向数据集中不断增加新采样得到的样本数据，再使用增量后的数据集作为训练集重新对待训练模型进行训练。
[0004]但是，上述预模型在不断迭代训练的过程中，每迭代训练一次都需要耗费大量的时间，且占用资源。多次的对待训练模型进行迭代训练更是极大增加了工业产品的生产周期以及维护成本，降低生产效率。

技术实现思路

[0005]为解决在工业视觉领域中，待训练模型在不断迭代训练的过程中，训练一次待训练模型需要消耗大量的时间，且占用资源，多次对待训练模型进行迭代训练极大增加工业产品的生产周期以及维护成本，降低生产效率的问题。
[0006]第一方面，本申请实施例提供一种基于动态采样的分类模型迭代加速方法及系统，所述方法包括：
[0007]加载待训练模型，得到所述待训练模型的初始化权重；
[0008]根据所述初始化权重调整训练轮数，并按照第一预设比例将所述训练轮数分割为多个数组；
[0009]设置每个数组在训练时的梯度步长；
[0010]按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练；所述全部训练为使用所述训练集中的全部训练样本对待训练模型进行训练；所述部分训练为使用训练集中第二预设比例的训练样本对待训练模型进行训练。
[0011]在本申请的一些实施例中，所述方法还包括：
[0012]按照所述数组的个数，将训练集分为多个子训练集；
[0013]按照第二预设比例筛选所述子训练集中的训练样本，得到有效样本集；
[0014]使用所述有效样本集对待训练模型进行所述部分训练。
[0015]在本申请的一些实施例中，按照第二预设比例筛选所述子训练集中的训练样本的步骤中，所述方法还包括：
[0016]在执行任意一次训练之后，获取当前模型的训练权重；
[0017]根据所述训练权重，计算下一次训练对应的子训练集中的训练样本的学习难度等
级；
[0018]根据第二预设比例，按照所述学习难度等级由高到低的排列顺序筛选有效样本。
[0019]在本申请的一些实施例中，计算下一次训练对应的子训练集中样本的难度值的步骤中，所述方法还包括：
[0020]使用交叉熵损失函数计算子训练集中的训练样本的交叉熵损失；
[0021]按照所述交叉熵损失确定样本的所述学习难度等级。
[0022]在本申请的一些实施例中，所述方法还包括：
[0023]在对所述待训练模型进行全部训练之前，按照第三预设比例从训练集中筛选迭代样本；
[0024]使用所述训练集中的全部样本以及所述迭代样本对所述待训练模型进行所述全部训练。
[0025]在本申请的一些实施例中，设置每个子轮数在训练时的梯度步长之后，所述方法还包括：
[0026]计算每个所述子训练集的训练损失；
[0027]将所述待训练模型在前向传播的过程中，累计叠加数量为梯度步长的训练损失，得到梯度损失；
[0028]基于所述梯度损失，对所述待训练模型进行反向传播。
[0029]在本申请的一些实施例中，根据所述初始化权重调整训练轮数的步骤中，所述方法还包括：
[0030]获取所述待训练模型的最佳训练轮数以及所述待训练模型的总训练轮数；
[0031]将所述训练轮数的轮数上限调整为所述最佳训练轮数的第一预设倍数，以及，将所述训练轮数的轮数下线调整为所述总训练轮数的第二预设倍数。
[0032]在本申请的一些实施例中，对待训练模型交替进行全部训练和部分训练的步骤中，所述方法还包括：
[0033]在对所述待训练模型进行部分训练时，将所述待训练模型的学习率调整为全部训练时学习率的两倍；
[0034]按照调整后的训练轮数以及调整后的学习率对所述待训练模型进行训练。
[0035]在本申请的一些实施例中，所述方法还包括：
[0036]获取训练集中训练样本的数量；
[0037]选取预设数量的训练样本作为验证集；所述预设数量小于样本数量；
[0038]在所述待训练模型进行至少一次训练之后，使用所述验证集对待训练模型进行验证，得到验证结果；
[0039]根据所述验证结果确定所述待训练模型的收敛值，以在所述收敛值满足预设收敛区间时输出训练结果模型。
[0040]第二方面，本申请实施例提供一种基于动态采样的分类模型迭代加速系统，所述系统包括训练模块，所述训练模块被配置为：
[0041]加载待训练模型，得到所述待训练模型的初始化权重；
[0042]根据所述初始化权重调整训练轮数，并按照第一预设比例将所述训练轮数分割为多个数组；
[0043]设置每个数组在训练时的梯度步长；
[0044]按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练；所述全部训练为使用所述训练集中的全部训练样本对待训练模型进行训练；所述部分训练为使用训练集中第二预设比例的训练样本对待训练模型进行训练。
[0045]由以上方案可知，本申请提供一种基于动态采样的分类模型迭代加速方法及系统，所述方法通过加载待训练模型，得到待训练模型的初始化权重，并根据初始化权重调整训练轮数，按照特定的比例，将训练轮数分割为多个数组，并设置每个数组在训练时的梯度步长。最后按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练，直至待训练模型收敛。本申请提供的方法通过分割训练轮数，并在对应的数组筛选出部分较难学习的训练样本进行训练，再通过交替进行全部训练和部分训练的方式防止待训练模型的学习遗忘，以达到节省待训练模型的训练时间，提升待训练模型的训练效率的目的。
附图说明
[0046]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]图1为本申请实施例提供的一种基于动态采样的分类模型迭代加速方法流程图；
[0048]图2为本申请实施例提供的按照预设比例调整训练轮数的示意图；
[0049]图3为本申请实施例提供的设定训练样本的学习难度等级示意图；
[0050]图4为本申请实施例根据多个特征的学习难度等级确定训练样本的学习难度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态采样的分类模型迭代加速方法，其特征在于，所述方法包括：加载待训练模型，得到所述待训练模型的初始化权重；根据所述初始化权重调整训练轮数，并按照第一预设比例将所述训练轮数分割为多个数组；设置每个数组在训练时的梯度步长；按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练；所述全部训练为使用所述训练集中的全部训练样本对待训练模型进行训练；所述部分训练为使用训练集中第二预设比例的训练样本对待训练模型进行训练。2.根据权利要求1所述的基于动态采样的分类模型迭代加速方法，其特征在于，所述方法还包括：按照所述数组的个数，将训练集分为多个子训练集；按照第二预设比例筛选所述子训练集中的训练样本，得到有效样本集；使用所述有效样本集对待训练模型进行所述部分训练。3.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，按照第二预设比例筛选所述子训练集中的训练样本的步骤中，所述方法还包括：在执行任意一次训练之后，获取当前模型的训练权重；根据所述训练权重，计算下一次训练对应的子训练集中的训练样本的学习难度等级；根据第二预设比例，按照所述学习难度等级由高到低的排列顺序筛选有效样本。4.根据权利要求3所述的基于动态采样的分类模型迭代加速方法，其特征在于，计算下一次训练对应的子训练集中样本的难度值的步骤中，所述方法还包括：使用交叉熵损失函数计算子训练集中的训练样本的交叉熵损失；按照所述交叉熵损失确定样本的所述学习难度等级。5.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，所述方法还包括：在对所述待训练模型进行全部训练之前，按照第三预设比例从训练集中筛选迭代样本；使用所述训练集中的全部样本以及所述迭代样本对所述待训练模型进行所述全部训练。6.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，设置每个子轮数在训练时的梯度步长之后，所述方法还包括：计...

【专利技术属性】
技术研发人员：李楠，彭斌，杨艺，
申请(专利权)人：凌云光技术股份有限公司，
类型：发明
国别省市：