深度学习模型的调整方法和装置以及处理器制造方法及图纸

本申请提供了一种深度学习模型的调整方法和装置以及处理器，该方法包括构建具有第一初始参数的第一初始模型，第一初始参数包括初始尺度因子、第一学习率、初始卷积参数、第二学习率和学习率调整策略；采用样本数据对第一初始模型进行训练，得到目标尺度因子；至少在目标尺度因子与初始尺度因子的差值大于预定差值的情况下，根据目标尺度因子和目标参数，更新并得到更新目标参数，目标参数包括第二学习率和初始卷积参数中的至少一个，并至少根据更新目标参数和学习率调整策略，构建目标模型。本申请的深度学习模型的调整方法不需要不断调整学习率或者初始化参数，大大节约了深度学习模型的调整时间，并且提升了精度。并且提升了精度。并且提升了精度。

【技术实现步骤摘要】
深度学习模型的调整方法和装置以及处理器


[0001]本申请涉及计算机
，具体而言，涉及一种深度学习模型的调整方法和装置、计算机可读存储介质以及处理器。

技术介绍

[0002]深度学习算法在计算机视觉领域应用越来越广，在目标检测、分割和识别等任务的精度上都远超传统机器学习算法，达到或甚至超过了人类的水平。
[0003]深度学习模型的学习过程是其模型参数的优化过程，通过收集到的任务数据及标注，驱动模型参数进行迭代优化。由于深度学习模型中存在大量的非线性激活函数，所以其参数的优化是非凸优化，训练过程只能寻找一个局部最小值；而学习率决定了优化的步幅，参数的初始化决定了参数空间的尺度和起始位置，两者相互影响，并对最终训练精度产生至关重要的作用。现在一般的训练方法通过不断调整学习率或初始化参数，以得到在某一具体任务下最佳的学习率以及初始化参数，这种方法比较耗时。
[0004]因此，现有技术中的深度学习模型的调整方法比较耗时。
[0005]在
技术介绍
部分中公开的以上信息只是用来加强对本文所描述技术的
技术介绍
的理解，因此，
技术介绍
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的调整方法，其特征在于，包括：构建具有第一初始参数的第一初始模型，所述第一初始参数包括初始尺度因子、第一学习率、初始卷积参数、第二学习率和学习率调整策略，其中，所述第一学习率为所述初始尺度因子的学习率，所述第二学习率为所述初始卷积参数的学习率，所述学习率调整策略为所述第二学习率的调整策略；采用样本数据对所述第一初始模型进行训练，得到目标尺度因子，所述目标尺度因子为训练后的所述初始尺度因子；至少在所述目标尺度因子与所述初始尺度因子的差值大于预定差值的情况下，根据所述目标尺度因子和目标参数，更新所述目标参数，得到更新目标参数，所述目标参数包括第二学习率和初始卷积参数中的至少一个，并至少根据所述更新目标参数和所述学习率调整策略，构建目标模型。2.根据权利要求1所述的方法，其特征在于，所述目标参数包括所述第二学习率，至少在所述目标尺度因子与所述初始尺度因子的差值大于预定差值的情况下，根据所述目标尺度因子和所述目标参数，更新所述目标参数，得到更新目标参数，包括：计算所述第二学习率与所述目标尺度因子的比值，得到所述更新目标参数。3.根据权利要求1所述的方法，其特征在于，所述目标参数包括所述初始卷积参数，且所述初始卷积参数为初始卷积方差，至少在所述目标尺度因子与所述初始尺度因子的差值大于预定差值的情况下，根据所述目标尺度因子和所述目标参数，更新所述目标参数，得到更新目标参数，包括：计算所述初始卷积方差与所述目标尺度因子的平方的乘积，得到所述更新目标参数。4.根据权利要求1所述的方法，其特征在于，根据所述更新目标参数，构建目标模型，包括：构建具有第二初始参数的第二初始模型，所述第二初始参数至少包括所述更新目标参数和所述学习率调整策略，在所述目标参数为所述第二学习率的情况下，所述第二初始参数还包括所述初始卷积参数，在所述目标参数为所述初始卷积参数的情况下，所述第二初始参数还包括所述第二学习率；采用所述样本数据对所述第二初始模型进行训练，构建所述目标模型。5.根据权利要求4所述的...

【专利技术属性】
技术研发人员：黎安伟，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：