一种数据自适应神经网络模型训练方法及装置制造方法及图纸

本发明专利技术涉及一种数据自适应神经网络模型训练方法及装置，其方法包括：获取待训练神经网络模型的多个训练样本，并确定待训练神经网络模型的第一目标损失函数及其学习率、实时迭代次数、最大迭代次数和扰动学习率；基于实时迭代次数和最大迭代次数，确定扰动数据迭代次数；根据一个或多个训练样本、扰动数据迭代次数和扰动学习率，计算每次迭代的训练数据扰动量；基于所述训练数据扰动量和第一目标损失函数，确定并计算第二目标损失函数；根据最大迭代次数和第二目标损失函数，训练待训练神经网络模型至预设的最优条件。本发明专利技术通过估计扰动的方式对训练数据进行平滑处理，持续引导模型梯度变化趋于全局最优，避免局部最优解问题。避免局部最优解问题。避免局部最优解问题。

【技术实现步骤摘要】
一种数据自适应神经网络模型训练方法及装置


[0001]本专利技术属于计算机视觉机器学习领域，具体涉及一种数据自适应神经网络模型训练方法及装置。

技术介绍

[0002]过去几十年，随着机器学习相关技术在工业、能源、医疗和教育等领域的成功应用，高效的解决方案推动着机器学习技术不断的积累和发展，基于神经网络的机器学习算法深度学习应运而生。
[0003]深度学习是一种监督或半监督的学习方式，让神经网络具备一定的自主学习能力，大量的先验信息作为网络模型的输入，通过持续的迭代更新获得全局最优解即网络权重，使用该权重对目标进行推理和预测，实现端对端的输出。
[0004]神经网络作为一种监督学习策略对输入数据的依赖性较高，包括数据的规模、多样性、通识性和难易度等，其中数据规模满足于海量的相关数据获取，尽可能覆盖所有应用场景；数据的多样性表达为各种类型数据的收集，避免模型对某一场景或者某种类型样本的学习过拟合；数据的通识性为输入模型的训练数据对人和计算机是友好的，样本是通用的可表达的一种存在方式；数据的难易度是在大量数据的基础上统计数据分布，突出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据自适应神经网络模型训练方法，其特征在于，包括：获取待训练神经网络模型的多个训练样本，并确定待训练神经网络模型的第一目标损失函数及其学习率、实时迭代次数、最大迭代次数和扰动学习率；基于实时迭代次数和最大迭代次数，确定扰动数据迭代次数；根据一个或多个训练样本、扰动数据迭代次数和扰动学习率，计算每次迭代的训练数据扰动量；基于所述训练数据扰动量和第一目标损失函数，确定并计算第二目标损失函数；根据最大迭代次数和第二目标损失函数，训练待训练神经网络模型至预设的最优条件。2.根据权利要求1所述的数据自适应神经网络模型训练方法，其特征在于，所述扰动数据迭代次数通过如下方法确定：其中，T1为扰动数据迭代次数初始值，T
γ
为扰动数据迭代次数，γ为实时迭代次数，γ
max_ple
为最大简化迭代次数。3.根据权利要求2所述的数据自适应神经网络模型训练方法，其特征在于，所述根据一个或多个训练样本、扰动数据迭代次数和扰动学习率，计算每次迭代的训练数据扰动量包括：确定初始扰动值向量；根据扰动数据迭代次数计算扰动向量梯度；根据所述初始扰动值向量和扰动向量梯度计算每次迭代的训练数据扰动量。4.根据权利要求1所述的数据自适应神经网络模型训练方法，其特征在于，所述基于所述训练数据扰动量和第一目标损失函数，确定并计算第二目标损失函数包括：基于所述训练数据扰动量和第一目标损失函数，计算当前权重梯度；根据当前迭代的权重和当前权重梯度，计算下一次迭代权重；基于下一次迭代权重，确定并计算第二目标损失函数。5.根据权利要求4所述的数据自适应神经网络模型训练方法，其特征在于，所述第二目标损失函数表示为：标损失函数表示为：其中，L表示损失函数，B表示批量训练样本，D表示扰动值向量梯度，γ表示迭代次数，w表示每次迭代更新的权重；y
i
表示第i个样本x
i
...

【专利技术属性】
技术研发人员：乔少华，李汉玢，尹玉成，李亮，刘奋，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：