【技术实现步骤摘要】
本申请涉及神经网络训练领域，尤其涉及一种神经网络的训练方法、神经网络的训练装置、电子设备及计算机可读存储介质。
技术介绍
1、随着人工智能领域的发展与大模型的出现，神经网络规模指数级提升，学习数据急速增长，庞大的计算量带来了神经网络的训练成本的急速增长，当前主流大模型训练成本往往高达千万乃至数亿美元，造成了巨大的经济成本消耗。如何发展有效的神经网络训练方法，使其能够快速准确地进行功能实现，提升训练效率，降低训练成本是目前人工智能领域亟待解决的问题。
2、神经网络的训练方式是决定神经网络效率与性能的关键。然而，与快速发展的神经网络的规模不同，神经网络的训练方法发展则较为缓慢，当前主流的神经网络训练方式仍为传统的反向传播算法以及梯度下降算法。当前的神经网络训练方式以减小神经网络的输出结果与训练样本的标注之间的损失函数为目标，通过反向传播算法，计算损失函数的梯度，并利用梯度下降算法，令神经网络的参数沿对应梯度的反方向迭代搜索，使神经网络演化至损失函数的局部极小值，实现例如网络预测、分类、生成等复杂功能。
3、然而，现有...
【技术保护点】
1.一种神经网络的训练方法，至少应用于视觉处理场景，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述输出结果以及所述训练样本的标注信息，确定出每项所述连接权重的第一梯度，包括：
3.根据权利要求1所述的方法，其特征在于，所述定向梯度噪声是由所述定向梯度噪声的初始方向与所述定向梯度噪声的强度相乘得到的；
4.根据权利要求1所述的方法，其特征在于，所述设定梯度阈值包括权重梯度阈值、层梯度阈值以及网络梯度阈值中的至少一种；其中，所述网络梯度阈值大于所述权重梯度阈值以及所述层梯度阈值；
5.根据权利要求...
【技术特征摘要】
1.一种神经网络的训练方法，至少应用于视觉处理场景，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述输出结果以及所述训练样本的标注信息，确定出每项所述连接权重的第一梯度，包括：
3.根据权利要求1所述的方法，其特征在于，所述定向梯度噪声是由所述定向梯度噪声的初始方向与所述定向梯度噪声的强度相乘得到的；
4.根据权利要求1所述的方法，其特征在于，所述设定梯度阈值包括权重梯度阈值、层梯度阈值以及网络梯度阈值中的至少一种；其中，所述网络梯度阈值大于所述权重梯度阈值以及所述层梯度阈...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。