神经网络模型训练方法及其装置、设备、介质、产品制造方法及图纸

本申请涉及一种神经网络模型训练方法及其装置、设备、介质、产品，所述方法包括：确定待监测的性能指标及训练轮数，根据训练轮数随机生成容忍轮数，使容忍轮数成为关联于所述训练轮数的随机值；按照训练轮数对神经网络模型执行多轮训练，在每轮训练中将神经网络模型的实例训练至收敛，获得相应的已收敛实例；判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，当低于最高性能指标时，统计持续低于最高性能指标的持续总轮数；当持续总轮数达到所述容忍轮数时，终止训练，确定获得最高性能指标的已收敛实例为最佳实例。本申请可以自动化地识别出多轮训练过程中的过拟合现象，确保最佳实例的有效性。最佳实例的有效性。最佳实例的有效性。

【技术实现步骤摘要】
神经网络模型训练方法及其装置、设备、介质、产品


[0001]本申请涉及机器学习领域，尤其涉及一种神经网络模型训练方法及其装置、设备、介质、产品。

技术介绍

[0002]深度学习模型已经广泛应用于计算机科学的各个领域，用于解决诸如图像、自然语言等技术问题。深度学习模型基于海量的样本进行训练而习得相应的推理能力，通过对输入其中的被处理信息进行特征表示，获得相应的深层语义信息，在深层语义信息的基础上执行各种下游任务，来解决相应的问题。
[0003]深度学习模型在其训练过程中，容易发生过拟合现象，特别是在模型参数较多，而样本数量不足时，便会发生过拟合。导致所获得的模型，在训练数据上获得的损失值较小，预测准确率较高，但是在测试数据以及推理阶段使用时，损失值比较大，预测准确率较低。当将这样的模型用于执行下游任务时，会导致相应的下游任务不能获得预期的效果。
[0004]为了克服过拟合现象，业内提出多种解决方案，例如，在样本的原型的层面做数据增强，在样本的特征层面做数据增强，对特征进行正则化、应用早停法等，诸如此类的方法，均能在某种程度上克服过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型训练方法，其特征在于，包括：确定待监测的性能指标及训练轮数，根据所述训练轮数随机生成容忍轮数，使所述容忍轮数成为关联于所述训练轮数的随机值；按照所述训练轮数对神经网络模型执行多轮训练，在每轮训练中将所述神经网络模型的实例训练至收敛，获得相应的已收敛实例；判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，当低于所述最高性能指标时，统计持续低于所述最高性能指标的持续总轮数；当所述持续总轮数达到所述容忍轮数时，终止训练过程，确定获得所述最高性能指标的已收敛实例为最佳实例。2.根据权利要求1所述的神经网络模型训练方法，其特征在于，确定待监测的性能指标及训练轮数之前，包括：配置所述神经网络模型，使其包含至少一个特征表示组件，所述特征表示组件包括神经网络层和失活层，所述神经网络层用于提取被处理信息中的深层特征信息，所述失活层用于随机丢弃所述深层特征信息中的部分特征；将所述神经网络层所采用的激活函数配置为高斯误差线性单元；将所述失活层所采用的用于控制丢弃特征数量的丢弃概率设置为与随机概率值的自然常数幂相关联。3.根据权利要求1所述的神经网络模型训练方法，其特征在于，根据所述训练轮数随机生成容忍轮数，使所述容忍轮数成为关联于所述训练轮数的随机值，包括：基于特定比例与所述训练轮数的乘积确定标定轮数，所述特定比例为70％至90％范围内的定值；以自然常数为底，以随机概率值为指数，确定所述标定轮数的归一化权重所述随机概率值的数值区间为(
‑
∞,0]；应用归一化权重对所述标定轮数加权获得归一化后的结果数值；将所述结果数值取整作为所述容忍轮数。4.根据权利要求1所述的神经网络模型训练方法，其特征在于，判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，包括：当每轮训练所得的已收敛实例的性能指标不低于历轮获得的已收敛实例的性能指标中的最高性能指标时，重置所述持续总轮数为其最低值。5.根据权利要求1所述的神经网...

【专利技术属性】
技术研发人员：叶朝鹏，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：