模型训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种模型训练方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取噪声参数，并基于噪声参数对初始神经网络模型中的初始模型参数进行调整，调整幅度在目标调整范围内；将历史训练样本输入调整后的神经网络模型中进行训练，得到更新神经网络模型；将更新神经网络模型作为初始神经网络模型，并返回获取噪声参数，并基于噪声参数对初始神经网络模型中的初始模型参数进行调整的步骤执行，当达到训练完成条件时，得到当前神经网络模型，并基于增量训练样本和增量训练标签对当前神经网络模型的当前模型参数在目标调整范围内进行训练，得到目标神经网络模型。采用本方法能够在缓解灾难性遗忘的基础上提高训练效率。

【技术实现步骤摘要】

本申请涉及人工智能，特别是涉及一种模型训练方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

1、随着人工智能技术的发展，出现了持续学习技术，持续学习（continuallearning，cl）是指在没有先前训练数据的情况下，以连续的方式训练机器学习模型，以学习新信息，同时保留先前学习的任务。持续学习中常出现的问题是灾难性遗忘（catastrophic forgetting）：当前任务的训练结束后，模型在之前旧任务上的性能显著变差。目前，在进行持续学习时，为了缓解灾难性遗忘的问题，通常是对历史训练数据进行采样或者生成同分布的数据与新任务的数据共同训练，然而，对历史训练数据进行采样或者生成同分布的数据与新任务的数据共同训练，由于训练数据增多，会导致训练效率降低，消耗的训练资源变多。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够在缓解灾难性遗忘的基础上提高训练效率，节省训练资源的模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述噪声参数对初始神经网络模型中的初始模型参数进行调整，得到中间神经网络模型，所述初始模型参数的调整幅度在目标调整范围内，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述初始调整幅度与所述目标调整范围进行对比，得到对比结果，根据对比结果得到中间神经网络模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述将所述初始调整幅度与所述目标调整范围进行对比，得到对比结果，根据对比结果得到中间神经网络模型，包括：

5.根据权利要求1所...

【技术特征摘要】

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述噪声参数对初始神经网络模型中的初始模型参数进行调整，得到中间神经网络模型，所述初始模型参数的调整幅度在目标调整范围内，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述初始调整幅度与所述目标调整范围进行对比，得到对比结果，根据对比结果得到中间神经网络模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述将所述初始调整幅度与所述目标调整范围进行对比，得到对比结果，根据对比结果得到中间神经网络模型，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取噪声参数，并基于所述噪声参数对初始神经网络模型中的初始模型参数进行调整，得到中间神经网络模型，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取噪声参数，包括：

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述初始神经网络模型包括初始语义提取网络和初始分类网络；

8.根据权利要求7所述的方法，其特征在于，所述基于所述调整后的语义提取网络和所述初始分类网络，得到所述中间神经网络模型，包括：

9.根据权利要求1所述的方法，其特征在于，所述中间神经网络模型包括调整后的语义提取网络和调整后的分类网络；

10.根据权利要求1所述的方法，其特征在于，所述基于所述当前训练结果和所述历史训练标签对所述中间神经网络模型中的中间模型参数进行更新，得到更新神经网络模型，包括：

11.根据...

【专利技术属性】
技术研发人员：陈逸人，徐泽南，赵哲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：