模型训练方法、文档推荐方法及相关产品技术

技术编号:40711906 阅读:26 留言:0更新日期:2024-03-22 11:13
本申请公开了一种模型训练方法、文档推荐方法及相关产品。该模型训练方法包括:获取待训练模型和训练数据,所述待训练模型包括用于执行第一任务的第一任务层和用于执行第二任务的第二任务层,所述第一任务与所述第二任务不同;使用所述训练数据训练所述待训练模型执行第一任务和第二任务,得到所述第一任务的第一梯度和所述第二任务的第二梯度;基于所述第二梯度更新所述待训练模型中的所述第二任务层的参数,并在所述第一梯度的方向与所述第二梯度的方向相同的情况下,基于所述第一梯度和所述第二梯度更新所述待训练模型中的所述第一任务层的参数,得到目标模型。基于本申请的模型训练方法可提升多目标模型的训练效果。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种模型训练方法、文档推荐方法及相关产品


技术介绍

1、通过对模型进行训练,可使模型学习到执行任务的能力,进而可将模型用于执行任务。而为了满足实际应用的需求,多目标模型应运而生,其中,多目标模型即为具备执行至少两种不同的任务的能力的模型。但由于在多目标模型的训练过程中,不同任务的优化方向可能不同,进而导致优化方向不同的任务对彼此的优化产生负作用,从而使多目标模型的训练效果差。


技术实现思路

1、本申请提供一种模型训练方法、文档推荐方法及相关产品。

2、第一方面,提供了一种模型训练方法,所述模型训练方法包括:

3、获取待训练模型和训练数据,所述待训练模型包括用于执行第一任务的第一任务层和用于执行第二任务的第二任务层,所述第一任务与所述第二任务不同;

4、使用所述训练数据训练所述待训练模型执行第一任务和第二任务,得到所述第一任务的第一梯度和所述第二任务的第二梯度;

5、基于所述第二梯度更新所述待训练模型中的所述第二任务层的参数,并在所述本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述第一任务的第一梯度和所述第二任务的第二梯度之后,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,所述待训练模型包括共享特征表达层、第一专家网络层和第二专家网络层,所述共享特征表达层用于提取特征,所述第一专家网络层用于筛选用于执行所述第一任务的信息,所述第二专家网络层用于筛选用于执行所述第二任务的信息;

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一任务特征和所述第二任务特征,得到所述第一梯度和所述第二梯度,包括:

...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述第一任务的第一梯度和所述第二任务的第二梯度之后,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,所述待训练模型包括共享特征表达层、第一专家网络层和第二专家网络层,所述共享特征表达层用于提取特征,所述第一专家网络层用于筛选用于执行所述第一任务的信息,所述第二专家网络层用于筛选用于执行所述第二任务的信息;

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一任务特征和所述第二任务特征,得到所述第一梯度和所述第二梯度,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述总损失,确定所述第一梯度和所述第二梯度,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述第二梯度更新所述待训练模型中的所述第二任务层的参数,并在所述第一梯度的方向与所述第二梯度的方向相同的情况下,基于所述第一梯度和所述第二梯度更新所述待训练模型中的所述第一任务层的参数,得到目标模型,包括:

7.根据权利要求1或2所述的方法,其特征在于,在得到...

【专利技术属性】
技术研发人员:刘宇广缪义云
申请(专利权)人:小红书科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1