本申请公开了一种模型训练方法、文档推荐方法及相关产品。该模型训练方法包括：获取待训练模型和训练数据；使用所述训练数据训练所述待训练模型执行第一任务和第二任务，得到所述第一任务的第一梯度和所述第二任务的第二梯度，所述第一任务与所述第二任务不同；基于所述第二梯度与所述第一梯度的比值，确定所述第二梯度的权重，所述权重与所述比值呈正相关；基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度；基于所述总梯度更新所述待训练模型的参数，得到目标模型。基于本申请的模型训练方法可提升多目标模型的训练效果。
【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种模型训练方法、文档推荐方法及相关产品。
技术介绍
1、通过对模型进行训练，可使模型学习到执行任务的能力，进而可将模型用于执行任务。而为了满足实际应用的需求，多目标模型应运而生，其中，多目标模型即为具备执行至少两种不同的任务的能力的模型。但由于在多目标模型的训练过程中，不同任务的优化方向可能不同，进而导致优化方向不同的任务对彼此的优化产生负作用，从而使多目标模型的训练效果差。
技术实现思路
1、本申请提供一种模型训练方法、文档推荐方法及相关产品。
2、第一方面，提供了一种模型训练方法，所述模型训练方法包括：
3、获取待训练模型和训练数据；
4、使用所述训练数据训练所述待训练模型执行第一任务和第二任务，得到所述第一任务的第一梯度和所述第二任务的第二梯度，所述第一任务与所述第二任务不同；
5、基于所述第二梯度与所述第一梯度的比值，确定所述第二梯度的权重，所述权重与所述比值呈正相关；
6、基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度；
7、基于所述总梯度更新所述待训练模型的参数，得到目标模型。
8、结合本申请任一实施方式，所述基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度，包括：
9、对所述第二梯度的权重进行截断，得到截断后的权重；
10、确定所述第二梯度的权重与所述截断后的权重的乘积，得到所述第二梯度的新权重；</p>11、基于所述新权重对所述第一梯度和所述第二梯度进行加权求和。
12、结合本申请任一实施方式，所述对所述第二梯度的权重进行截断，得到截断后的权重，包括：
13、在所述第二梯度的权重小于所述第一阈值的情况下，确定所述截断后的权重为所述第一阈值；
14、在所述第二梯度的权重大于所述第二阈值的情况下，确定所述截断后的权重为所述第二阈值。
15、结合本申请任一实施方式，所述待训练模型包括共享特征表达层、第一任务层和第二任务层，所述共享特征表达层用于提取特征，所述第一任务层用于执行所述第一任务，所述第二任务层用于执行第二任务；
16、所述使用所述训练数据训练所述待训练模型执行第一任务和第二任务，得到所述第一任务的第一梯度和所述第二任务的第二梯度，包括：
17、所述共享特征表达层对所述训练数据进行处理，得到所述训练数据的基础特征；
18、所述第一任务层基于所述基础特征确定所述第一任务的第一执行结果；
19、所述第二任务层基于所述基础特征确定所述第二任务的第二执行结果；
20、基于所述第一执行结果和所述第二执行结果，得到所述第一梯度和所述第二梯度。
21、结合本申请任一实施方式，所述基于所述第一执行结果和所述第二执行结果，得到所述第一梯度和所述第二梯度，包括：
22、获取所述第一任务的第一标签和所述第二任务的第二标签；
23、基于所述第一执行结果与所述第一标签的第一差异、所述第二执行结果与所述第二标签的第二差异，得到总损失；
24、基于所述总损失，确定所述第一梯度和所述第二梯度。
25、结合本申请任一实施方式，所述基于所述总损失，确定所述第一梯度和所述第二梯度，包括：
26、获取所述第一任务的第一权重和所述第二任务的第二权重；
27、基于所述第一权重和所述总损失，确定所述第一任务的第一损失；
28、基于所述第二权重和所述总损失，确定所述第二任务的第二损失；
29、基于所述第一损失，确定所述第一梯度；
30、基于所述第二损失，确定所述第二梯度。
31、结合本申请任一实施方式，所述基于所述总梯度更新所述待训练模型的参数，得到目标模型，包括：
32、基于所述总梯度更新所述共享特征表达层的参数，得到目标模型。
33、结合本申请任一实施方式，所述第一任务和所述第二任务为以下中的至少一个：预测用户是否对文档感兴趣、预测用户是否会分享文档、预测用户对文档的观看时长。
34、结合本申请任一实施方式，所述训练数据包括带有标签的文档。
35、第二方面，提供了一种文档推荐方法，所述文档推荐方法包括：
36、获取基于第一方面及其任一实施方式获得的目标模型，所述目标模型执行的第一任务和第二任务为以下中的一个：预测用户是否对文档感兴趣、预测用户是否会分享文档、预测用户对文档的观看时长；
37、获取目标文档和目标用户的用户信息；
38、使用所述目标模型对所述目标文档和所述用户信息进行处理，得到所述第一任务的第一预测结果和所述第二任务的第二预测结果；
39、基于所述第一预测结果和所述第二预测结果，确定所述目标文档的推荐分，所述推荐分表征将所述目标文档推荐给所述目标用户的倾向。
40、结合本申请任一实施方式，在确定所述目标文档的推荐分之后，所述方法还包括：
41、在所述推荐分大于或等于阈值的情况下，将所述目标文档推荐给所述目标用户。
42、第三方面，提供了一种模型训练装置，所述训练装置包括：
43、获取单元，用于获取待训练模型和训练数据；
44、执行单元，用于使用所述训练数据训练所述待训练模型执行第一任务和第二任务，得到所述第一任务的第一梯度和所述第二任务的第二梯度，所述第一任务与所述第二任务不同；
45、确定单元，用于基于所述第二梯度与所述第一梯度的比值，确定所述第二梯度的权重，所述权重与所述比值呈正相关；
46、加权单元，用于基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度；
47、更新单元，用于基于所述总梯度更新所述待训练模型的参数，得到目标模型。
48、结合本申请任一实施方式，所述加权单元：
49、对所述第二梯度的权重进行截断，得到截断后的权重；
50、确定所述第二梯度的权重与所述截断后的权重的乘积，得到所述第二梯度的新权重；
51、基于所述新权重对所述第一梯度和所述第二梯度进行加权求和。
52、结合本申请任一实施方式，所述加权单元：
53、在所述第二梯度的权重小于所述第一阈值的情况下，确定所述截断后的权重为所述第一阈值；
54、在所述第二梯度的权重大于所述第二阈值的情况下，确定所述截断后的权重为所述第二阈值。
55、结合本申请任一实施方式，所述待训练模型包括共享特征表达层、第一任务层和第二任务层，所述共享特征表达层用于提取特征，所述第一任务层用于执行所述第一任务，所述第二任务层用于执行第二任务；
56、所述执行单元，用于通过所述共享特征表达层对所述训练数据进行处理，得到所述训练数据的基础特征；
57、本文档来自技高网
...
【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述第二梯度的权重进行截断，得到截断后的权重，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述待训练模型包括共享特征表达层、第一任务层和第二任务层，所述共享特征表达层用于提取特征，所述第一任务层用于执行所述第一任务，所述第二任务层用于执行第二任务；
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一执行结果和所述第二执行结果，得到所述第一梯度和所述第二梯度，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述总损失，确定所述第一梯度和所述第二梯度，包括：
7.根据权利要求4所述的方法，其特征在于，所述基于所述总梯度更新所述待训练模型的参数，得到目标模型，包括：
8.根据权利要求1至3中任意一项所述的方法，其特征在于，所述第一任务和所述第二任务为以下中的至少一个：预测用户是否对文档感兴趣、预测用户是否会分享文档、预测用户对文档的观看时长。
9.根据权利要求8所述的方法，其特征在于，所述训练数据包括带有标签的文档。
10.一种文档推荐方法，其特征在于，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，在确定所述目标文档的推荐分之后，所述方法还包括：
12.一种模型训练装置，其特征在于，所述训练装置包括：
13.一种文档推荐装置，其特征在于，所述文档推荐装置包括：
14.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令；
...
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述权重对所述第一梯度和所述第二梯度进行加权求和，得到总梯度，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述第二梯度的权重进行截断，得到截断后的权重，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述待训练模型包括共享特征表达层、第一任务层和第二任务层，所述共享特征表达层用于提取特征，所述第一任务层用于执行所述第一任务，所述第二任务层用于执行第二任务；
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一执行结果和所述第二执行结果，得到所述第一梯度和所述第二梯度，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述总损失，确定所述第一梯度和所述第二梯度，包括：
7.根据权利要求4所述的方法，其特征在于，所述基于所述总梯度更新所述待训练模型的参数，...
【专利技术属性】
技术研发人员：刘宇广，缪义云，
申请(专利权)人：小红书科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。