大语言模型的训练方法、商品推荐方法和设备技术

本申请实施例提供一种大语言模型的训练方法、商品推荐方法和设备，包括：获取第一数据集，第一数据集中的各第一提示数据包括：第一任务描述信息、商品推荐规则、至少一个任务示例、用户行为数据和候选商品信息；将第一提示数据输入第一大语言模型得到第一输出信息，第一输出信息包括用户感兴趣的商品的信息；根据第一提示数据和第一输出信息，生成第一提示数据对应的提示样本；使用提示样本组成的第二数据集对第二大语言模型进行训练，得到目标大语言模型。该方法以第二大语言模型为基座，利用第一大语言模型生成的提示样本对第二大语言模型进行有监督微调得到适用于电商场景的目标大语言模型，该目标大语言模型能够更好的学习到商品推荐规则。

【技术实现步骤摘要】

本申请实施例涉及自然语言处理，尤其涉及一种大语言模型的训练方法、商品推荐方法和设备。

技术介绍

1、在电商场景中，用户的基础属性和历史行为与用户未来的购买行为高度相关，该历史行为包括对商品的点击、收藏、下单等。

2、在电商场景中存在一些显式和/或隐式的推荐规则，基于这些推荐规则预测用户可能感兴趣的商品，能够提高商品的转换率。现有技术中，通过深度神经网络模型对这些推荐规则和用户历史行为进行学习，然后向用户推荐接下来可能购买或者感兴趣的商品。

3、但是，通过深度神经网络模型对推荐规则进行学习偏隐式，难以学习到所有的推荐规则，导致深度神经网络模型的预测效果不好。

技术实现思路

1、本申请实施例提供一种大语言模型的训练方法、商品推荐方法和设备，以第二大语言模型为基座，利用第一大语言模型生成的提示样本对第二大语言模型进行有监督微调得到适用于电商场景的目标大语言模型，该目标大语言模型能够更好的学习到商品推荐规则。

2、第一方面，本申请实施例提供一种大语言模型的训练方法，所述方法包括：<本文档来自技高网...

【技术保护点】

1.一种大语言模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一任务描述信息中包括第一任务的指令描述信息、第二任务的指令描述信息和当前任务的描述信息，所述第一任务用于根据所述商品推荐规则和所述第一输入数据分析并输出用户感兴趣的商品的信息，所述第二任务用于根据所述商品推荐规则和所述第一输入数据输出用户感兴趣的商品的信息，所述当前任务为所述第一任务或者所述第二任务；

3.根据权利要求1所述的方法，其特征在于，所述第二指令描述信息和所述第二输入数据是对所述第一提示数据优化得到的，所述第二指令描述信息包括第二任务描述信息和所述推荐规则信...

【技术特征摘要】

1.一种大语言模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一任务描述信息中包括第一任务的指令描述信息、第二任务的指令描述信息和当前任务的描述信息，所述第一任务用于根据所述商品推荐规则和所述第一输入数据分析并输出用户感兴趣的商品的信息，所述第二任务用于根据所述商品推荐规则和所述第一输入数据输出用户感兴趣的商品的信息，所述当前任务为所述第一任务或者所述第二任务；

3.根据权利要求1所述的方法，其特征在于，所述第二指令描述信息和所述第二输入数据是对所述第一提示数据优化得到的，所述第二指令描述信息包括第二任务描述信息和所述推荐规则信息，所述第二输入数据包括所述用户行为数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一提示数据和所述第一输出信息，生成提示样本，包括：

5.根据权利要求2所述的方法，其特征在于，所述第二数据集中包括多个所述第一任务对应的提示样本和多个所述第二任务对应的提示样本。

6.根据权利要求3所述的方法，其特征在于，所述第二输入数据还包括第二候选商品信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述使用多个所述提示样本组成的第...

【专利技术属性】
技术研发人员：詹诗意，马思怡，马艺源，颜发才，路毅恒，聂靖入，梁奇，王煜，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：