模型训练方法、点击率确定方法及相关设备技术

本公开的实施方式提供了一种模型训练方法、点击率确定方法及相关设备，属于计算机技术领域。该方法包括：获取训练样本集合，训练样本集合包括多个业务场景下的训练样本及对应的样本标签；将训练样本分别输入第一预测模型和第二预测模型，并将第一预测模型的中间数据迁移至第二预测模型，获得第一预测模型输出的第一训练点击率和第二预测模型输出的第二训练点击率；根据第一训练点击率、第二训练点击率和样本标签，调整第一预测模型和第二预测模型的模型参数。本公开能够缓解部分数据稀疏的场景，模型收敛困难，预测准确率较低的问题，解决单域模型维护困难的问题及基于多场景混合数据集建模的引起的跷跷板效应。数据集建模的引起的跷跷板效应。数据集建模的引起的跷跷板效应。

【技术实现步骤摘要】
模型训练方法、点击率确定方法及相关设备


[0001]本公开涉及计算机
，更具体地，本公开的实施方式涉及一种模型训练方法、点击率确定方法及相关设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着互联网的普及，越来越多的用户使用网页、APP等互联网产品获取信息。但互联网中充斥着大量的信息，如何快速的为用户提供其所需要的信息成为提高用户满意度的主要手段。
[0004]相关技术中，通常是通过点击率预估模型的预测结果为用户推荐信息。然而，现有大都是利用各场景的交互数据进行单场景下模型训练，这样，对于数据稀疏的场景，模型收敛困难，预测准确率较低；另外会导致模型数量随着场景数而增加，模型维护困难，需要消耗大量资源。而基于多场景混合数据集的模型训练过程，往往存在部分场景模型性能提升，而部分场景模型性能下降的跷跷板效应。

技术实现思路

[0005]本公开的实施方式提供一种模型训练方法、点击率确定方法及相关设备。
[0006]在本公开实施方式的第一方面中，提供了一种模型训练方法，所述方法包括：获取训练样本集合，所述训练样本集合包括多个业务场景下的训练样本及对应的样本标签；将所述训练样本分别输入第一预测模型和第二预测模型，并将所述第一预测模型的中间数据迁移至所述第二预测模型，获得所述第一预测模型输出的第一训练点击率和所述第二预测模型输出的第二训练点击率；根据所述第一训练点击率、所述第二训练点击率和所述样本标签，调整所述第一预测模型和所述第二预测模型的模型参数。
[0007]可选地，所述第一预测模型包括多个业务场景对应的场景模型，所述训练样本包括样本场景特征，所述方法还包括：根据所述样本场景特征，在所述第一预测模型中确定所述训练样本对应的场景模型；所述将训练样本分别输入第一预测模型和第二预测模型，包括：将所述训练样本分别输入对应的场景模型和所述第二预测模型。
[0008]可选地，所述获得第一训练点击率，包括：基于第一标准化处理，通过所述第一预测模型对所述训练样本进行前向处理，获得所述第一训练点击率，所述第一标准化处理的标准化参数为基于该场景模型对应的业务场景下的训练样本确定的。
[0009]可选地，所述获得第二训练点击率，包括：基于第二标准化处理，通过所述第二预测模型对所述中间数据和所述训练样本进行前向处理，以获得所述第二训练点击率，所述第二标准化处理的标准化参数为基于输入所述第二预测模型的多个业务场景下的训练样本确定的，多个业务场景对应的训练样本之间具有特征关联。
[0010]可选地，所述根据第一训练点击率、第二训练点击率和样本标签，调整第一预测模
型和第二预测模型的模型参数，包括：根据所述第一训练点击率和所述样本标签，确定第一损失函数；根据所述第二训练点击率和所述样本标签，确定第二损失函数；根据所述第一损失函数和所述第二损失函数，确定目标损失函数；根据所述目标损失函数，调整所述第一预测模型和所述第二预测模型的模型参数。
[0011]可选地，所述将所述第一预测模型的中间数据迁移至所述第二预测模型，包括：通过适配网络将所述第一预测模型的中间数据迁移至所述第二预测模型的中间网络层；所述根据目标损失函数，调整所述第一预测模型和所述第二预测模型的模型参数，包括：通过最小化所述目标损失函数和梯度反向传播，调整所述第一预测模型、所述第二预测模型和所述适配网络的模型参数。
[0012]在本专利技术实施方式的第二方面中，提供了一种点击率确定方法，所述方法包括：根据待预测数据的场景特征，在第一预测模型中确定目标场景模型，所述第一预测模型包括针对多个业务场景的场景模型；将所述待预测数据分别输入所述目标场景模型和第二预测模型；将所述目标场景模型的中间数据迁移至所述第二预测模型，以获得所述第二预测模型的预测输出；根据所述第二预测模型的预测输出，确定所述待预测数据的点击率。
[0013]可选地，所述将所述第一预测模型的中间数据迁移至所述第二预测模型，包括：通过适配网络将所述第一预测模型的中间数据迁移至所述第二预测模型的中间网络层，所述适配网络用于基于所述中间数据的重要程度进行迁移数据的筛选。
[0014]可选地，所述目标场景模型包括至少一层第一隐含层，所述第二预测模型包括至少一层第二隐含层，所述获得第二预测模型的预测输出，包括：通过各所述第一隐含层对输入数据进行逐层的第一线性处理和第一非线性转换；通过各所述第二隐含层，对从各所述第一隐含层迁移的中间数据和所述输入数据进行逐层的第二线性处理和第二非线性转换；对最后一层所述第二隐含层的输出进行非线性归一化处理，获得所述预测输出。
[0015]可选地，所述目标场景模型还包括第一标准化层，所述第二预测模型还包括第二标准化层，在所述输入数据输入所述第一隐含层和所述第二隐含层之前，所述方法还包括：通过所述第一标准化层对所述输入数据进行第一标准化处理；通过所述第二标准化层对所述输入数据进行第二标准化处理。
[0016]可选地，所述待预测数据包括用户特征数据、内容特征数据和关联特征数据，在将所述待预测数据分别输入所述目标场景模型和第二预测模型之前，所述方法还包括：利用预训练的嵌入模型，对所述用户特征数据、所述内容特征数据和所述关联特征数据分别进行向量表征，对应获得用户特征向量、内容特征向量和关联特征向量；所述将待预测数据分别输入目标场景模型和第二预测模型，包括：将所述用户特征向量、所述内容特征向量和所述关联特征向量拼接后，分别输入所述目标场景模型和所述第二预测模型。
[0017]可选地，所述方法还包括：根据所述待预测数据的点击率，确定目标推荐信息；并向用户推送所述目标推荐信息。
[0018]在本专利技术实施方式的第三方面中，提供了一种模型训练装置，其特征在于，所述装置包括：获取模块，被配置为获取训练样本集合，所述训练样本集合包括多个业务场景下的训练样本及对应的样本标签；训练模块，被配置为将所述训练样本分别输入第一预测模型和第二预测模型，并将所述第一预测模型的中间数据迁移至所述第二预测模型，获得所述第一预测模型输出的第一训练点击率和所述第二预测模型输出的第二训练点击率；调整模
块，被配置为根据所述第一训练点击率、所述第二训练点击率和所述样本标签，调整所述第一预测模型和所述第二预测模型的模型参数。
[0019]可选地，所述第一预测模型包括多个业务场景对应的场景模型，所述训练样本包括样本场景特征，所述装置还包括：场景模型确定模块，根据所述样本场景特征，在所述第一预测模型中确定所述训练样本对应的场景模型；所述训练模块还被配置为：将所述训练样本分别输入对应的场景模型和所述第二预测模型。
[0020]可选地，所述训练模块还被配置为：基于第一标准化处理，通过所述第一预测模型对所述训练样本进行前向处理，获得所述第一训练点击率，所述第一标准化处理的标准化参数为基于该场景模型对应的业务场景下的训练样本确定的。...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取训练样本集合，所述训练样本集合包括多个业务场景下的训练样本及对应的样本标签；将所述训练样本分别输入第一预测模型和第二预测模型，并将所述第一预测模型的中间数据迁移至所述第二预测模型，获得所述第一预测模型输出的第一训练点击率和所述第二预测模型输出的第二训练点击率；根据所述第一训练点击率、所述第二训练点击率和所述样本标签，调整所述第一预测模型和所述第二预测模型的模型参数。2.根据权利要求1所述的方法，其特征在于，所述第一预测模型包括多个业务场景对应的场景模型，所述训练样本包括样本场景特征，所述方法还包括：根据所述样本场景特征，在所述第一预测模型中确定所述训练样本对应的场景模型；所述将训练样本分别输入第一预测模型和第二预测模型，包括：将所述训练样本分别输入对应的场景模型和所述第二预测模型。3.根据权利要求2所述的方法，其特征在于，所述获得第一训练点击率，包括：基于第一标准化处理，通过所述第一预测模型对所述训练样本进行前向处理，获得所述第一训练点击率，所述第一标准化处理的标准化参数为基于该场景模型对应的业务场景下的训练样本确定的。4.根据权利要求3所述的方法，其特征在于，所述获得第二训练点击率，包括：基于第二标准化处理，通过所述第二预测模型对所述中间数据和所述训练样本进行前向处理，以获得所述第二训练点击率，所述第二标准化处理的标准化参数为基于输入所述第二预测模型的多个业务场景下的训练样本确定的，多个业务场景对应的训练样本之间具有特征关联。5.根据权利要求1所述的方法，其特征在于，所述根据第一训练点击率、第二训练点击率和样本标签，调整第一预测模型和第二预测模型的模型参数，包括：根据所述第一训练点击率和所述样本标签，确定第一损失函数；根据所述第二训练点击率和所述样本标签，确定第二损失函数；根据所述第一损失函数和所述第二损失函数，确定目标损失函数；根据所述目标损失函数，调整所述第一预测模型和所述第二预测模型的模型参数。6.根据权利要求5所述的方法，其特征在于，所述将所述第一预测模型的中间数据迁移至所述第二预测模型，...

【专利技术属性】
技术研发人员：赵鑫萍，章莺，肖强，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：