点击率预测模型的训练、点击率预测方法、系统与设备技术方案

本申请公开了点击率预测模型的训练、点击率预测方法、系统与设备，属于用户行为预测领域，用以解决目前模型对用户点击率预估准确率低的问题。方法包括将基础特征输入待训练的点击率预测模型，映射为基础特征向量；将目标用户的历史交互物料的特征、目标物料的特征，输入所述待训练的点击率预测模型，生成第一特征向量，将交互物料特征向量输入待训练的点击率预测模型的辅助损失模块，计算辅助损失，将基础特征向量和第一特征向量拼接输入点击率预测模型的多层感知机神经网络，计算主损失，基于主损失和辅助损失，调整点击率预测模型的参数。增加辅助任务，与主任务同步训练，以充分捕捉物料之间的相关性，从而提高预测用户点击率的准确性。的准确性。的准确性。

【技术实现步骤摘要】
点击率预测模型的训练、点击率预测方法、系统与设备


[0001]本申请属于用户行为预测领域，具体涉及点击率预测模型的训练、点击率预测方法、系统与设备。

技术介绍

[0002]基于深度学习的CTR(Click
‑
Through
‑
Rate，点击率)预测模型，可以找到用户对于推荐信息或搜索结果的反馈行为(例如点击、收藏、购买等)与各种特征(包括用户自身的特征、推荐信息的特征和/或搜索结果的特征等)之间的关系，从而预测某个用户是否会点击某个广告等推荐信息或搜索结果，因此在信息推荐、搜索领域受到了广泛应用并取得了显著的效果。
[0003]CTR预测模型的预测过程，一般是给定模型一个用户和一个查询关键词，以及与该查询关键词所匹配的信息，模型就可以预测该信息曝光之后获得点击的概率。
[0004]而对于CTR预测模型的训练过程，一般是采集用户对于推荐信息或搜索结果的用户行为数据，构建作为训练样本的特征序列，进而基于构建的特征序列，对CTR预测模型进行训练。
[0005]一种对CTR预测模型进行训练的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点击率预测模型的训练方法，其特征在于，包括：将基础特征输入待训练的点击率预测模型，以使得所述待训练的点击率预测模型执行：通过嵌入embedding层，将所述基础特征映射为相应的基础特征向量；所述基础特征包括：目标用户的基本特征、目标用户对于曝光的物料的互动行为特征、所述曝光的曝光方式特征；将目标用户的历史交互物料的特征、目标物料的特征和其他用户的交互物料特征，输入所述待训练的点击率预测模型，以使得所述待训练的点击率预测模型执行：通过嵌入embedding层，将所述目标用户的历史交互物料的特征映射为目标用户的各交互物料特征向量，将所述目标物料的特征映射为目标物料特征向量，将所述其他用户的交互物料特征映射为其他用户的各交互物料特征向量；基于所述目标用户的各交互物料特征向量和所述目标物料特征向量，生成表征所述目标物料与目标用户的历史兴趣之间相似性的第一特征向量；将所述目标用户的各交互物料特征向量中的对应于最晚交互时间的最晚交互物料特征向量、除所述最晚交互物料特征向量外的其他交互物料特征向量，分别输入所述待训练的点击率预测模型的辅助损失模块，以使得所述辅助损失模块执行：基于所述最晚交互物料特征向量和所述其他交互物料特征向量，确定表征所述最晚交互物料与所述其他交互物料之间相似性的第二特征向量，作为正样本；以其他用户的各交互物料特征向量作为负样本，基于所述正样本和负样本，确定所述目标用户在所述最晚交互时间点击物料的概率，根据所述点击物料的概率计算辅助损失；将拼接的特征向量输入所述待训练的点击率预测模型的多层感知机神经网络，以使得所述多层感知机神经网络执行：计算主损失，基于所述主损失和所述辅助损失确定全局损失；根据所述全局损失，调整所述待训练的点击率预测模型的参数；其中，所述拼接的特征向量，通过拼接所述基础特征向量和所述第一特征向量得到。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标用户的各交互物料特征向量和所述目标物料特征向量，生成表征所述目标物料与目标用户的历史兴趣之间相似性的第一特征向量，具体包括：对目标用户的各交互物料特征向量加权求和，得到表征用户兴趣的兴趣特征向量；对所述兴趣特征向量和所述目标物料特征向量求内积，得到表征所述目标物料与目标用户的历史兴趣之间相似性的第一特征向量。3.根据权利要求2所述的方法，其特征在于，所述对目标用户的各交互物料特征向量加权求和，其中权重的确定具体包括：获取所述历史交互物料中每个物料的边际信息，其中，所述边际信息表征目标用户与历史交互物料中每个物料的交互信息；将历史交互物料中每个所述物料的边际信息输入浅层全连接网络，得到每个所述物料对应的权重值，将每个所述物料对应的权重值对应作为每个交互物料特征向量的权重。4.根据权利要求1所述的方法，其特征在于，基于所述正样本和负样本，确定所述目标用户在所述最晚交互时间点击物料的概率，根据所述点击物料的概率计算辅助损失，具体包括：将作为正样本的第二特征向量和作为负样本的各交互物料特征向量作归一化处理之
后，计算目标用户在所述最晚交互时间点击物料的概率；其中作为负样本的交互物料特征向量对应的交互物料为所述目标用户的历史交互物料之外的物料；基于所述最晚交互时间点击物料的概率，利用交叉熵损失函数计算辅助损失。5.根据权利要求4所述的方法，其特征在于，目标用户在所述最晚交互时间点击物料j的概率p
j
，具体为：式中，u
T
‑1为目标用户的历史交互物料的表示向量，通过除所述最晚交互物料特征向量外的其他交互物料特征向量的加权求和得到；K为计算样本k的辅助损失时所涉及到的正样本和负样本总数，v
i
为物料i的特征向量，物料i表示正样本和负样本中对应的物料；v
j
为物料j的特征向量，物料j表示正样本中对应的物料。6.根据权利要求5所述的方法，其特征在于，所述辅助损失的确定，具体为：式中，N为训练集中一个数据包内的样本个数，表示计算样本k时物料j是否为最晚交互时间的行为对应物料，的取值...

【专利技术属性】
技术研发人员：郁学敏，康珣，郑翔，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：