基于深度多兴趣网络的点击率预测模型及预测方法技术

本发明专利技术涉及电子商务信息处理技术领域，尤其涉及一种基于深度多兴趣网络的点击率预测模型及预测方法。所述模型包括编码层、用户行为网络、物品行为网络和输出层。应用该模型将用户行为和物品行为中的高维稀疏特征转化为低维稠密向量；通过用户行为网络提取用户对候选项目的综合兴趣和当前兴趣；将用户行为网络输出的兴趣作为查询键，通过物品行为网络挖掘物品行为中的用户与目标用户间的相似性兴趣，获得当前物品的流行度；将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。本发明专利技术关注用户侧兴趣和物品侧兴趣，分别提取用户行为和物品行为中的多种不同兴趣模式，更符合真实世界中用户的兴趣表达。合真实世界中用户的兴趣表达。合真实世界中用户的兴趣表达。

【技术实现步骤摘要】
基于深度多兴趣网络的点击率预测模型及预测方法


[0001]本专利技术涉及电子商务信息处理
，尤其涉及一种基于深度多兴趣网络的点击率预测模型及预测方法。

技术介绍

[0002]在现代电子商务中，为了增加企业收入和提升用户体验，点击率(click
‑
through rate,CTR)预测一直是其中最重要任务之一。在电子商务系统中用户通常拥有点击、收藏、购买等多种行为，而点击则是这所有行为的基础。点击率预测质量直接决定了用户体验和企业商业价值，因此，点击率预测研究引起了学术界和工业界的广泛关注。
[0003]下面介绍下目前常见的几种点击率预测方法以及它们存在的缺陷。
[0004]基于特征交互的点击率预测方法只针对单点的数据进行特征交互提取，而现代推荐系统和个性化搜索通常是基于连续的用户行为，这些用户历史行为数据中蕴含的信息非常个性化并丰富多样，通过学习用户历史行为信息能进一步提升模型性能上限。
[0005]随着深度神经网络技术的发展，基于用户行为序列的方法，如循环神经网络(recurrent neura本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度多兴趣网络的点击率预测模型，其特征在于包括：编码层，用于将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征转化为低维稠密向量；用户行为网络，包括综合兴趣提取层和当前兴趣提取层，所述综合兴趣提取层应用时间间隔感知的注意力机制从用户的历史行为中提取用户对候选项目的综合兴趣，所述当前兴趣提取层应用循环神经网络提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣；物品行为网络，包括用户
‑
用户兴趣提取层和物品流行度提取层，所述用户
‑
用户兴趣提取层用于挖掘物品行为中的用户与目标用户间的相似性兴趣，所述物品流行度提取层通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；输出层，用于将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。2.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述当前兴趣提取层采用三元损失函数作为辅助损失函数监督当前兴趣的学习过程。3.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述用户
‑
用户兴趣提取层将用户行为网络的输出兴趣作为查询，并组合使用键和值，应用多头注意力机制计算物品行为中的每个用户与目标用户的相似性兴趣，得到用户
‑
用户兴趣。4.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述物品流行度提取层首先采用注意力机制计算不同用户对目标用户的影响因子，再以这些影响因子为权重自适应聚合不同用户的点击时刻间隔向量得到物品流行度，表示如下：表示如下：表示如下：其中，公式(20)通过注意力网络计算不同用户对目标用户的影响因子，公式(21)使用softmax函数来归一化不同用户对目标用户的影响因子使其符合概率分布，为归一化前的用户j对目标用户u的影响因子，α
j
为用户影响因子，e
u
为目标用户嵌入向量，表示物品行为中的第j个用户的嵌入向量，表示物品行为中第j个用户的点击时间间隔嵌入向量，为网络学习参数，为当前时刻候选物品i的物品行为长度，s
p
代表候选物品的当前流行度。5.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述输出层由三层全连接网络和PReLU激活函数组成，最后输出通过sigmoid函数将预测概率归一化到0到1。6.一种基于深度多兴趣网络的点击率预测方法，其特征在于：采用权利要求1
‑
5所述的
模型进行训练，包括以下步骤：S1、将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征输入到编码矩阵，通过深度学习优化算法对大量数据的拟合学习，将这些高维稀疏特征转化为低维稠密向量；S2、通过用户行为网络挖掘用户历史行为中不同的兴趣表达以及用户行为上的潜在兴趣变化，提取用户对候选项目的综合兴趣和当前兴趣；S3、将用户行为网络输出的兴趣作为查询键，通过物品行为网络挖掘物品行为中的用户与目标用户间的相似性兴趣，并通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；S4、将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。7.根据权利要求6所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S1的具体过程如下：S11、按时间排序构建用户和物品的历史行为序列，其中用户行为参数包括历史交互物品、交互时间，物品行为参数包括历史交互用户行为、交互时间；S12、计算用户行为交互时间、物品行为交互时间与当前推荐时刻的时间间隔t
tiv
，公式如下...

【专利技术属性】
技术研发人员：洪昶，刘伟，吕昊辰，吴明，
申请(专利权)人：重庆市知识产权保护中心重庆摩托车汽车知识产权信息中心，
类型：发明
国别省市：