基于知识增强与对比学习的点击率预测方法及系统技术方案

本发明专利技术涉及一种基于知识增强与对比学习的点击率预测方法及系统，该方法包括以下步骤：步骤A：采集用户的行为数据，包含用户ID、商品ID、商品类型和交互时间，构建点击率预测训练集；步骤B：使用训练集训练基于知识增强与对比学习的深度学习网络模型；步骤C：将用户、商品数据输入训练好的深度学习网络模型中，输出当前用户对候选商品的点击概率。该方法及系统有利于提高点击率预测的准确性。有利于提高点击率预测的准确性。有利于提高点击率预测的准确性。

【技术实现步骤摘要】
基于知识增强与对比学习的点击率预测方法及系统


[0001]本专利技术属于推荐系统领域，具体涉及一种基于知识增强与对比学习的点击率预测方法及系统。

技术介绍

[0002]点击率预测是推荐系统的核心部分，该部分可以预测出任意用户对某一个物品可能的点击概率，并进一步地将点击概率从高到低排序，从而生成该用户可能感兴趣的候选物品列表，投其所好，避免用户直接接触海量的信息，帮助用户找到有价值的重点内容。在点击率预测中，用户画像以及大量的用户行为日志，包括浏览、加入购物车、购买、评价等行为隐含了用户的兴趣，因此对行为建模是点击率预测的一个重要课题。近些年来，随着深度学习的发展，用户历史行为数据的快速增长，诞生了一批优秀的点击率预测模型。大量的用户行为信息带来了信息增益，但如何有效地处理存在大量噪声的用户的长期历史行为序列也是一个需要解决的问题。丰富的行为数据也同时给点击率预测任务的建模带来了许多挑战，如何利用这些行为数据提高点击率预测模型的性能成为了研究的热门方向。
[0003]然而，尽管现有模型在一定程度上实现了性能改进，但仍面临一些主要弱点。最重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识增强与对比学习的点击率预测方法，其特征在于，包括以下步骤：步骤A：采集用户的行为数据，包含用户ID、商品ID、商品类型和交互时间，构建点击率预测训练集；步骤B：使用训练集训练基于知识增强与对比学习的深度学习网络模型G；步骤C：将用户、商品数据输入训练好的深度学习网络模型G中，输出当前用户对候选商品的点击概率。2.根据权利要求1所述的基于知识增强与对比学习的点击率预测方法，其特征在于，所述步骤B具体包括以下步骤：步骤B1：构造知识图谱G
kg
和商品共现图G
cf
；训练集中的每一个样本包含用户ID、候选商品ID以及用户的行为序列；将训练集中的一个样本依据知识图谱G
kg
进行分段，得到N个候选段p
candi
＝{p1，p2，...，p
N
}，然后经过嵌入层，得到候选段的向量表示e
candi
＝{e1，e2，
…
，e
i
}；步骤B2：对步骤B1得到的候选段的向量表示e
candi
执行双层注意力机制，得到知识增强的用户兴趣向量表示f
u
；步骤B3：将步骤B1得到的候选段p
candi
分为强兴趣段p
strong
和弱兴趣段p
weak
，然后经过嵌入层，得到强兴趣段的向量表示e
strong
＝{e
1，strong
，e
2，strong
，
…
，e
i，strong
}和弱兴趣段的向量表示e
weak
＝{e
1，weak
，e
2，weak
，...，e
i，weak
}；将目标商品向量表示e
t
作为查询，对强兴趣段的向量表示e
strong
执行双层注意力机制，得到强兴趣向量表示f
strong
；步骤B4：在知识图谱G
kg
和商品共现图G
cf
中，依据样本中的每一个商品id和候选商品id，构造知识图谱潜在兴趣段和商品共现潜在兴趣段然后经过嵌入层，得到知识图谱潜在兴趣段的向量表示知识图谱潜在兴趣段的向量表示和商品共现潜在兴趣段的向量表示潜在兴趣段的向量表示步骤B5：将步骤B3得到的强兴趣向量表示f
strong
和目标商品向量表示e
t
进行拼接，作为查询，对弱兴趣段的向量表示e
weak
执行双层注意力机制，得到弱兴趣向量表示f
weak
；步骤B6：将目标商品向量表示e
t
作为查询，对潜在兴趣段的向量表示和执行双层注意力机制，得到潜在兴趣向量的向量表示和对和执行对比机制来捕获两个潜在兴趣分段之间的互补信息和区别信息；将来自两个分段的同一用户的兴趣作为一对正样本，将不同用户的兴趣视为成对的负样本，得到对比损失L
cl
；步骤B7：将步骤B2、B3、B6得到的知识增强的用户兴趣向量表示f
u
、强兴趣向量表示f
strong
、弱兴趣向量表示f
weak
、潜在兴趣向量表示和拼接在一起，输入到多层感知机进行点击率预测，得到预测出的点击率，使用交叉熵函数计算预测损失；然后根据目标损失函数loss，通过反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；步骤B8：当深度学习网络模型产生的损失值小于设定的阈值或达到最大的迭代次数时，终止深度学习网络模型G的训练。3.根据权利要求2所述的基于知识增强与对比学习的点击率预测方法，其特征在于，所
述步骤B1具体包括以下步骤：步骤B11：使用Freebase为所有商品构建知识图谱G
kg
，如果有映射可用，则通过标题匹配将商品映射到Freebase实体，如果商品和实体有某种关系，则商品和实体之间有一条边；步骤B12：依据用户和商品之间的交互来构建商品共现图G
cf
，如果两个商品在用户的行为序列中同时出现，则两个商品之间有一条边；步骤B13：依据步骤B11得到的知识图谱G
kg
，将样本中同时和同一个实体有边的商品存放到一个段中，遍历单个用户序列，得到N个候选段p
candi
＝{p1，p2，...，p
N
}；然后经过嵌入层，得到候选段的向量表示e
candi
＝{e1，e2，...，e
i
}。4.根据权利要求3所述的基于知识增强与对比学习的点击率预测方法，其特征在于，所述步骤B2具体包括以下步骤：步骤B21：使用目标商品向量表示e
t
作为查询，对一个段中的每个商品向量表示e
i
做注意力计算，得到一个段的向量表示f
seg
：α
i
＝σ(W1(W1([e
i
，e
t
]))其中，α
i
表示注意力系数，σ()表示sigmoid函数，W1和W2表示可训练参数，n
p
表示段内商品的个数；步骤B22：使用目标商品向量表示e
t
作为查询，对每个段的向量表示做注意力计算，得到知识增强的用户兴趣向量表示f
u
：：其中，β
j
表示注意力系数，W3和W4表示可训练参数，n
seg
表示段的个数。5.根据权利要求4所述的基于知识增强与对比学习的点击率预测方法，其特征在于，所述步骤B3具体包括以下步骤：步骤B31：将步骤B1得到的候选段p
candi
依据段内的商品个数进行分段，其中商品个数大于1的视为强兴趣段p
strong
，剩余的视为弱兴趣段p
weak
；步骤B32：使用目标商品向量表示e
t
作为查询，对一个强兴趣段中的每个商品向量表示e
i，strong
做注意力计算，得到一个强兴趣段的向...

【专利技术属性】
技术研发人员：陈羽中，陈仕杰，陈子阳，
申请(专利权)人：福州大学，
类型：发明
国别省市：