一种缓解数据稀疏性和商品冷启动的商品推荐模型制造技术

技术编号:29332414 阅读:39 留言:0更新日期:2021-07-20 17:50
本发明专利技术公开了一种缓解数据稀疏性和商品冷启动的商品推荐模型,涉及兴趣挖掘技术领域,提出了CTR预估模型GEARec用于商品的个性化推荐。通过引入图嵌入技术,除了解决稀疏性和冷启动的问题,将预先训练好的Embedding输入到上层的深度神经网络,还可以加快网络的收敛速,进一步提升模型性能。GEARec模型由预训练的Embedding层、多头自注意力网络层、AUGRU和MLP构建而成。输入的用户行为序列的Embedding向量表示经过多头自注意力网络层和AUGRU后,将计算结果和其他Embedding进行拼接,输入到MLP中自动学习特征之间的非线性关系,最后输出用户购买候选商品的概率。

【技术实现步骤摘要】
一种缓解数据稀疏性和商品冷启动的商品推荐模型
本专利技术涉及兴趣挖掘
,特别涉及一种缓解数据稀疏性和商品冷启动的商品推荐模型。
技术介绍
在实际的电商购物场景中,通常来说用户的兴趣迁移非常快,通过多头自注意力网络能够有效提取商品间的依赖关系,但现有技术整体上还是基于用户所有购买历史的综合推荐,而不是预测下一次购买的推荐。因此我们还需要针对不同的候选商品来筛选影响力更大的用户历史行为序列。在现有的商品推荐系统中经常会面临两种情况,用户只与很少的商品有过交互行为以及新上线的商品没有过用户行为,这种情况分别称之为稀疏性和冷启动问题。针对这两类问题,使用常规的推荐模型进行预测时表现并不是很好。因此针对此问题,本申请提出基于EGES技术、多头自注意力网络以及AUGRU结构,创建了一种新的推荐模型GEARec,从而解决数据稀疏性和用户商品冷启动问题。
技术实现思路
本专利技术的目的在于提供一种缓解数据稀疏性和商品冷启动的商品推荐模型,基于EGES技术、多头自注意力网络以及AUGRU结构,创建了一种新的推荐模型GEARec,本文档来自技高网...

【技术保护点】
1.一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征在于,包括:/nEmbedding预训练层:用于引入商品的各类属性,利用随机游走算法对商品的各类属性进行建模并获取到对应的Embedding向量,利用神经网络对各类Embedding向量的权重进行训练并融合,得到最终商品的Embedding;/n多头自注意力网络层:将用户历史交互商品序列对应的特征向量和位置特征编码进行组合,作为多头自注意力网络层的输入,经过多头自注意力网络层线性变换后,输出经过编码的用户行为序列,并对用户行为序列内部隐含的商品间的依赖关系进行提取;/n注意力权重AUGRU:根据提取出的依赖关系,引入注意力权重AUGRU结...

【技术特征摘要】
1.一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征在于,包括:
Embedding预训练层:用于引入商品的各类属性,利用随机游走算法对商品的各类属性进行建模并获取到对应的Embedding向量,利用神经网络对各类Embedding向量的权重进行训练并融合,得到最终商品的Embedding;
多头自注意力网络层:将用户历史交互商品序列对应的特征向量和位置特征编码进行组合,作为多头自注意力网络层的输入,经过多头自注意力网络层线性变换后,输出经过编码的用户行为序列,并对用户行为序列内部隐含的商品间的依赖关系进行提取;
注意力权重AUGRU:根据提取出的依赖关系,引入注意力权重AUGRU结构,结合注意力得分对兴趣演化路径进行筛选;
多层神经网络MLP:将得到的兴趣演化结果和商品的Embedding进行拼接,输入到多层神经网络MLP中自动学习特征之间的非线性组合关系,最后输出用户购买目标商品的概率,根据概率判别是否向用户推荐该商品。


2.如权利要求1所述的一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征在于,商品的各类属性包括商品主分类、商品子分类以及商品品牌,通过加权平均的方法获取商品聚合后的Embedding向量公式,如下所示:



其中,表示商品v的第j类属性对应的Embedding,为相应的权重,用于保证每类辅助信息的权重都大于0。


3.如权利要求2所述的一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征在于,使用Skip-Gram神经网络模型对各类Embedding的权重进行训练,EGES的损失函数表示为:



其中,Hv,Zu分别表示商品v和商品u的Embedding,σ为sigmoid激活函数。


4.如权利要求1所述的一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征在于,位置特征编码的维度和用户历史交互商品序列对应的特征向量保持一致,均为dmodel,位置编码的特征向量E称为用户历史交互商品向量,且表示如下:



将用户历史交互商品向量E输入到多头自注意力网络中,通过线性转换得到对应的Q,K和V,并且多个Linear层有不同的权重系数,再经过H次ScaledDot-ProductAttention操作得到Z={Z1,Z2,…,Z},具体公式如下所示:



其中,dk为Q和K的维度;
将输出的H个Zi拼接得到经过一次线性转化即可得到最终输出H={H1,H2,…,H},为保证输出的H结构和输入E保持一致,设置权重矩阵dmodel为输入向量E的维度。


5.如权利要求4所述的一种缓解数据稀疏性和商品冷启动的商品推荐模型,其特征...

【专利技术属性】
技术研发人员:王琨丁漩
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:陕西;61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1