一种基于自注意力机制的序列化神经协同过滤推荐方法技术

本发明专利技术公开了一种基于自注意力机制的序列化神经协同过滤推荐方法，涉及推荐系统技术领域，本发明专利技术将与用户有过交互记录的商品ID整理成为用户历史行为记录序列；用户ID与商品ID进行one

【技术实现步骤摘要】
一种基于自注意力机制的序列化神经协同过滤推荐方法


[0001]本专利技术涉及推荐系统
，特别是一种基于自注意力机制的序列化神经协同过滤推荐方法。

技术介绍

[0002]随着互联网规模的飞速发展，互联网上各种场景的数据也越来越多，因此用户在互联网上探索他们想要的东西也变得更加困难，基于这个原因，推荐系统被广泛用于各种场景中。构造推荐系统的一个关键难点是挖掘用户的潜在兴趣，以做出更准确的推荐。为了解决这个问题，研究人员从用户的历史行为序列中挖掘出用户的潜在兴趣，进行序列化推荐。与传统的推荐系统相比，序列化推荐系统能够从用户历史行为记录序列中捕捉到用户的长期依赖和动态偏好。最近几年来，序列化推荐已经成为推荐系统的一个技术热点。传统的序列化推荐模型主要包括序列模式挖掘模型、马尔可夫链模型和隐语义模型。序列模式挖掘模型从用户历史行为序列中挖掘出用户行为模式。这个模型的一个缺点是模型会产生大量的模式，一些不受欢迎的商品不会被推荐。马尔科夫链模型利用马尔科夫链来建立用户与商品之间的互动关系，但这种模型只能捕捉到短期的依赖关系，而忽略了长期的依赖关系。隐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的序列化神经协同过滤推荐方法，其特征在于，包括以下步骤：在推荐场景中收集用户与商品交互记录作为初始数据，之后将与用户有过交互记录的商品ID整理成为用户历史行为记录序列；推荐场景中的用户ID与商品ID进行one
‑
hot嵌入，得到用户特征向量与商品特征向量；将待推荐商品特征向量放在用户历史行为记录序列的末端，并将这样的用户历史行为记录序列数据输入到自注意力机制中去，学习序列信息，得到具有丰富序列信息的待推荐商品特征向量；将具有丰富序列信息的待推荐商品特征向量与原始嵌入得到的用户特征向量与商品特征向量一起输入到神经协同过滤模型的序列化广义矩阵分解部分与序列化多层感知机部分，完成用户对待推荐商品的评分计算，最后进行推荐。2.根据权利要求1所述的一种基于自注意力机制的序列化神经协同过滤推荐方法，其特征在于：在推荐场景中有m个用户和n个商品，则U＝{u1,u2,...,u
m
}表示用户特征向量集，R＝{r1,r2,...,r
n
}表示商品特征向量集，S＝{s1,s2,...,s
k
}表示用户历史行为记录序列集，用户历史行为记录序列的长度为k；用户i对于商品j序列信息学习具体为：将商品j放在用户历史行为记录序列的末端，得到商品特征向量矩阵E；上述用户历史行为记录序列数据输入自注意力机制学习序列信息，得到具有丰富序列信息的待推荐商品特征向量s。3.根据权利要求2所述的一种基于自注意力机制的序列化神经协同过滤推荐方法，其特征在于：所述历史行为记录序列数据输入自注意力机制学习序列信息，具体的：首先，商品特征向量矩阵E进行三种不同的线性变化，以获得Q、K、V，具体公式如下：Q＝EW
Q
，K＝EW
K
，V＝EW
V
ꢀꢀ
(1)其中，Q表示查询特征向量矩阵，K表示关键词特征向量矩阵，V表示值特征向量矩阵，W表示对输入矩阵E进行线性变化的线性变化矩阵；W
Q
是对输入矩阵E进行线性变化得到查询特征向量矩阵Q的线性变化矩阵；W
K
是对输入矩阵E进行线性变化得到关键词特征向量矩阵K的线性变化矩阵；W
V
是对输入矩阵E进行线性变化得到值特征向量矩阵V的线性变化矩阵；然后，采用缩放点积注意力来进行注意力计算，具体计算公式如下：其中，Q表示查询特征向量矩阵，K表示关键词特征向量矩阵，V表示值特征向量矩阵，d
k
代表查询向量、关键词向量和值向量的维度的大小；softmax是归一化指数函数，来获得注意力的权重。4.根据权利要求3所述的一种基于自注意力机制的序列化神经协同过滤推荐方法，其特征在于：所述自注意力机制采用多头自注意力机制，从多个角度挖掘商品特征向量的潜在信息，多头自注意力机制将原商品特征向量切分为几个低维的子特征向量进行注意力计
算，然后将各个子特征向量连接起来得到多头自注意力机制的输出结果，具体公式如下：Multihead(Q,K,V) ＝ Concat(head1,...,head
h
)W
O
ꢀꢀ
(3)head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀ
(4)其中，head
i
表示第i头的注意力计算结果，h表示多头注意力机制中的头数，W
iQ
，W
iK
，W
iV
分别表示第i头中的查询特征向量矩阵、关键词特征向量矩阵和值特征向量矩阵对应的线性变化矩阵，W
O
是对每个头注意力计算结果连接之后进行线性变化的矩阵；将各头注意力机制得到的特征向量矩阵连接在一起，该矩阵的最后的一个特征向量就是具有丰富序列信息的待推荐商品特征向量s。5.根据权利要求4所述的一种基于自注意力机制的序列化神经协同过滤推荐方法，其特征在于，...

【专利技术属性】
技术研发人员：吴寅琛，徐悦甡，李瑞，蒋志平，黑蕾，邱志博，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：