一种融合自注意力机制基于图神经网络的会话推荐方法与系统技术方案

本发明专利技术公开一种融合自注意力机制基于图神经网络的会话推荐方法与系统。包括：将电子商务领域中消费者交互商品的序列数据建立会话图神经网络模型，该模型用于更新节点的状态，从而学习到商品间的序列特征；再依据该会话数据构建对应商品的属性序列转换关系，利用门控循环单元模型学习商品属性间的序列特征；然后将两个模型输出的特征向量用神经网络模型融合；接着利用多头注意力机制在该特征层进一步挖掘各个特征间相互关系；最后，利用软注意力机制学习用户的长期偏好，再结合短期偏好利用线性变换得到用户最终特征向量。本发明专利技术通过将会话中商品的属性序列特征关系融入商品会话序列中，使模型能挖掘到更精准的用户偏好，提高推荐系统的关键性能。提高推荐系统的关键性能。提高推荐系统的关键性能。

【技术实现步骤摘要】
一种融合自注意力机制基于图神经网络的会话推荐方法与系统


[0001]本专利技术属于电子商务
，尤其涉及一种融合自注意力机制基于图神经网络的会话推荐方法与系统。

技术介绍

[0002]近年来，网上挑选商品成为人们购物的一种方式，为了让用户有更好的购物体验，电子商务网站会使用推荐算法帮助用户挑选出满意的商品。传统推荐方法关注更多的是用户的长期行为，并且需要根据用户的显性行为(如用户在淘宝网站上对商品的评论和评分等行为)建模。但在现实场景中，一些电子商务网站允许用户匿名访问，在没有身份标识的情况下不能获取其显性行为，导致无法为匿名用户推荐商品。所以，在匿名场景下，提出根据用户的历史会话和正在进行的临时会话捕捉用户的兴趣偏好，这种推荐方式称为基于会话的推荐，会话是发生在一段时间内的用户和网站的交互记录。
[0003]不同于其他推荐问题，使用传统的推荐方法解决基于会话的推荐问题难度很大，一些学者尝试通过改进传统方法解决会话推荐中存在的问题，得到的推荐结果往往会被模型中固有的特性限制。目前，传统的会话推荐方法如马尔可夫链和矩阵分解等取得了不错的研究成果。随着商品越来越多，矩阵分解方法的计算代价也越大。而基于马尔可夫链的方法，独立地组合了过去的组件，这种过于强烈的独立性假设，限制了预测的准确性。基于深度学习的会话推荐方法如经典的循环神经网络，循环神经网络方法只能捕捉到用户交互行为中的单向关系，在会话数据比较稀疏时，无法捕捉用户的真正偏好。
[0004]电子商务领域使用的推荐算法包括协同过滤算法、基于内容的推荐算法和混合推荐算法等。对于允许匿名访问的电子商务网站，基于会话的推荐方法被广泛的应用和研究，传统的方法包括马尔可夫链和循环神经网络等。基于循环神经网络的方法中，用嵌入向量表示用户的兴趣，根据这些兴趣进行推荐。但是会话推荐中用户是匿名的，且用户行为受到限制，循环神经网络很难从每个会话中准确得到用户的表示，而且循环神经网络只对相邻商品的单向转移建模，忽略了会话中其他商品信息，当会话中数据稀缺时，捕捉到的用户喜好并不准确，无法为用户生成满意的推荐列表。在近几年的研究中，图神经网络方法被广泛应用在会话推荐中，图神经网络的出现将用户的交互行为建模为图结构，不同于循环神经网络，图神经网络将商品序列建模为有向图，提取商品间双向关系，取得了显著的效果。但是，由于在电子商务网站中获取的会话数据有限，而目前提出的基于图神经网络的会话推荐方法通常只考虑商品间的转移模式，无法得到足够的序列关系，导致模型挖掘的用户偏好不够准确。

技术实现思路

[0005]本专利技术针对现有基于图神经网络的会话推荐存在的挖掘用户偏好不够准确的问题，提出一种融合自注意力机制基于图神经网络的会话推荐方法与系统。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]本专利技术一方面提出一种融合自注意力机制基于图神经网络的会话推荐方法，包括：
[0008]步骤1：将商品会话序列数据根据其点击关系绘制成会话图，会话图中的节点代表商品，边代表节点间的点击关系，使用图神经网络模型更新会话图中节点的状态，学习到商品间的序列特征；
[0009]步骤2：根据会话序列的顺序关系构建对应商品属性序列，并使用门控循环单元模型学习商品属性间的序列特征；
[0010]步骤3：将两个模型输出的特征向量利用神经网络模型进行融合，再利用多头注意力机制在特征层进一步挖掘各个特征间相互关系，最后，利用软注意力机制学习用户的长期偏好，再结合短期偏好利用线性变换得到用户最终特征向量，用以生成推荐商品。
[0011]进一步地，所述步骤1中，按照如下方式更新会话图中节点的状态：
[0012][0013][0014][0015][0016][0017]其中，是t时刻聚合信息后节点v
i
的状态向量；A
s,i:
表示节点v
i
的邻接矩阵，邻接矩阵包含出度值和入度值；是t
‑
1时刻所有节点特征向量的拼接矩阵，表示t
‑
1时刻节点v
i
的状态，H是权重控制项，b是偏置项；表示t时刻节点v
i
的更新门；表示t时刻节点v
i
的重置门；S＝(s1,s2,...,s
M
)表示会话中M个会话序列，一个会话序列表示为s＝(I1,I2,
…
,I
m
)，其中s∈S,且商品I
i
∈I，I＝(I1,I2,...,I
N
)表示会话中的N个不重复的电商商品；σ(
·
)是sigmoid函数，将连续值映射到(0,1)之间；表示t时刻节点v
i
的候选隐藏状态；表示输出节点的最终状态向量；W
z
∈R
d
和U
z
∈R
d
是更新门下分别控制和的权重向量，W
r
∈R
d
和U
r
∈R
d
是重置门下分别控制和的权重向量，d表示维度，参数W
o
和U
o
分别是控制和的权重向量；.是点乘运算；tanh(.)表示双曲正切函数。
[0018]进一步地，所述步骤2包括：
[0019]首先，根据当前输入的商品属性向量c
i
和上一时刻t
i
‑1的状态
hi
‑1计算更新门z
i
和重置门r
i
，其中，sigmoid激活函数将更新门和重置门的值映射到(0,1)区间：
[0020]z
i
＝sigmoid(W
z
c
i
+U
z
h
i
‑1)
ꢀꢀ
(6)
[0021]r
i
＝sigmoid(W
r
c
i
+U
r
h
i
‑1)
ꢀꢀ
(7)
[0022]其次，得到门控信号后，使用重置门将上一时刻的状态重置，并和当前输入拼接，再经过tanh函数将值映射到[
‑
1,1]之间，得到当前时刻属性c
i
的候选状态
[0023][0024]其中，和分别是控制c
i
和(r
i
·
h
i
‑1)的权重向量；
[0025]然后，利用更新门得到当前输入c
i
的最终状态为：
[0026][0027]最后，将每一时刻GRU模型的输出，即商品属性序列中每个商品属性的最终状态进行拼接，得到商品属性序列的状态矩阵H
a
＝[h1,h2,...,h
m
]，其中h
i
代表属性c
i
的最终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合自注意力机制基于图神经网络的会话推荐方法，其特征在于，包括：步骤1：将商品会话序列数据根据其点击关系绘制成会话图，会话图中的节点代表商品，边代表节点间的点击关系，使用图神经网络模型更新会话图中节点的状态，学习到商品间的序列特征；步骤2：根据会话序列的顺序关系构建对应商品属性序列，并使用门控循环单元模型学习商品属性间的序列特征；步骤3：将两个模型输出的特征向量利用神经网络模型进行融合，再利用多头注意力机制在特征层进一步挖掘各个特征间相互关系，最后，利用软注意力机制学习用户的长期偏好，再结合短期偏好利用线性变换得到用户最终特征向量，用以生成推荐商品。2.根据权利要求1所述的一种融合自注意力机制基于图神经网络的会话推荐方法，其特征在于，所述步骤1中，按照如下方式更新会话图中节点的状态：特征在于，所述步骤1中，按照如下方式更新会话图中节点的状态：特征在于，所述步骤1中，按照如下方式更新会话图中节点的状态：特征在于，所述步骤1中，按照如下方式更新会话图中节点的状态：特征在于，所述步骤1中，按照如下方式更新会话图中节点的状态：其中，是t时刻聚合信息后节点v
i
的状态向量；A
s,i:
表示节点v
i
的邻接矩阵，邻接矩阵包含出度值和入度值；是t
‑
1时刻所有节点特征向量的拼接矩阵，表示t
‑
1时刻节点v
i
的状态，H是权重控制项，b是偏置项；表示t时刻节点v
i
的更新门；表示t时刻节点v
i
的重置门；S＝(s1,s2,...,s
M
)表示会话中M个会话序列，一个会话序列表示为s＝(I1,I2,
…
,I
m
)，其中s∈S,且商品I
i
∈I，I＝(I1,I2,...,I
N
)表示会话中的N个不重复的电商商品；σ(
·
)是sigmoid函数，将连续值映射到(0,1)之间；表示t时刻节点v
i
的候选隐藏状态；表示输出节点的最终状态向量；W
z
∈R
d
和U
z
∈R
d
是更新门下分别控制和的权重向量，W
r
∈R
d
和U
r
∈R
d
是重置门下分别控制和的权重向量，d表示维度，参数W
o
和U
o
分别是控制和的权重向量；.是点乘运算；tanh(.)表示双曲正切函数。3.根据权利要求2所述的一种融合自注意力机制基于图神经网络的会话推荐方法，其特征在于，所述步骤2包括：首先，根据当前输入的商品属性向量c
i
和上一时刻t
i
‑1的状态
hi
‑1计算更新门z
i
和重置门r
i
，其中，sigmoid激活函数将更新门和重置门的值映射到(0,1)区间：z
i
＝sigmoid(W
z
c
i
+U
z
h
i
‑1)
ꢀꢀꢀꢀ
(6)r
i
＝sigmoid(W
r
c
i
+U
r
h
i
‑1)
ꢀꢀꢀꢀ
(7)其次，得到门控信号后，使用重置门将上一时刻的状态重置，并和当前输入拼接，再经过tanh函数将值映射到[
‑
1,1]之间，得到当前时刻属性c
i
的候选状态的候选状态
其中，和分别是控制c
i
和(r
i
·
h
i
‑1)的权重向量；然后，利用更新门得到当前输入c
i
的最终状态为：最后，将每一时刻GRU模型的输出，即商品属性序列中每个商品属性的最终状态进行拼接，得到商品属性序列的状态矩阵H
a
＝[h1,h2,...,h
m
]，其中h
i
代表属性c
i
的最终状态，所述商品的属性为商品种类。4.根据权利要求3所述的一种融合自注意力机制基于图神经网络的会话推荐方法，其特征在于，所述步骤3包括：将图神经网络输出的节点特征矩阵和GRU模型输出的商品属性特征矩阵拼接，使用全连接层将其融合，计算公式为：其中，W1∈R
2d*d
是全连接层下的权重矩阵，b1∈R
d
是偏置项，O∈R
m*d
是节点特征矩阵和商品属性特征矩阵融合得到的特征矩阵；使用多头注意力机制，根据头的个数heads划分出多个子空间，在每个子空间中对特征矩阵O进行注意力计算后，再将多个输出合并起来：首先，基于特征矩阵，使用线性变换得到heads个子空间的注意力层的输入Q，K，V，Q,K,V∈R
heads*m*d
：Q＝W
iQ
O
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)Q＝W
iK
O
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)Q＝W
iV
O
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)其中，W
iQ
，W
iK
和W
iV
是进行线性变换的权重矩阵；将Q，K，V划分到heads个子空间后，使用缩放点积注意力计算得到特征在编码过程中对应的注意力权重矩阵h：其中，h∈R
heads*m*d
；多头注意力机制将进行了heads次注意力计算的结果在全连接层进行融合，计算公式如下：M＝W2h+b2ꢀꢀꢀꢀ
(15)其中，W2∈R
(d*heads)*d
全连接层下使用的权重矩阵，b2是偏置项，M∈R
m*d
是heads次注意力计算结果融合后得到的特征矩阵；将特征矩阵M＝(M1,M2,
…
,M
m
)作为用户的长期偏好，将特征矩阵中最后一个特征向量M
m
作为用户的短期偏好，表示为M
short
＝M
m
；使用软注意力机制为长期偏好中每个特征分配权重：使用软注意力机制为长期偏好中每个特征分配权重：其中，att
i
是特征M
i
的权重，q是权重向量，M
long
∈R
d
是长期偏好向量；
取商品属性向量的平均值：取特征矩阵M中的当前特征M
i
、长期偏好、短期偏好和商品种类向量平均值H
a
共同作为决定长短期偏好重要性的因素，并在全连接层将其融合成用户偏好向量H
s
：a
i
＝softmax(W3M
i
+W4M
long
+W5M
short
+W6H
a
+b2)
ꢀꢀꢀꢀꢀ
(19)H
s
＝W7[a
i
M
long
；(1
‑
a
i
)M
short
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)其中，a
i
是注意力权重，参数W3,W4,W5,W6分别是作用于M
i
,M
long
,M
short
,H
a
的权重向量，W7∈R
2d*d
是全连接层下融合长期偏好和短期偏好使用的权重矩阵；通过用户偏好向量和所有商品的嵌入向量做点积，计算出每个商品的推荐分数，并使用softmax方法将该推荐分数转化成概率：其中，权重a
i
决定长期偏好的重要性，(1
‑
a
i
)决定短期偏好的重要性，[；]表示对长期偏好和短期偏好进行拼接，y
′
是模型预测的商品成为下一个点击项的概率，从中选出概率最大的前N个商品推荐给用户。5.一种融合自注意力机制基于图神经网络的会话推荐系统，其特征在于，包括：第一特征提取模块，用于将商...

【专利技术属性】
技术研发人员：田保军，刘娜娜，房建东，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：