一种基于超图神经网络的序列推荐方法及装置制造方法及图纸

本发明专利技术公开了一种基于超图神经网络的序列推荐方法及装置，其中方法包括：根据数据集构建超图；通过超图卷积学习动态短时用户/商品嵌入向量；将动态/静态用户、动态/静态商品相结合，获得用户与商品交互嵌入向量；通过把用户

【技术实现步骤摘要】
一种基于超图神经网络的序列推荐方法及装置


[0001]本专利技术涉及序列推荐
，尤其涉及一种基于超图神经网络的序列推荐方法及装置。

技术介绍

[0002]21世纪以来，随着网络技术的发展和手机与电脑的普及，网购已经成为居民生活不可或缺的一部分。互联网技术的飞速发展，同时也给居民带来了信息爆炸的问题，海量无关信息每天充斥着人们的生活。如何帮助居民更好的在海量的商品中，选择出他们最需要，最匹配的商品，成为了一个各大电商平台一个重要的难点。这不仅能更好的满足居民的生活需求，同时可以更好的为商家精准定位客源，更好的销售产品解决库存挤压等问题。推荐系统是一种根据用户历史购物等行为以及个人偏好来为用户推荐商品的技术应用，可以更精准地为客户提供推荐优质的商品，让用户感受到所见即所需，减少被海量无兴趣商品信息包围的困扰，从而有效的缓解信息过载的问题；另一方面也为商家的决策提供更加科学的数据支撑，提升电商行业的服务质量。
[0003]目前序列推荐算法可以简单的分为三类：基于传统的递归神经网络模型，如GRU4Rec+；基于注意力机制神经网络模型，如BERT4Rec与SASRec；基于图神经网络的序列推荐模型，如HyperRec。基于传统的递归神经网络模型，一般将序列化的物品嵌入表示向量输入到GRU神经网络中，每一时序帧的输出是一个向量，这一向量经过多层感知机后转化为对下一个时序用户选择所有物品的预测评分。然而这种传统的递归神经网络模型的缺陷在于只利用了物品顺序的信息，而且一般在训练最开始阶段均是随机初始化，并没有很好的利用用户的信息以及商品之间的内在关系。
[0004]基于注意力机制神经网络模型一般在序列推荐模型中加入注意力机制，它试图根据用户最近交互来捕捉用户活动的信息，可以较好的捕捉长期语义，从用户的历史交互信息中找出哪些项目是
‘
相关的
’
，并使用它们来预测下一个项目。但是该类型的模型依旧没有很好的引入用户端的信息，只使用了用户的行为信息；同时序列上仅考虑了用户同一时间粒度上的信息，并没考虑跨时间粒度上的信息。
[0005]基于图神经网络的序列推荐模型，通过构造用户与商品的图，图卷积的帮助下，可以更好的学到用户与用户，用户与商品之间的多跳关系，更好学习出用户与商品的偏好与特征，多层图卷积下捕获多阶连接。因此在预测下一个商品时，用户与商品的表征向量将会更加的丰富，包含的语义也会更加全面。然而，图卷积的计算运算与复杂度都远远大于传统的神经网络模型，对于图的构建依赖程度很高，同样受困与图里的数据稀缺的困扰。因此更好的解决图的数据稀缺的问题，将更有效地用户与物品交互信息融合到模型中变得尤为重要。

技术实现思路

[0006]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供
一种基于超图神经网络的序列推荐方法及装置。
[0007]本专利技术所采用的技术方案是：
[0008]一种基于超图神经网络的序列推荐方法，包括以下步骤：
[0009]获取带有用户与商品交互信息、时间信息的数据集，根据获得的数据集构建超图，利用不同的时间段对超图进行划分；
[0010]划分获得每个时间段的超图子图，对每个时刻下的超图子图中的超边用户进行聚类操作，以将相似的超边进行聚类；
[0011]通过引入对比学习与图卷积进行预训练学习，获得商品与用户的初始嵌入向量；
[0012]将划分好的每个时间段的超图子图，以及预训练学习的商品/用户初始嵌入向量，输入主模型中，进行超图卷积学习动态商品/用户嵌入向量；通过融合层将静态/动态商品与静态/动态用户嵌入向量进行融合，得到用户与商品的交互嵌入向量；
[0013]将用户与商品交互嵌入向量输入tran
s
f
o
rm
e
r模块中，根据不同的时间滑动窗口，学习获得短中长三种动态用户嵌入向量，将三种动态用户嵌入向量融合成最终动态用户嵌入向量；
[0014]将最终动态用户嵌入向量与融合动态和静态的商品嵌入向量进行偏好预测，获得推荐顺序。
[0015]进一步地，所述根据获得的数据集构建超图，包括：
[0016]对数据集进行预处理，将经过预处理的数据集用于不同时间下的商品与用户超图子图构建中；
[0017]所述将经过预处理的数据集用于不同时间下的商品与用户超图子图构建中，包括：
[0018]用户：U＝{u1，u2，
…
u
L
，}；其中，u
j
为第j个的用户嵌入向量，1≤j≤L，L为用户数量总数量；
[0019]商品：I＝{i1，i2，
…
i
N
，}；其中，i
j
为第j个的商品嵌入向量，1≤j≤N，N为物品总数量；
[0020]时间：T＝{t1，t2，
…
t
C
，}；其中，t
j
为第j个时间刻，1≤j≤C，C为时间总长度；
[0021][0021]表示一个用户与商品的交互序列，按交互时间排序；其中，表示的物品ID为1的嵌入向量，m为物品ID；表示用户n与商品1交互的时间t1；
[0022]其中G表示每个时间t下的所构建的商品与用户的超图子图，t代表时间刻，表示在时间刻t
c
下，商品与用户的超图子图。
[0023]进一步地，所述对每个时刻下的超图子图中的超边用户进行聚类操作的步骤中，采用的聚类公式如下：
[0024][0025]其中，初始化超边用户的簇划分为(C1，C2，
…
C
k
)，则目标最小化平方误差E；u
i
是簇C
i
的均值向量；X是属于c
i
簇中心的所有超边用户，X
i
为超边用户i，k是k个簇类中心。
[0026]进一步地，所述通过引入对比学习与图卷积进行预训练学习的步骤中，预训练阶段的损失函数包括两个部分：
[0027]第一部分BPRLoss的部分公式：
[0028]预训练阶段，对于用户u
i
和正样例商品以及负样例商品需要对输出的预测值进行监督训练，训练的损失定义如下：
[0029]BPRLoss：
[0030]式中，o表示：o＝{(u，i，j)|(u，i)∈R
+
，(u，j)∈R
‑
}，其中R
+
为观察到样本，R
‑
为未观测到样本；(u，i)表示用户与其正样本对，(u，j)表示用户与其负样本对；(u，i，j)表示用户与其正样本对、用户与其负样本对；
[0031]第二个部分对比学习公式：
[0032]首先运用LSTM序列模型，将最后一个时间步的输出作为用户潜在嵌入向量；随机初始化的用户嵌入向量与同用户潜在嵌入向量为正样本，其他用户为负样本；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超图神经网络的序列推荐方法，其特征在于，包括以下步骤：获取带有用户与商品交互信息、时间信息的数据集，根据获得的数据集构建超图，利用不同的时间段对超图进行划分；划分获得每个时间段的超图子图，对每个时刻下的超图子图中的超边用户进行聚类操作，以将相似的超边进行聚类；通过引入对比学习与图卷积进行预训练学习，获得商品与用户的初始嵌入向量；将划分好的每个时间段的超图子图，以及预训练学习的商品/用户初始嵌入向量，输入主模型中，进行超图卷积学习动态商品/用户嵌入向量；通过融合层将静态/动态商品与静态/动态用户嵌入向量进行融合，得到用户与商品的交互嵌入向量；将用户与商品交互嵌入向量输入transformer模块中，根据不同的时间滑动窗口，学习获得短中长三种动态用户嵌入向量，将三种动态用户嵌入向量融合成最终动态用户嵌入向量；将最终动态用户嵌入向量与融合动态和静态的商品嵌入向量进行偏好预测，获得推荐顺序。2.根据权利要求1所述的一种基于超图神经网络的序列推荐方法，其特征在于，所述根据获得的数据集构建超图，包括：对数据集进行预处理，将经过预处理的数据集用于不同时间下的商品与用户超图子图构建中；所述将经过预处理的数据集用于不同时间下的商品与用户超图子图构建中，包括：用户：U＝{u1,u2,
…
u
L
,}；其中，u
j
为第j个的用户嵌入向量，1≤j≤L，L为用户数量总数量；商品：I＝{i1,i2,
…
i
N
,}；其中，i
j
为第j个的商品嵌入向量，1≤j≤N，N为物品总数量；时间：T＝{t1,t2,
…
t
C
,}；其中，t
j
为第j个时间刻，1≤j≤C，C为时间总长度；C，C为时间总长度；表示一个用户与商品的交互序列，按交互时间排序；其中，表示的物品ID为1的嵌入向量，m为物品ID；表示用户n与商品1交互的时间t1；其中G表示每个时间t下的所构建的商品与用户的超图子图，t代表时间刻，表示在时间刻t
c
下，商品与用户的超图子图。3.根据权利要求1所述的一种基于超图神经网络的序列推荐方法，其特征在于，所述对每个时刻下的超图子图中的超边用户进行聚类操作的步骤中，采用的聚类公式如下：其中，初始化超边用户的簇划分为(C1,C2,
…
C
k
)，则目标最小化平方误差E；u
i
是簇C
i
的均值向量；X是属于c
i
簇中心的所有超边用户，X
i
为超边用户i，k是k个簇类中心。4.根据权利要求1所述的一种基于超图神经网络的序列推荐方法，其特征在于，所述通过引入对比学习与图卷积进行预训练学习的步骤中，预训练阶段的损失函数包括两个部分：第一部分BPRLoss的部分公式：
预训练阶段，对于用户u
i
和正样例商品以及负样例商品需要对输出的预测值进行监督训练，训练的损失定义如下：式中，o表示：o＝{(u,i,j)|(u,i)∈R
+
,(u,j)∈R
‑
}，其中R
+
为观察到样本，R
‑
为未观测到样本；(u,i)表示用户与用户正样本对，(u,j)表示用户与用户负样本对；第二个部分对比学习公式：首先运用LSTM序列模型，将最后一个时间步的输出作为用户潜在嵌入向量；随机初始化的用户嵌入向量与同用户潜在嵌入向量为正样本，其他用户为负样本；公式为：式中{(z
’
u
,z”u
)|∈U}属于一对正样本，{(z
’
u
,z”v
)|u,v∈U,v≠u}属于一对负样本；其中s()余弦相似度是用于预测两个向量的相关性，τ是超参数，U是用...

【专利技术属性】
技术研发人员：许勇，李想，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：