一种基于门机制和多模态图网络的会话社交推荐方法技术

本发明专利技术公开了一种基于门机制和多模态图网络的会话社交推荐方法。该方法基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法主要由三个部分组成：第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于门机制的多模态图网络从社交网络中得到不同模态下朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。品。品。

【技术实现步骤摘要】
一种基于门机制和多模态图网络的会话社交推荐方法


[0001]本专利技术属于互联网服务
，尤其是涉及一种基于门机制和多模态图网络的会话社交推荐方法。

技术介绍

[0002]很多在线平台，例如Yelp、Epinions等，允许用户在平台上分享自己的兴趣和经历，以及和其他用户进行互动。用户在平台上的行为信息非常丰富，通常来说用户的兴趣是多样和多变的。很多社交推荐方法在推荐物品的时候，同时考虑用户的短期兴趣、用户长期兴趣和社交影响，可以降低数据的稀疏度。将用户交互行为数据和用户的社交网络进行互补地结合，提高个性化推荐方法准确度是本专利技术的出发点。
[0003]大多数社交推荐方法采用矩阵分解模型，将用户的社交网络和用户的交互网络结合起来建模。近几年，随着图卷积网络(GCN)的发展，有些学者开始使用图卷积网络来学习朋友对目标用户的社交影响。如song等人采用GraphSAGE得到朋友对目标用户的社交影响，GraphSAGE是Hamilton等人提出的一种图卷积网络方法，它不需要输入整个用户的社交网络矩阵，是一种时间复杂度换空间复杂度的图方法。
[0004]以上方法虽然取得不错的效果，但是没有考虑到物品特征的多模态性。Chen等人在物品表征阶段采用注意力机制对多种模态进行选择，并生成物品向量表征。该方法只能算是将多模态特征向量相连接组成物品向量这种方法的进阶版本，没有充分利用物品多模态的丰富信息。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于门机制的多模态图网络进行模态融合。多模态社交图网络中用户兴趣特征信息非常丰富，一种模态下的用户兴趣表征对另一种模态下的用户兴趣表征既是一种信息的补充，也是一种节点信息传递的制约。本方法在社交图网络中传递节点模态信息时，节点之间传递相同模态信息的过程受到源节点的两种模态信息共同控制，该控制方法正是普遍应用在循环神经网络中的门机制。

技术实现思路

[0005]本专利技术所要解决的技术问题是基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法通过对用户兴趣和社交影响进行建模，来预测用户下一个点击的物品。为此，本专利技术采用以下技术方案：
[0006]一种基于门机制和多模态图网络的会话社交推荐方法，包括以下步骤：
[0007]构建目标用户u
i
的社交网络G，令：
[0008]G＝{U,E}
[0009]其中，U表示社交网络中目标用户u
i
的朋友集合，E是目标用户的社交连接。
[0010]使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v1,v2,
…
,
v0}。其中v
j
是会话中第j个物品。构建用户会话向量表征采用长短期记忆网络(LSTM)：
[0011]z7＝LSTM(Q(:,S))
[0012]其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：
[0013]i
j
＝σ(W
i
x
j
+U
i
h
j
‑1+b
i
)
[0014]f
j
＝σ(W
f
x
j
+U
f
h
j
‑1+b
f
)
[0015]o
j
＝σ(W
o
x
j
+U
o
h
j
‑1+b
o
)
[0016]c
j
＝i
j
tanh(W
c
x
j
+U
c
h
j
‑1+b
c
)+f
j
c
j
‑1[0017]h
j
＝o
j
c
j
[0018]其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x
j
是会话序列中第j个物品的向量表征。长短期记忆网络的最后一层的隐藏状态h
j
的输出就是会话向量表征z7。。和分别是控制输入门i
j
、遗忘门f1和输出门o1的参数，d代表物品向量的维度；σ为sigmoid函数；所有这些参数和输入：隐层状态h1‑1、当前输入x1共同参与计算，来输出结果h1。分别用长短期记忆网络对会话模态a的表示和模态b的表示进行特征建模，得到目标用户的兴趣向量表征他的第l个朋友的表征为最近会话的向量表征为
[0019]根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响。以下是多模态社交图网络中用户节点的模态a的信息传递过程：
[0020][0021][0022][0023]其中，k代表社交网络G的搜索深度。N(i)是目标用户u
i
的朋友集合，代表节点u
i
在k层模态a的向量表征，初始化为向量初始化为向量初始化为向量和是门参数，是图参数，σ为sigmoid函数，AGGREGATE
l
函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的即是模态a下朋友对目标用户的社交影响。
[0024]同样，多模态社交图网络中用户节点的模态b的信息传递过程相同，如下：
[0025][0026][0027][0028]其中，k代表社交网络G的搜索深度。N(i)是目标用户u
i
的朋友集合，代表节点u
i
在k层模态b的向量表征，为向量为向量为向量和是门参数，是图参数，σ为sigmoid函数，AGGREGATE
l
函数表示将目标用户的所有朋
友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的即是模态b下朋友对目标用户的社交影响。
[0029]结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：
[0030][0031]其中，是线性转化矩阵，为目标用户u
i
行为表现出的多模态空间下的兴趣向量表征，是多模态空间下的朋友对目标用户u
i
的社交影响，
⊕
为向量拼接操作。
[0032]根据用户最终向量表征和物品向量表征，推荐物品。将物品v1的向量乘以用户兴趣向量再应用softmax函数计算出物品v
j
的分数；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门机制和多模态图网络的会话社交推荐方法，其特征在于：构建目标用户u
i
的社交网络G，令：G＝{U，E}其中，U表示社交网络中目标用户u
i
的朋友集合，E是目标用户的社交连接；使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征；构建用户会话向量表征，任一会话表示为S＝{v1，v2，
…
，v
n
}；其中v
j
是会话中第j个物品；构建用户会话向量表征采用长短期记忆网络(LSTM)：z
s
＝LSTM(Q(：，S))其中，Q是物品的向量矩阵，Q(：，S)代表出现在会话S中所有的物品向量；分别用长短期记忆网络对会话模态a的表示和模态b的表示进行特征建模，得到目标用户的兴趣向量表征他的第l个朋友的表征为最近会话的向量表征为的向量表征为根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响；以下是多模态社交图网络中用户节点的模态a的信息传递过程：是多模态社交图网络中用户节点的模态a的信息传递过程：是多模态社交图网络中用户节点的模态a的信息传递过程：其中，k代表社交网络G的搜索深度；N(i)是目标用户u
i
的朋友集合，代表节点u
i
在k层模态a的向量表征，初始化为向量初始化为向量初始化为向量初始化为向量和是门参数，是门参数，是图参数，σ为sigmoid函数，AGGREGATE
l
函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法；CONCAT函数是向量拼接操作；图网络节点信息更新后的即是模态a下朋友对目标用户的社交影响；多模态社交图网络中用户节点的模态b的信息传递过程相同，得到结合目标用户兴趣和社交影响，获得用户最终向量表征；用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：其中，是线性转化矩阵，为目标用户u
i
行为表现出的多模态空间下的兴趣向量表征，是多模态空间下的朋友对目标用户u
i
的社交影响，为向量拼接操作；根据用户最终向量表征和物品向量表征，推荐物品；将物品v
j
的向量乘以用户兴趣向量再应用softmax函数计算出物品v
j
的分数：其中，和代表用户在模态空间a和b下的兴趣向量，和是物品v
j
在模态空间a和b下的向量表征；代表物品v
j
成为下一个交互的可能性；同时根据的对数似然函数值，计算损失函数：
其中，y
j
代表v
j
的one
‑

【专利技术属性】
技术研发人员：顾盼，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：