System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于注意力网络的会话感知推荐方法、装置和介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于注意力网络的会话感知推荐方法、装置和介质制造方法及图纸

技术编号:40384075 阅读:4 留言:0更新日期:2024-02-20 22:19
本发明专利技术公开了一种基于注意力网络的会话感知推荐方法、装置和介质,该方法首先通过基于自注意力网络的会话层表示学习模块,从用户的历史交互记录中捕捉用户在每个会话期间的偏好;再通过用户个性化注意力模块获取用户的全局偏好;然后通过基于门控神经网络的偏好相关性门控模块获取平衡得分,并根据该平衡得分获取用户喜好的最终表示;最后计算用户侧得分和会话侧得分,获取用户物品偏好得分,并进行排序,最终生成个性化推荐。本发明专利技术能够充分利用用户历史交互记录中隐含的长期偏好及短期偏好,并利用物品之间的隐式关系生成推荐;对会话感知情景有较高的可扩展性,可根据应用需求调整候选情景集合;能够有效提高推荐的准确度和个性化程度。

【技术实现步骤摘要】

本专利技术涉及自注意力,尤其涉及一种基于注意力网络的会话感知推荐方法、装置和介质


技术介绍

1、基于会话感知的推荐系统可以认为是时序推荐系统的一种特殊形式,目标是利用长期历史行为中的会话信息,更加全面地挖掘长期以来的用户画像以及兴趣偏好的转变,从而提升当前时期的推荐效果。引入了会话信息后的推荐系统中,也有着和表单推荐系统类似的层次结构的数据关联形式,具体地说,是在时序推荐的基础上引入了分层会话的异构数据属性,将用户的行为按照时间段进行了分割。常用的时序模型通常直接将用户的行为建模为单个的长序列,从而分析历史行为中的物品转变情况。

2、然而该做法在长期的用户历史中难以处理用户的全局偏好,例如,基于循环神经网络(recurrent neural network,rnn)结构的方法容易在长期行为的传播中丢失重要的信息,而一些基于注意力网络的模型在行为序列变长时也难以对过多的物品分配动态的权重。此外,时序推荐模型通常默认可以从历史行为序列中捕捉到全部的用户偏好,在推荐过程中忽略了用户的个人意图。而现有的会话感知推荐模型未能很好地分辨用户不同层面的偏好,如分层循环神经网络(hierarchical recurrent neural network,hrnn)和深度会话兴趣网络(deep session interest network,dsin)等模型依旧会受到rnn在长期信息传递过程的制约,难以得到完整的全局用户偏好。面向会话式推荐的动态协同注意力网络(dynamic co-attention network for session-based recommendation,dcn-sr)仅采用多层感知机(multilayer perceptron,mlp)来提取历史会话的信息,其网络表达能力欠佳,虽然当前的会话更有助于把握用户的短期偏好,但在长期的历史会话中,可以探索用户对于价格、品牌等辅助信息的偏好,这些信息有助于构建更加立体的用户画像。在模型的预测阶段,dcn-sr也未能对所得到的长期兴趣与短期偏好进行动态的平衡,无法得到个性化的偏好侧重。


技术实现思路

1、本专利技术的目的在于针对现有技术的不足,提供一种基于注意力网络的会话感知推荐方法、装置和介质。

2、本专利技术的目的是通过以下技术方案来实现的:本专利技术实施例第一方面提供了一种基于注意力网络的会话感知推荐方法,包括以下步骤:

3、(1)通过基于自注意力网络的会话层表示学习模块,从用户的历史交互记录中捕捉用户在每个会话期间的偏好;其中,所述会话层表示学习模块包括物品嵌入层和自注意力模块,所述用户的历史交互记录包括用户-物品-情景三维评分数据;

4、(2)基于步骤(1)获得的用户在会话期间的偏好后,通过一个用户个性化注意力模块获取用户的全局偏好;其中,所述用户个性化注意力模块包括用户嵌入层和用户个性化注意力层;

5、(3)基于用户的当前偏好和步骤(1)获取的用户的全局偏好,通过基于门控神经网络的偏好相关性门控模块获取平衡得分,并根据该平衡得分获取用户喜好的最终表示;

6、(4)根据步骤(3)获取的用户喜好的最终表示计算用户侧得分以及会话侧得分,根据用户侧得分和会话侧得分获取用户物品偏好得分,并对用户物品偏好得分进行降序排序,选取前n个用户物品偏好得分对应的物品作为最终的个性化推荐;

7、(5)采用二元交叉熵损失作为训练过程中的损失函数,并采用adam优化器进行迭代优化,即重复步骤(1)-步骤(4)对基于自注意力网络的会话层表示学习模块、用户个性化注意力模块、偏好相关性门控模块进行迭代训练,最小化损失,获取各个模块的最优参数。

8、进一步地,所述用户的历史交互记录的获取方法具体包括:在会话感知推荐系统中,日志历史记录包含大规模的用户交互记录;情景是会话感知推荐系统中的会话感知信息,在引入了会话感知信息后,不同时间段内的交互物品构成了不同的会话实体;每个会话内的行为记录本质上是一个交互序列,采用时序模型例如循环神经网络、注意力机制等捕获会话中的交互物品转变情况,最终构成用户-物品-情景三维评分数据作为用户的历史交互记录。

9、进一步地,所述步骤(1)包括以下子步骤:

10、(1.1)基于用户的历史交互记录通过会话层表示学习模块的物品嵌入层获取用户在每个会话期间的物品嵌入层表示:对于整个历史交互记录h,首先使用一个可学习的embedding矩阵ei∈r|i|×d将物品的编号转化为embedding向量表示,其中i为物品集合,|i|为物品集合的大小,d为嵌入向量的维度;每个会话表示为其中代表第i个历史交互记录中的会话,ej∈rd表示会话中第j个交互物品的embedding向量表示;然后通过将物品的位置向量表示与embedding向量表示相加,构成了第i个会话在会话层表示学习模块的自注意力模块中的输入矩阵xi∈rl1×d,该输入矩阵中第j个物品的物品嵌入层xj表示为:

11、xj=ej+pj,j∈{1,2,···,l1}

12、其中,ej表示第j个物品的embedding向量表示,pj∈rd是第j个物品的位置向量表示,l1和l2分别代表最大物品数量和最大会话数量;单个用户的完整输入表示为xh=[x1,x2,…,xl2],xh∈rl2×l1×d;

13、(1.2)在步骤(1.1)获取的用户在每个会话期间的物品嵌入层表示的基础上,通过会话层表示学习模块中堆叠多层的自注意力模块对会话内的物品嵌入层表示进行编码,以获取编码完成的物品表示;其中,每个所述自注意力模块包括自注意力层和前馈连接层,公式结构如下:

14、x(l)=ffl(sal(x(l-1)))

15、其中,x(l)是第l个自注意力模块输出的编码完成后的物品表示,sal(·)表示自注意力层输出的物品表示向量,ffl(·)表示前馈连接层输出的物品表示向量;对于首个自注意力模块的初始输入,有x(0)=xh,最后一个自注意力模块所输出的物品表示向量x(l)∈rl2×l1×d,选用每个会话中最后输出的物品表示向量作为该会话的偏好xs∈rl2×d。

16、进一步地,所述用户个性化注意力模块的表达式为:

17、

18、其中,xg∈r1×d表示用户的全局偏好,qu∈r1×d表示用户u的索引向量,qu=euwq′,ks=xswk′,vs=xswv′,eu∈r1×d表示用户u的嵌入向量表示,xs∈rl2×d为步骤(1)获得的用户在会话期间的偏好,wq′,wk′,wv′∈rd×d是用户个性化注意力层的参数矩阵。

19、进一步地,所述偏好相关性门控模块定义为:

20、

21、其中,z表示平衡得分,pcg(xg,xc)表示偏好相关性门控模块的输出,xg与xc为偏好相关性门控模块的输入,xc∈r1×d是当前会话中用户的偏好,是sigmoid激活函数,是向量拼接操作,wg∈r2d×1,bg∈r均是偏好相关性门控本文档来自技高网...

【技术保护点】

1.一种基于注意力网络的会话感知推荐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述用户的历史交互记录的获取方法具体包括:在会话感知推荐系统中,日志历史记录包含大规模的用户交互记录;情景是会话感知推荐系统中的会话感知信息,在引入了会话感知信息后,不同时间段内的交互物品构成了不同的会话实体;每个会话内的行为记录本质上是一个交互序列,采用时序模型例如循环神经网络、注意力机制等捕获会话中的交互物品转变情况,最终构成用户-物品-情景三维评分数据作为用户的历史交互记录。

3.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述步骤(1)包括以下子步骤:

4.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述用户个性化注意力模块的表达式为:

5.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述偏好相关性门控模块定义为:

6.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述用户侧得分和会话侧得分的计算公式分别为:

7.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述损失函数的表达式为:

8.一种基于注意力网络的会话感知推荐装置,包括一个或多个处理器和存储器,其特征在于,所述存储器与所述处理器耦接;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现权利要求1-7中任一项所述的基于注意力网络的会话感知推荐方法。

9.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,用于实现权利要求1-7中任一项所述的基于注意力网络的会话感知推荐方法。

...

【技术特征摘要】

1.一种基于注意力网络的会话感知推荐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述用户的历史交互记录的获取方法具体包括:在会话感知推荐系统中,日志历史记录包含大规模的用户交互记录;情景是会话感知推荐系统中的会话感知信息,在引入了会话感知信息后,不同时间段内的交互物品构成了不同的会话实体;每个会话内的行为记录本质上是一个交互序列,采用时序模型例如循环神经网络、注意力机制等捕获会话中的交互物品转变情况,最终构成用户-物品-情景三维评分数据作为用户的历史交互记录。

3.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述步骤(1)包括以下子步骤:

4.根据权利要求1所述的基于注意力网络的会话感知推荐方法,其特征在于,所述用户个性化注意力模块的表达式为:...

【专利技术属性】
技术研发人员:徐从富喻哲超
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1