【技术实现步骤摘要】
本专利技术涉及个性化推荐，尤其涉及一种基于循环自注意力网络的序列推荐方法及系统。
技术介绍
1、传统的推荐方法以静态的方式对用户的历史行为进行建模，忽略了用户与物品交互的时序信息，因此只能捕获用户的总体偏好。然而，用户的偏好本质上是是随着时间动态变化的，最近发生的用户行为更能体现用户的当前偏好。序列推荐通过将用户历史行为建模为按时间顺序排列的交互序列，能够有效刻画用户的当前偏好，以预测用户未来可能的交互行为。
2、序列推荐系统提高了物品推荐的合理性和准确性，但是现有序列推荐方法还存在一定的局限性。主要存在以下问题：
3、问题一：现有大多数序列推荐方法没有区分用户的长期偏好和短期兴趣，过分强调了短期行为对用户未来行为的影响。而现有基于用户长期偏好和短期兴趣的方法，通常利用马尔可夫链或卷积神经网络来建模交互物品的短期依赖关系，只能建模连续交互行为之间的序列关系，无法对任意多个短期行为之间的复杂交互进行建模。因此，如何建模用户序列行为中的短期兴趣是一个重要问题。
4、问题二：现有序列推荐方法同等对待用户不同偏好特征进行用户下一个行为预测，缺乏对用户偏好特征在不同时刻差异性的刻画。用户大多数情况会根据自己的长期习惯作出选择，其他情况会根据自己的短期兴趣行动，还有少数情况下的行为可能仅仅是上一个行为的延续。因此，如何针对不同场景自适应融合用户的不同偏好特征进行下一个物品预测是一个重要问题。
技术实现思路
1、本专利技术针对上述问题，提出一种基于循环自注意力
2、为了实现上述目的，本专利技术采用以下技术方案：
3、本专利技术一方面提出一种基于循环自注意力网络的序列推荐方法，包括：
4、步骤1：根据用户的历史交互物品生成对应于每个时刻的定长历史交互物品子序列；
5、步骤2：通过嵌入层将用户和物品进行向量化表示，利用循环层提取用户历史行为序列中的长期偏好特征和不同时刻的序列模式，利用多层自注意力网络提取用户最近一段时间的序列模式中的用户短期兴趣特征；
6、步骤3：利用注意力网络自适应融合用户的长期偏好特征、短期兴趣特征以及当前序列模式，得到用户的当前偏好特征，通过哈达玛积引入用户当前偏好与物品嵌入之间的特征交互，通过多层感知器网络和输出层计算候选物品是用户下一个交互物品的概率，进而完成物品推荐。
7、进一步地，所述步骤1中，得到用户历史交互物品总序列的多个前缀子序列，通过截断与填充操作把长度各不相同的前缀子序列转换为定长的历史交互物品子序列。
8、进一步地，所述嵌入层为没有偏置项的线性全连接层：
9、
10、其中，和分别为用户和物品的嵌入矩阵，用户嵌入为用户嵌入矩阵p的第i列，物品嵌入为物品嵌入矩阵q的第j列，d是节点嵌入的维度，满足且和分别为第i个用户和第j个物品的独热编码，的第i维和的第j维为1，其余维度为0。
11、进一步地，对于用户在t时刻的历史交互物品子序列l为最大序列长度，在该序列中的t时刻，t＝t-l+1,t-l+2,…,t，基于lstm的循环层表示为：
12、
13、
14、
15、
16、
17、
18、其中，为权重矩阵，为偏置向量，⊙表示向量的哈达玛积，||表示向量拼接操作，σ为sigmoid激活函数，为用户u在t时刻的交互物品的嵌入，分别为用户u在t时刻的遗忘门状态、输入门状态、候选细胞状态和输出门状态，细胞状态和隐藏状态为用户u在t时刻的输出，细胞状态存储了用户的长期偏好特征，隐藏状态刻画了用户的当前序列模式；
19、把序列全部输入到循环层，得到t时刻用户的长期偏好特征为t时刻用户的序列模式为
20、进一步地，所述利用多层自注意力网络提取用户最近一段时间的序列模式中的用户短期兴趣特征包括：
21、选择用户最近k个行为的序列模式来建模用户t时刻的短期兴趣，k<l，k个行为的序列模式特征构建为一个矩阵：
22、
23、其中表示用户u在t时刻的短期状态矩阵；
24、对于用户u在t时刻的短期状态矩阵将该矩阵的不同线性映射作为缩放点积注意力的查询、键和值，自注意力操作表示为：
25、
26、其中，为线性映射矩阵，它们分别将用户短期状态矩阵映射到不同子空间，为注意力输出矩阵，attention(.)为缩放点积注意力操作；
27、在自注意力操作的输入和输出间引入残差连接并对结果进行层归一化：
28、
29、其中，为输出矩阵，layernorm表示层归一化操作，矩阵c的行向量i＝1,2,…,k，分别为用户u最近k个短期行为的注意力输出；
30、将具有非线性激活函数的两层全连接网络分别应用于每个短期行为的注意力输出向量：
31、fi＝relu(ciw1+b1)w2+b2
32、其中，为权重矩阵，为偏置向量，relu为非线性激活函数；
33、最近k个短期行为通过全连接网络的输出构成了矩阵其中向量fi为f的第i行；
34、在全连接网络的输入和输出间引入残差连接并对结果进行层归一化：
35、s＝layernorm(c+f)
36、输出矩阵为短期兴趣特征矩阵；
37、经过m层自注意力网络后得到用户的短期兴趣特征矩阵s(m)，其最后一行的转置即为用户u针对序列在t时刻的短期兴趣特征向量，记为
38、进一步地，所述步骤3包括：
39、对于用户u在t时刻的历史行为序列通过序列特征提取，得到该用户在t时刻的长期偏好特征短期兴趣特征以及当前序列模式共同构成一个特征矩阵：
40、
41、其中为用户u在时刻t的偏好特征矩阵；
42、对于用户u，注意力网络在t时刻的查询为用户嵌入pu转置的线性映射，键和值为用户偏好特征矩阵的不同线性映射，注意力输出表示为：
43、
44、其中，为线性映射矩阵，注意力输出为用户u在t时刻的当前偏好特征，是用户u不同偏好特征的自适应加权和；
45、对于任意候选物品首先利用哈达玛积操作引入用户与候选本文档来自技高网...
【技术保护点】
1.一种基于循环自注意力网络的序列推荐方法，其特征在于，包括：
2.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述步骤1中，得到用户历史交互物品总序列的多个前缀子序列，通过截断与填充操作把长度各不相同的前缀子序列转换为定长的历史交互物品子序列。
3.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述嵌入层为没有偏置项的线性全连接层：
4.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，对于用户在T时刻的历史交互物品子序列L为最大序列长度，在该序列中的t时刻，t＝T-L+1,T-L+2,…,T，基于LSTM的循环层表示为：
5.根据权利要求4所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述利用多层自注意力网络提取用户最近一段时间的序列模式中的用户短期兴趣特征包括：
6.根据权利要求5所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述步骤3包括：
7.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，该方法还包
8.一种基于循环自注意力网络的序列推荐系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于循环自注意力网络的序列推荐方法，其特征在于，包括：
2.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述步骤1中，得到用户历史交互物品总序列的多个前缀子序列，通过截断与填充操作把长度各不相同的前缀子序列转换为定长的历史交互物品子序列。
3.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，所述嵌入层为没有偏置项的线性全连接层：
4.根据权利要求1所述的基于循环自注意力网络的序列推荐方法，其特征在于，对于用户在t时刻的历史交互物品子序列l为最大序列长度，在该序列中的t时刻...
【专利技术属性】
技术研发人员：谭磊，巩道福，李震宇，左宗，刘粉林，杨忠信，杜少勇，卢昊宇，张昕，陈蛟，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。