基于位置编码的软注意力机制学习方法技术

本发明专利技术涉及图神经网络会话推荐领域，具体讲是设计一种基于位置编码的软注意力机制学习方法。基于GNN的会话推荐是一种使用图神经网络（GNN）技术进行个性化会话推荐的方法。在基于GNN的会话推荐中，用户的会话可以被建模为一个图，其中节点表示不同的项目或行为，可以从会话图中提取有关用户兴趣和行为模式的特征，从而进行个性化的会话推荐。为了提高基于图神经网络的会话推荐的推荐效果，本发明专利技术提供了一种基于位置编码的软注意力机制学习方法，位置编码可以帮助模型更好地理解会话数据中节点的上下文关系和顺序信息，本发明专利技术在图神经网络会话推荐的软注意力机制中引入位置编码，通过为项分配独特的位置编码，模型能够准确捕捉项在会话中的位置和角色；这样，软注意力机制可以更准确地计算节点之间的注意力权重；本发明专利技术通过引入位置编码有效地提升模型的上下文建模能力，并增强推荐结果的准确性和个性化程度。性化程度。性化程度。

【技术实现步骤摘要】
基于位置编码的软注意力机制学习方法


[0001]本专利技术涉及图神经网络会话推荐领域，具体讲是设计一种基于位置编码的软注意力机制学习方法。

技术介绍

[0002]基于GNN的会话推荐是一种使用图神经网络(GNN)技术进行个性化会话推荐的方法；传统的个性化推荐系统通常基于用户的历史行为和兴趣来生成推荐结果，但对于会话数据这种包含时间顺序和交互关系的数据，传统方法往往难以捕捉到其特点；GNN作为一种专门用于处理图结构数据的机器学习模型，能够捕捉节点之间的关系和依赖；在基于GNN的会话推荐中，用户的会话可以被建模为一个图，其中节点表示不同的项目或行为，边表示不同的交互关系，如点击、购买等；通过GNN的学习和推断，可以从会话图中提取有关用户兴趣和行为模式的特征，从而进行个性化的会话推荐；然而，目前现有的大部分会话推荐方案没有考虑位置编码对全局特征的重要性，如果没有引入位置编码，可能会带来时序信息丢失、节点关系混淆以及上下文建模能力减弱等坏处，影响模型对会话数据的准确理解和推荐结果的质量。
[0003]软注意力机制是一种常用的技术，用于加强模型对输入数据的关注和权重分配；通过计算每个输入元素的注意力权重，软注意力机制使模型能够有选择地关注与任务相关的信息；与传统的硬注意力机制不同，软注意力机制可以对多个输入元素分配不同的权重，并且这些权重是连续的、可微分的，从而可以与梯度下降等优化算法一起进行端到端的训练；软注意力机制的核心思想是通过学习到的注意力权重来调整输入元素的表示或加权求和，以便模型可以更加准确地关注对当前任务有用的信息；它通过灵活地调整注意力权重，软注意力机制可以帮助模型更好地理解和利用输入数据的相关性，并提高模型的性能和效果。

技术实现思路

[0004]为了提高基于图神经网络的会话推荐的推荐效果，本专利技术提供了一种基于位置编码的软注意力机制学习方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：一种基于位置编码的软注意力机制学习方法，包括以下步骤：
[0006]1)生成位置编码：
[0007]1.1)生成一个学习的位置矩阵；
[0008]1.2)根据与最后一项的距离计算位置编码；
[0009]2)嵌入软注意力机制：
[0010]2.1)计算平均特征；
[0011]2.2)将位置编码嵌入至软注意力机制的计算；
[0012]2.3)将得到的系数与全局特征线性结合，得到组间会话特征；
[0013]与现有的技术相比，本专利技术的有益效果是在图神经网络会话推荐的软注意力机制中引入位置编码，位置编码可以帮助模型更好地理解会话数据中节点的上下文关系和顺序信息；通过为节点分配独特的位置向量，模型能够准确捕捉节点在会话中的位置和角色；这样，软注意力机制可以更准确地计算节点之间的注意力权重；引入位置编码能够提升模型的上下文建模能力，并增强推荐结果的准确性和个性化程度。
附图说明
[0014]下面结合附图及实施例对本专利技术作进一步说明，附图中：
[0015]图1是本专利技术实施例的两种位置编码嵌入会话特征示意图；
[0016]图2是本专利技术实施例的MRR推荐效果及损失示意图。
具体实施方式
[0017]本专利技术实施方式包含以下步骤：
[0018]在会话推荐中，由于接近会话结束的项很可能对预测下一个互动的贡献更大，根据项目距离会话结束的距离生成了一个位置编码，以平衡每个项目的重要性；但是位置编码对于本地和全局特征发挥着不同的作用，所以对于全局特征采取软注意力机制直接嵌入的方式，从而提高了模型的效果；
[0019]基于位置编码的软注意力机制学习方法，重在处理组间会话对应的全局特征，具体流程如下：
[0020]首先，生成位置矩阵，再根据每一项和最后一项的距离生成位置信息，计算位置编码，来调整不同项在推荐中的权重；
[0021]然后，根据原来的全局项因子特征生成全局项平均因子特征，从而减少不相关项在组间会话中的噪声，加强组间会话特征的表现能力；
[0022]接着，将位置编码、平均特征和全局项因子特征参与软注意力机制的学习，得到特征权重系数；
[0023]最后，通过线性结合，得到最终的组间会话的特征；
[0024]基于上面得到的组间会话特征进行训练，有效地将位置编码嵌入到全局特征的软注意力机制中，从而提高了模型推荐的效果。
[0025](1)生成位置编码
[0026]生成位置编码的过程，包括设置位置矩阵和计算位置编码：
[0027](1.1)设置位置矩阵已知一个会话序列s＝[v
s,1
,v
s,2
,....,v
s,ι
]，长度为ι，为会话序列中的每个元素v
s,i
生成一个位置偏置将这ι个位置偏置进行组合，生成一个学习的位置矩阵
[0028](1.2)计算位置编码对于会话序列中的每一个项v
s,i
，根据它和最后一项v
s,ι
的相对距离去设置它的位置编码于是得到相应的会话序列中所有对应的可学习的位置编码
[0029](2)嵌入软注意力机制
[0030]在位置编码的软注意力机制嵌入分为生成平均特征、嵌入和线性结合三个步骤：
[0031](2.1)计算每个会话的平均特征已知一个会话序列s＝[v
s,1
,v
s,2
,...,v
s,ι
]，长度为ι，在分层图神经网络的会话推荐中，通过获取不同会话的图结构之间的关系，得到每一项的全局特征将所有项的全局特征的第k个因子取出来并进行加和，再将加和结果除以会话长度ι，于是得到所有项的平均特征因子最后，将它们进行拼接得到该会话序列中的所有项的平均特征因子，得到平均特征对应的公式如下：
[0032](2.2)嵌入对每个会话序列，已知每一项的全局特征平均因子特征和位置编码将第i项特征的第k个因子平均特征的第k个因子和嵌入计算的第i项的位置编码分别于可学习的矩阵和进行相乘，并将它们的相乘结果与可学习的向量b
k
相加；接着，将加和结果进行sigmoid激活，映射成0和1之间的向量，该向量与可学习的向量相乘，得到0和1之间常数即每一项的全局特征系数；对应的公式如下：
[0033](2.3)线性组合已知每一项的全局特征以及它们的系数为；先将每一项的全局因子特征与系数数乘，再将它们的数乘结果进行加和，于是得到组间会话特征因子s
g,k
，最后，将这些组间会话特征因子进行组合，得到组间会话特征s
g
＝[s
g,1
,s
g,2
,
…
,s
g,K
]；对应的公式如下：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于位置编码的软注意力机制学习方法，其特征在于：(1)生成位置编码生成位置编码的过程，包括设置位置矩阵和计算位置编码：(1.1)设置位置矩阵已知一个会话序列s＝[v
s,1
,v
s,2
,....,v
s,ι
]，长度为ι，为会话序列中的每个项v
s,i
设置一个位置偏置将这ι个位置偏置进行组合，生成一个可学习的位置矩阵(1.2)计算位置编码对于会话序列中的每一个项v
s,i
，根据它和最后一项v
s,ι
的相对距离去计算它的位置编码于是得到相应的会话序列中所有对应的可学习的位置编码(2)嵌入软注意力机制在位置编码的软注意力机制嵌入分为生成平均特征、嵌入和线性组合三个步骤：(2.1)计算每个会话的平均特征已知一个会话序列s＝[v
s,1
,v
s,2
,...,v
s,ι
]，长度为ι，在分层图神经网络的会话推荐中，通过获取不同会话的图结构之间的关系，得到每一项的全局特征将所有项的全...

【专利技术属性】
技术研发人员：李凤银，刘洪哲，于喜龙，李国萍，周挥宇，
申请(专利权)人：曲阜师范大学，
类型：发明
国别省市：