一种聚焦于用户核心兴趣的序列推荐方法及装置制造方法及图纸

本发明专利技术公开了一种聚焦于用户核心兴趣的序列推荐方法及装置，包括获取用户与项目的交互序列以及所述交互序列中每个交互行为对应的时间戳；得到所述交互序列的嵌入矩阵；对所述嵌入矩阵进行自注意力计算，得到每一查询对于所有键的注意力值概率分布；获取每一查询的预先定义固定默认概率分布；根据两个概率分布相似性，得到各查询的活跃性度量；基于所述活跃性度量分别计算各键的注意力值，以构建自注意力矩阵；依据所述自注意力矩阵，得到所述用户的项目推荐结果。本发明专利技术通过在嵌入层加入时间间隔，并加入了活跃性度量指标，从而可以自适应地衡量项目与用户核心兴趣之间的相关性，提高了模型表达能力和推荐结果的准确率。提高了模型表达能力和推荐结果的准确率。提高了模型表达能力和推荐结果的准确率。

【技术实现步骤摘要】
一种聚焦于用户核心兴趣的序列推荐方法及装置


[0001]本专利技术涉及推荐系统领域，具体为一种聚焦于用户核心兴趣的序列推荐方法及装置。

技术介绍

[0002]传统的推荐系统如协同过滤等，以静态方式对用户和项目的交互进行建模。与之不同的是，序列推荐系统将用户项目交互视为一个动态序列，并考虑了其顺序相关性。序列推荐的研究重点是如何从连续的动态行为中简洁地捕获有用的模式，以获得准确的推荐。
[0003]基于马尔可夫链的方法是典型的例子，它作出了一个简化的假设：下一个动作是以一个或多个最近动作为条件的。其缺点是显而易见的，它可能无法捕捉某些复杂场景中的复杂动态。另一个有代表性的工作是将递归神经网络用于序列推荐。给定一个用户的历史交互序列，基于递归神经网络的序列推荐试图通过对序列依赖关系建模来预测用户的下一次交互。然而，受限于其严格的单向体系结构，基于递归神经网络的序列推荐容易产生伪依赖，并且难以执行并行训练。
[0004]近年来，受到用于机器翻译的Transformer模型的启发，对序列推荐采用自注意机制已成为一种研究趋势。基于自注意机制的模型可以强调序列中真正相关和重要的交互，同时减少不相关的交互。因此，与基于马尔可夫链和递归神经网络的模型相比，它们具备更高的灵活性和表达能力。
[0005]通常，在对用户的交互序列建模时，本专利技术希望生成用户的兴趣表征，并在此基础上进行预测。然而，在现实生活场景中，并不是用户和项目之间的所有交互都反映了用户的兴趣。一方面，交互序列通常包含由意外点击引起的用户兴趣漂移。另一方面，在某些情况下，用户会发现他们对与之交互的项目没有实际兴趣。例如，看了一部他们不喜欢的电影或者购买了一件不合身的衣服。因此，在生成用户的兴趣表征时，考虑上述所有项目可能不会起到积极作用，甚至可能适得其反。本专利技术将这些不能代表用户真实兴趣且对用户后续行为没有任何影响的交互统称为噪声交互。相比之下，核心兴趣反映了用户对项目的深度偏好，并主导了他们对候选项目的选择。因此，从用户的交互序列中发现代表用户核心兴趣的交互对于生成用户兴趣表征和进行候选项目的预测至关重要。基于经典自注意机制的模型通过在所有项之间执行查询和键的缩放点积计算，在一定程度上实现了对重要项的强调。然而，目前的研究中仍然缺乏明确区分核心兴趣相关交互和噪声交互的方法，以直接消除后者的负面影响。此外，以前大多数模型所作的简化假设是将交互历史视为有序序列，而不考虑每次交互之间的时间间隔。这种方法会导致有效信息的丢失，因为交互之间的时间间隔也是用户行为模式的一部分，应该被包含在用户兴趣表征中。由此可见，现有的序列推荐方法存在诸多缺陷。

技术实现思路

[0006]为了克服现有的序列推荐方法的不足,本专利技术提供一种聚焦于用户核心兴趣的序
列推荐方法，能够显式地区分核心兴趣相关交互和噪声交互，以直接消除后者的负面影响。同时考虑了交互之间的时间间隔以保留有效信息。
[0007]本专利技术的
技术实现思路
包括：
[0008]一种聚焦于用户核心兴趣的序列推荐方法，其步骤包括：
[0009]获取用户与项目的交互序列以及所述交互序列中每个交互行为对应的时间戳；
[0010]结合所述时间戳，获取所述交互序列的嵌入矩阵；
[0011]对所述嵌入矩阵进行自注意力计算，得到每一查询q
i
对于所有键的注意力值概率分布p，并通过设置一缩放指数函数，计算每一查询q
i
的预先定义固定默认概率分布q；
[0012]根据注意力值概率分布p与预先定义固定默认概率分布q的相似性，得到各查询q
i
的活跃性度量；
[0013]基于所述活跃性度量分别计算各键的注意力值，以构建自注意力矩阵；
[0014]依据所述自注意力矩阵，得到所述用户的项目推荐结果。
[0015]进一步地，通过以下步骤获取所述交互序列的嵌入矩阵：
[0016]1)将所述交互序列转化为固定长度为l的检测序列；
[0017]2)基于所述时间戳与所述检测序列，构建时间戳序列；
[0018]3)对于检测序列中的每一个项目，通过一维卷积滤波器映射为向量X
i
，并将各向量X
i
叠加，得到项目嵌入矩阵；
[0019]4)根据所述检测序列中各项目的位置，得到位置嵌入矩阵；
[0020]5)通过计算时间戳序列中各时间戳之间的时间间隔，得到时间间隔嵌入矩阵；
[0021]6)基于所述项目嵌入矩阵、位置嵌入矩阵与时间间隔嵌入矩阵，获取所述交互序列的嵌入矩阵。
[0022]进一步地，通过以下步骤得到时间间隔嵌入矩阵：
[0023]1)获取各时间戳之间的时间间隔中的最短时间间隔；
[0024]2)将各时间间隔除以最短时间间隔，得到个性化时间间隔；
[0025]3)基于个性化时间间隔，构建长度为l
‑
1的时间间隔序列；
[0026]4)在该长度为l
‑
1的时间间隔序列的最右侧填充0至长度为l后，经投影和叠加，得到时间间隔嵌入矩阵。
[0027]进一步地，计算所述相似性的方法包括：使用KL散度进行衡量。
[0028]进一步地，活跃性度量其中K代表键、L
K
×
d为键K的维度，k
j
为键K的第j行向量，μ是控制最近行为重要性的常量。
[0029]进一步地，通过以下步骤构建自注意力矩阵：
[0030]1)基于各查询q
i
的活跃性度量，获取每个键关注的活跃查询；
[0031]2)计算所述活跃查询的自注意力值；
[0032]3)对于不活跃查询，使用预先定义固定默认概率分布q作为自注意力值；
[0033]4)将活跃查询与不活跃查询的自注意力值，按照原始位置重新组合，得到自注意力矩阵。
[0034]进一步地，训练构建自注意力矩阵的自注意力网络时，通过两层前馈神经网络进行参数反馈。
[0035]进一步地，通过以下步骤得到所述用户的项目推荐结果：
[0036]1)通过层归一化方法、残差连接方法和dropout方法对自注意力矩阵进行处理，得到用户兴趣表示；
[0037]2)基于用户兴趣表示与各项目的项目嵌入矩阵，计算用户对各项目的偏好分数；
[0038]3)根据所述偏好分数对各项目进行排序，并将分数最高的若干项目作为项目推荐结果。
[0039]一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。
[0040]一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。
[0041]与现有技术相比，本专利技术的有益效果是：
[0042]1、本专利技术提出了一种新的注意力模型，该模型可以直接和明确地消除不相关项目的影响，从而将注意力更多地集中在与用户兴趣真正相关的项目上。其中，设计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚焦于用户核心兴趣的序列推荐方法，其步骤包括：获取用户与项目的交互序列以及所述交互序列中每个交互行为对应的时间戳；结合所述时间戳，获取所述交互序列的嵌入矩阵；对所述嵌入矩阵进行自注意力计算，得到每一查询q
i
对于所有键的注意力值概率分布p，并通过设置一缩放指数函数，计算每一查询q
i
的预先定义固定默认概率分布q；根据注意力值概率分布p与预先定义固定默认概率分布q的相似性，得到各查询q
i
的活跃性度量；基于所述活跃性度量分别计算各键的注意力值，以构建自注意力矩阵；依据所述自注意力矩阵，得到所述用户的项目推荐结果。2.如权利要求1所述的方法，其特征在于，通过以下步骤获取所述交互序列的嵌入矩阵：1)将所述交互序列转化为固定长度为l的检测序列；2)基于所述时间戳与所述检测序列，构建时间戳序列；3)对于检测序列中的每一个项目，通过一维卷积滤波器映射为向量X
i
，并将各向量X
i
叠加，得到项目嵌入矩阵；4)根据所述检测序列中各项目的位置，得到位置嵌入矩阵；5)通过计算时间戳序列中各时间戳之间的时间间隔，得到时间间隔嵌入矩阵；6)基于所述项目嵌入矩阵、位置嵌入矩阵与时间间隔嵌入矩阵，获取所述交互序列的嵌入矩阵。3.如权利要求2所述的方法，其特征在于，通过以下步骤得到时间间隔嵌入矩阵：1)获取各时间戳之间的时间间隔中的最短时间间隔；2)将各时间间隔除以最短时间间隔，得到个性化时间间隔；3)基于个性化时间间隔，构建长度为l
‑
1的时间间隔序列；4)在该长度为l
‑
1的时间间隔序列的最右侧填充0至长度为l后，经...

【专利技术属性】
技术研发人员：艾正阳，王树鹏，贾思宇，王振宇，王勇，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：