基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质，包括：定义系统内项目的类别，收集并处理系统中序列数据，得到处理后的序列数据；构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；将所述处理后的序列数据作为样本训练序列推荐模型；模型部署及预测，所述模型部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。本发明专利技术通过引入持久记忆机制，使得模型可以关注到整个任务中的全局跨样本知识，学习到任务的一般性知识，对于提升推荐效果有重大作用。作用。作用。

【技术实现步骤摘要】
基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质


[0001]本专利技术属于监督深度学习、推荐系统的
，具体设计一种基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质。

技术介绍

[0002]近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界以及世界各国政府关注的焦点。在序列推荐领域，基于自我注意力机制的方法已经取得了重大进展，但是这些方法大多数只关注了当前输入序列的信息，忽略的整个任务中跨样本的背景知识。因此，如何在序列推荐的过程中结合注意力机制和任务中一般性的知识是序列推荐函待解决的难题。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于注意力机制和持久记忆的序列推荐方法，通过引入持久记忆机制，使得模型可以关注到整个任务中的全局跨样本知识，学习到任务的一般性知识，对于提升推荐效果有重大作用
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种基于注意力机制和持久记忆的序列推荐方法，包括下述步骤：
[0006]定义系统推荐项目的类别；收集并处理系统中序列数据，得到处理后的序列数据；
[0007]构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；
[0008]将所述处理后的序列数据作为样本训练序列推荐模型；所述训练序列推荐模型，具体为：
[0009]将所述样本输入嵌入生成模块，嵌入生成模块输出的结果与位置信息生成模块生成的位置信息进行向量串联操作，得到当前输入样本的嵌入矩阵；
[0010]将所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；
[0011]将所述样本的特征向量输入预测模块，得到推荐的预测结果，计算所述预测结果与真实结果之间的交叉熵作为训练模型的目标函数，使用随机梯度下降方法训练序列推荐模型，最后得到训练好的序列推荐模型；
[0012]将所述训练好的序列推荐模型进行部署及预测，所述的序列推荐模型进行部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。
[0013]优选的，所述类别包括电影、音乐和广告。
[0014]优选的，所述样本训练序列推荐模型中将第i个训练样本为x
i
。
[0015]优选的，所述得到当前输入样本的嵌入矩阵的计算公式为：
[0016][0017]其中，表示当前输入样本的嵌入矩阵，x
i1
、x
i2
、
…
、x
in
表示当前样本中第1、2、n个项目，M表示的是可学习的嵌入变换矩阵，P1、P2、
…
、P
n
表示的是可学习的位置变换矩阵。
[0018]优选的，所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；具体为：
[0019]首先，将嵌入矩阵经过多个不同的线性变换分别得到查询矩阵Q、键矩阵K和值矩阵V，具体公式为：
[0020][0021]Q＝qW
Q
[0022]K＝kW
K
[0023]V＝vW
V
[0024]其中，W
Q
、W
K
、W
V
表示线性运算矩阵；
[0025]然后，将K、V矩阵分别与持久记忆矩阵M
K
、M
V
进行串联操作得到K
*
、V
*
矩阵，计算公式为：
[0026][0027][0028]最后，对Q、K
*
、V
*
进行注意力加权，并进行归一化和全连接线性操作，最终得到特征向量，具体公式为：
[0029][0030][0031][0032][0033]其中，S为注意力加权后的结果，为归一化结果，z为全连接线性操作后的结果，为特征向量，为缩放因子，W1、W2、b1、b2均是可自适应学习的参数；LN()表示层归一化运算；
[0034]此外，在基于持久记忆的自我注意力模块中的注意力计算之后和前馈计算之后采用了递归式的跳跃连接。
[0035]优选的，所述得到推荐的预测结果是特征向量在预测模块中经过单层的全连接层和Softmax操作得到每个项目的得分，取最高得分的项目作为当前序列的下一个项目的预测结果。
[0036]优选的，在训练过程中还包括采用梯度下降法进行迭代优化。
[0037]本专利技术又一方面提供了一种基于注意力机制和持久记忆的序列推荐系统，应用于所述的基于注意力机制和持久记忆的序列推荐方法，包括预处理模块、模型构建模块、模型训练模块以及模型预测模块；
[0038]所述预处理模块，用于定义系统内项目的类别；收集并处理系统中序列数据，得到处理后的序列数据；
[0039]所述模型构建模块，用于构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；
[0040]所述模型训练模块，用于将所述处理后的序列数据作为样本训练序列推荐模型；所述训练序列推荐模型，具体为：
[0041]将所述样本输入嵌入生成模块，嵌入生成模块输出的结果与位置信息生成模块生成的位置信息进行向量串联操作，得到当前输入样本的嵌入矩阵；
[0042]将所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；
[0043]将所述样本的特征向量输入预测模块，得到推荐的预测结果，计算所述预测结果与真实结果之间的交叉熵作为训练模型的目标函数，使用随机梯度下降方法训练序列推荐模型，最后得到训练好的序列推荐模型；
[0044]所述模型预测模块，用于将所述训练好的序列推荐模型进行部署及预测，所述的序列推荐模型进行部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。
[0045]本专利技术又一方面提供了一种电子设备，其特征在于，所述电子设备包括：
[0046]至少一个处理器；以及，
[0047]与所述至少一个处理器通信连接的存储器；其中，
[0048]所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于注意力机制和持久记忆的序列推荐方法。
[0049]本专利技术再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于注意力机制和持久记忆的序列推荐方法。
[0050]本专利技术与现有技术相比，具有如下优点和有益效果：
[0051]1.本专利技术提出的基于注意力机制和持久记忆的序列推荐方法在利用了自注意力机制处理序列数据，对数据的建模能力强；该序列推荐方法通过引入持久记忆机制，使得模型可以关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制和持久记忆的序列推荐方法，其特征在于，包括下述步骤：定义系统推荐项目的类别；收集并处理系统中序列数据，得到处理后的序列数据；构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；将所述处理后的序列数据作为样本训练序列推荐模型；所述训练序列推荐模型，具体为：将所述样本输入嵌入生成模块，嵌入生成模块输出的结果与位置信息生成模块生成的位置信息进行向量串联操作，得到当前输入样本的嵌入矩阵；将所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；将所述样本的特征向量输入预测模块，得到推荐的预测结果，计算所述预测结果与真实结果之间的交叉熵作为训练模型的目标函数，使用随机梯度下降方法训练序列推荐模型，最后得到训练好的序列推荐模型；将所述训练好的序列推荐模型进行部署及预测，所述的序列推荐模型进行部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。2.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述类别包括电影、音乐和广告。3.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述样本训练序列推荐模型中将第i个训练样本为x
i
。4.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述得到当前输入样本的嵌入矩阵的计算公式为：其中，表示当前输入样本的嵌入矩阵，x
i1
、x
i2
、
…
、x
in
表示当前样本中第1、2、n个项目，M表示的是可学习的嵌入变换矩阵，P1、P2、...、P
n
表示的是可学习的位置变换矩阵。5.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；具体为：首先，将嵌入矩阵经过多个不同的线性变换分别得到查询矩阵Q、键矩阵K和值矩阵V，具体公式为：Q＝qW
Q
K＝kW
K
V＝vW
V
其中，W
Q
、W
K
、W
V
表示线性运算矩阵；然后，将K、V矩阵分别与持久记忆矩阵M
K
、M
V
进行串联操作得到K
*
、V
*
矩阵，计算公式为：矩阵，计算公式为：最后，对Q、K
*
、V
*
进行注意力加权，并进行归一化...

【专利技术属性】
技术研发人员：吴庆耀，陈健，赖吕龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：