基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质，包括：定义系统内项目的类别，收集并处理系统中序列数据，得到处理后的序列数据；构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；将所述处理后的序列数据作为样本训练序列推荐模型；模型部署及预测，所述模型部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。本发明专利技术通过引入持久记忆机制，使得模型可以关注到整个任务中的全局跨样本知识，学习到任务的一般性知识，对于提升推荐效果有重大作用。作用。作用。

【技术实现步骤摘要】
基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质


[0001]本专利技术属于监督深度学习、推荐系统的
，具体设计一种基于注意力机制和持久记忆的序列推荐方法、系统、设备及介质。

技术介绍

[0002]近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界以及世界各国政府关注的焦点。在序列推荐领域，基于自我注意力机制的方法已经取得了重大进展，但是这些方法大多数只关注了当前输入序列的信息，忽略的整个任务中跨样本的背景知识。因此，如何在序列推荐的过程中结合注意力机制和任务中一般性的知识是序列推荐函待解决的难题。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于注意力机制和持久记忆的序列推荐方法，通过引入持久记忆机制，使得模型可以关注到整个任务中的全局跨样本知识，学习到任务的一般性知识，对于提升推荐效果有重大作用
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种基于注意力机制和持久记忆的序列推荐方法，包括下述步骤：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制和持久记忆的序列推荐方法，其特征在于，包括下述步骤：定义系统推荐项目的类别；收集并处理系统中序列数据，得到处理后的序列数据；构建序列推荐模型，所述构建序列推荐模型包括嵌入生成模块、位置信息生成模块、基于持久记忆的自我注意力模块和预测模块；将所述处理后的序列数据作为样本训练序列推荐模型；所述训练序列推荐模型，具体为：将所述样本输入嵌入生成模块，嵌入生成模块输出的结果与位置信息生成模块生成的位置信息进行向量串联操作，得到当前输入样本的嵌入矩阵；将所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；将所述样本的特征向量输入预测模块，得到推荐的预测结果，计算所述预测结果与真实结果之间的交叉熵作为训练模型的目标函数，使用随机梯度下降方法训练序列推荐模型，最后得到训练好的序列推荐模型；将所述训练好的序列推荐模型进行部署及预测，所述的序列推荐模型进行部署及预测是将目标序列数据输入训练好的序列推荐模型，根据模型输出结果预测下一个项目。2.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述类别包括电影、音乐和广告。3.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述样本训练序列推荐模型中将第i个训练样本为x
i
。4.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述得到当前输入样本的嵌入矩阵的计算公式为：其中，表示当前输入样本的嵌入矩阵，x
i1
、x
i2
、
…
、x
in
表示当前样本中第1、2、n个项目，M表示的是可学习的嵌入变换矩阵，P1、P2、...、P
n
表示的是可学习的位置变换矩阵。5.根据权利要求1所述基于注意力机制和持久记忆的序列推荐方法，其特征在于，所述样本的嵌入矩阵输入基于持久记忆的自我注意力模块，得到样本的特征向量；具体为：首先，将嵌入矩阵经过多个不同的线性变换分别得到查询矩阵Q、键矩阵K和值矩阵V，具体公式为：Q＝qW
Q
K＝kW
K
V＝vW
V
其中，W
Q
、W
K
、W
V
表示线性运算矩阵；然后，将K、V矩阵分别与持久记忆矩阵M
K
、M
V
进行串联操作得到K
*
、V
*
矩阵，计算公式为：矩阵，计算公式为：最后，对Q、K
*
、V
*
进行注意力加权，并进行归一化...

【专利技术属性】
技术研发人员：吴庆耀，陈健，赖吕龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：