基于自注意力自编码器的序列推荐方法技术

本发明专利技术提供的基于自注意力自编码器的序列推荐方法，包括：获取用户商品序列和评分矩阵，并对商品序列进行预处理；使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；使用自编码器对评分矩阵重建，计算用户喜爱度指数；结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。本发明专利技术提供的基于自注意力自编码器的序列推荐方法，利用词嵌入的方法将用户的物品浏览序列转化为低维稠密向量，结合位置编码输入自注意力模型中，再利用自编码器对评分矩阵的拟合和重建，计算用户喜爱度指数，最后得到最终的预测得分，为用户做出推荐，该方法同时考虑用户长、短期偏好等因素，有效地提升了推荐精度。

Sequence recommendation method based on self attention self encoder

【技术实现步骤摘要】
基于自注意力自编码器的序列推荐方法
本专利技术涉及序列推荐
，更具体的，涉及一种基于自注意力自编码器的序列推荐方法。
技术介绍
推荐系统是一种典型的主动帮助用户找到他们需要的信息的解决方式。一般的推荐系统主要根据用户的个人基本信息、历史交互数据，甚至是利用所有用户的这部分数据，将其相结合，对用户的兴趣进行建模，帮助用户在海量的数据中找到他们可能感兴趣的信息或者商品。但在实际的用户场景中，所有用户的全部信息是一个很难获得的数据，在加上用户的需求是动态变化的，其历史数据信息反映的是用户的长期偏好，而用户的短期偏好通过历史记录的数据是很难反馈的。而基于序列的推荐系统可以在没有过多的历史记录的条件下，只利用用户浏览物品的序列信息，对用户下一个浏览的物品做出预测，推荐出用户可能感兴趣的物品对象。现有的序列推荐算法主要包括两种方法：一是从一阶马尔科夫链的角度出发进行分析；二是将序列推荐看成是一个经典的seq2seq问题。例如，分解个性化马尔科夫链模型(FPMC)结合马尔科夫链和矩阵分解以实现个性化推荐。而GRU4Rec模型使用了基于GRU的s本文档来自技高网...

【技术保护点】
1.基于自注意力自编码器的序列推荐方法，其特征在于，包括以下步骤：/nS1：获取用户商品序列和评分矩阵，并对商品序列进行预处理；/nS2：使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；/nS3：使用自编码器对评分矩阵重建，计算用户喜爱度指数；/nS4：结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。/n

【技术特征摘要】
1.基于自注意力自编码器的序列推荐方法，其特征在于，包括以下步骤：
S1：获取用户商品序列和评分矩阵，并对商品序列进行预处理；
S2：使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；
S3：使用自编码器对评分矩阵重建，计算用户喜爱度指数；
S4：结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。


2.根据权利要求1所述的基于自注意力自编码器的序列推荐方法，其特征在于，在所述步骤S1中，对商品序列进行预处理预处理的过程具体为：
将用户u浏览的商品序列Su拆成输入序列(S1,S2,...,S|su-1|)和输出序列(S2,S3,...,S|su|)，其中，输入序列作为自注意力模型编码部分的输入，输出序列作为自注意力模型解码部分的输入；
设定超参数为n的商品序列最长长度，若用户商品序列超过最长长度，则对其进行截断，保留前n个商品序列；若用户原始商品序列小于最长长度，则对其左侧进行填补，最后得到长度为n的商品序列(S1,S2,...,Sn)，完成商品序列的预处理。


3.根据权利要求2所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S2具体包括以下步骤：
S21：利用网络嵌入方法训练商品序列，将用户浏览的商品序列转化为低维稠密向量，结合位置编码方式得到模型的输入向量；
S22：采用多头自注意力机制对商品序列的输入向量进行建模，构建自注意力模型；
S23：将自注意力模型加上一个两层的前馈神经网络进行数据拟合，对用户与商品的关联性得分进行预测。


4.根据权利要求3所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S21具体为：
利用网络嵌入方法对商品进行词向量学习，得到商品序列的嵌入矩阵M∈R|I|*d，其中|I|为商品的总数，d为嵌入向量的维度，M的每一行表示一个商品对应的向量；
使用位置编码方式，记录商品序列相对位置信息，具体计算公式为：
PE(pos,2i)＝sin(pos/100002i/d)
PE(pos,2i+1)＝cos(pos/100002i/d)
其中，pos表示商品序列第几个商品，d表示嵌入向量的维度，2i和2i+1表示pos为偶数或奇数对应的公式；通过三角函数的方式得到商品序列的位置向量P∈Rn*d；将商品序列的嵌入矩阵和位置向量行拼接，得到输入向量具体为：



其中：Msi和Psi(i＝1,...,n)分别表示商品Si的词向量和位置向量。


5.根据权利要求4所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S22具体为：
首先，单个自注意力机制将得到的输入向量进行权重线性转化，同时对线性转化得到的values进行加权求和，并归一化到0至1之间，具体计算公式为：












其中，Q表示查询queries，K表示键keys，V表示值values，WQ、WK、WV∈Rd*d分别代表Q、K、V对应的随机初始化的权重，d表示模型的维度；然后，初始化h组不同的Q、K、V，得到h组单个自注意力机制，拼接为h头自注意力机制，具体计算公式为：
MultiHead(Q,K,V)＝Concat(head1...

【专利技术属性】
技术研发人员：谭军，杜建伟，钟鸣，林鑫，凌洁静，
申请(专利权)人：纪信智达广州信息技术有限公司，
类型：发明
国别省市：广东;44