【技术实现步骤摘要】
本专利技术涉及序列化推荐系统领域，尤其涉及一种基于长用户行为的序列化推荐方法、装置及存储介质。
技术介绍
1、序列化推荐系统根据用户历史行为动态地为用户推荐下一个可能交互的商品，在许多网络应用中起到了重要的作用，例如电商购物、短视频推荐等。这些序列化推荐系统通过采用不同的神经网络架构建模用户行为来学习用户交互历史中商品之间的依赖关系。现有的推荐系统通常使用标识符表示商品，使用随机初始化商品标识符的向量表示作为商品的向量表征，并使用用户与商品之间的交互信号去优化这些向量表示。然而，现实世界中的商品是长尾的，这导致现有的方法存在启动问题，并倾向将流行商品作为推荐结果。商品信息可以提供用户和商品相关性的文本匹配信号，有利于缓解冷启动问题和流行偏置问题，因此用基于商品内容建模商品，对于构建更加完备的推荐系统是至关重要的。
2、“wang-cheng kang，and julian mcauley.2018.self-attentive sequentialrecommendation.in 2018ieee international conference on data mining(icdm).”中，sasrec是基于自注意力机制学习用户交互历史中商品之间依赖关系的模型，在此之前，基于马尔可夫链的方法在稀疏场景表现好但无法学习更长的用户行为，rnn建模的方法可以解决这一问题但需要大量的训练数据。sasrec考虑到二者的限制，使用自注意力机制，通过分配权重试图从用户历史中识别出哪些商品更相关，并使用它们来预测下一个商品。模
3、“yueqi xie，peilin zhou，and sunghun kim.decoupled side informationfusion for sequential recommendation.proceedings of the 45th internationalacm sigir conference on research and development in informationretrieval.2022.”中，dif-sr考虑到利用商品的辅助信息丰富商品表示，而不是使用商品标识符作为商品的唯一表示。如何将辅助信息有效地融合到推荐过程中是一个具有挑战的问题。dif-sr将融合过程从嵌入层转移到了自注意力层，独立地计算注意力，并将注意力矩阵融合实现自注意力计算的解耦。但dif-sr的缺陷在于建模过程中缺乏辅助信息和商品本身的直接交互。同时标识符与辅助信息依然基于随机初始化向量，因此对于冷启动场景，依然难以作出准确地推荐。
4、“zheng yuan，fajie yuan，yu song，youhua li，junchen fu，fei yang，yunzhupan，and yongxin ni.2023.where to go next for recommender systems id-vs.modality-based recommender models revisited”中，morec进一步使用文本模态和图片模态作为商品表示，探究了二者替代商品标识符作为商品表示的潜力。将商品的标题文本或商品的图片作为商品标识，利用预训练语言模型或视觉编码模型编码商品表示向量。这样的建模方式利用预训练模型的内部知识大幅改善了针对低频商品的推荐准确率。但是morec在高频商品推荐场景下准确率不如标识符的建模方式，没能提出一个在任何场景都可以有效的模型。其次标识符和其他模态表示是可以互补的，然而morec在这方面的结合失败了，只在一定程度上探索了使用其他模态表示商品的可行性。
5、本专利技术所要解决的技术问题是：如何设计一种新的序列化推荐系统，能够有效地改善冷启动问题和流行偏置问题，学习出可靠的商品的向量表征，在高频与低频场景都可以有很高的商品推荐的准确性。
技术实现思路
1、本专利技术目的就是提出一种基于长用户行为的序列化推荐方法，能够改善冷启动问题和流行偏置问题，在高频与低频都能做出准确的商品推荐。为了在低频场景也能学习出可靠的用户交互历史和商品向量表征，基于商品内容文本建模用户交互历史和商品，利用当前预训练语言模型潜在的能力，改善低频场景向量表示训练不充分的情况。同时为了编码长用户行为序列，改进语言模型的编码器，对自注意力方法采取注意力稀疏化和剪枝。通过对比学习的方式训练语言模型，优化向量空间，使其具有用户偏好感知能力，更加适用于序列化推荐任务。
2、本专利技术的技术方案如下：一种基于长用户行为的序列化推荐方法，基于现有语言模型改进，得到一种新的语言模型；所述新的语言模型由编码器和解码器组成；所述编码器和解码器均基于标准的transformer结构改进，二者的初始参数通过预训练现有语言模型的权重初始化；所述编码器的自注意力方式采用注意力的稀疏化和剪枝；所述编码器在编码过程对不同段输入值进行独立编码得到各段编码向量；所述解码器在解码过程中对各段编码向量重新分配权重且融合；
3、将用户交互历史序列分为多个用户交互历史子序列后，输入至编码器编码得到用户交互历史编码向量表示，经解码器解码后得到用户交互历史的向量表示；与用户交互历史对应的下一时刻真实交互商品经编码器、解码器后，获得商品向量表示；
4、选取负样本商品，其向量表示同用户交互历史编码向量表示、真实交互商品向量表示组成向量空间，计算用户交互历史同正样本商品、负样本商品的相关性，根据相关性得到语言模型的预测商品和真实交互商品之间的损失值，根据交叉熵损失函数来对比学习训练语言模型参数，优化语言模型的向量空间，拉近向量空间中的用户交互历史和正样本商品向量表示，分离用户交互历史与负样本商品向量表示，最终得到训练完成的语言模型，用于预测下一推荐商品。
5、所述用户交互历史和与其对应的下一时刻真实交互商品获取如下：收集用户消费记录作为用户商品交互记录，每条用户商品交互记录包括用户和商品交互序列；商品交互序列中的每个商品包括商品属性和用户交互商品时间；将用户商品交互记录，按照用户交互商品时间排序，前t-1时刻的用户交互商品作为用户交互历史，第t时刻的商品作为与其对应的下一时刻真实交互商品；所述负样本商品为批内负样本或随机采样该用户未交互过的商品。
6、所述编码器的输入值为商品文本和用户交互历史文本；
7、所述商品文本为基于商品属性的商品文本化表示；对于每个商品，采用如下文本表示：
8、x(v)＝id:v(id),name:v(name),…,<att>k:v(<a本文档来自技高网...
【技术保护点】
1.一种基于长用户行为的序列化推荐方法，其特征在于，基于现有语言模型改进，得到一新的语言模型；所述新的语言模型包括编码器、解码器和损失函数；所述编码器和解码器均基于标准的Transformer结构改进，二者的初始参数通过预训练现有语言模型的权重初始化；所述编码器的自注意力方式采用注意力的稀疏化和剪枝；所述编码器在编码过程对不同段输入值进行独立编码得到各段编码向量；所述解码器在解码过程中对各段编码向量重新分配权重且融合；
2.根据权利要求1所述的基于长用户行为的序列化推荐方法，其特征在于，所述用户交互历史和与其对应的下一时刻真实交互商品获取如下：收集用户消费记录作为用户商品交互记录，每条用户商品交互记录包括用户和商品交互序列；商品交互序列中的每个商品包括商品属性和用户交互商品时间；将用户商品交互记录，按照用户交互商品时间排序，前t-1时刻的用户交互商品作为用户交互历史，第t时刻的商品作为与其对应的下一时刻真实交互商品；所述负样本商品为批内负样本或随机采样该用户未交互过的商品。
3.根据权利要求1或2所述的基于长用户行为的序列化推荐方法，其特征在于，所述编码器
4.根据权利要求3所述的基于长用户行为的序列化推荐方法，其特征在于，所述商品向量表示获得过程如下：
5.根据权利要求3所述的基于长用户行为的序列化推荐方法，其特征在于，所述用户交互历史编码向量表示获得过程如下：
6.根据权利要求5所述的基于长用户行为的序列化推荐方法，其特征在于，所述用户交互历史的向量表示获得过程如下，用户交互历史编码向量表示输入至解码器，解码器通过交叉注意力机制学习为每个用户交互历史子序列重新计算自注意力分数分配权重，最终加权每段用户交互子序列，得到用户交互历史的向量表示
7.根据权利要求6所述的基于长用户行为的序列化推荐方法，其特征在于，所述相关性计算如下，用户交互历史向量表示和正负例商品向量表示作点积计算，通过归一化指数函数获得最终的相关性分数：
8.根据权利要求7所述的基于长用户行为的序列化推荐方法，其特征在于，所述损失值计算如下，采用交叉熵损失函数计算预测商品和用户第t时刻真实交互商品v*间的损失值：
9.一种基于长用户行为的序列化推荐装置，其特征在于，包括：
10.一种存储介质，其特征在于，存储计算机程序，所述计算机程序可被处理器执行以实现如权利要求1-8中任一项所述的序列化推荐方法。
...【技术特征摘要】
1.一种基于长用户行为的序列化推荐方法，其特征在于，基于现有语言模型改进，得到一新的语言模型；所述新的语言模型包括编码器、解码器和损失函数；所述编码器和解码器均基于标准的transformer结构改进，二者的初始参数通过预训练现有语言模型的权重初始化；所述编码器的自注意力方式采用注意力的稀疏化和剪枝；所述编码器在编码过程对不同段输入值进行独立编码得到各段编码向量；所述解码器在解码过程中对各段编码向量重新分配权重且融合；
2.根据权利要求1所述的基于长用户行为的序列化推荐方法，其特征在于，所述用户交互历史和与其对应的下一时刻真实交互商品获取如下：收集用户消费记录作为用户商品交互记录，每条用户商品交互记录包括用户和商品交互序列；商品交互序列中的每个商品包括商品属性和用户交互商品时间；将用户商品交互记录，按照用户交互商品时间排序，前t-1时刻的用户交互商品作为用户交互历史，第t时刻的商品作为与其对应的下一时刻真实交互商品；所述负样本商品为批内负样本或随机采样该用户未交互过的商品。
3.根据权利要求1或2所述的基于长用户行为的序列化推荐方法，其特征在于，所述编码器的输入值为商品文本和用户交互历史文本；
4.根据权利要求3所述的基于...
【专利技术属性】
技术研发人员：刘正皓，梅森，李晓华，谷峪，于戈，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。