对比学习增强的双流模型推荐系统及算法技术方案

本发明专利技术公开了对比学习增强的双流模型推荐系统及算法，能够获取用户长期偏好兴趣，且能够将用户的长期和短期偏好结合，利用隐式偏好捕捉用户的动态偏好数据，从而更好地提升推荐的准确性，包括：首先利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣；然后利用GCN学习探究物品转换过程中的空间结构的特征信息；最后将Transformer和GCN获得的特征信息使用位置编码和全局图编码来组合，并且同时利用对比学习方法来进行模型的表征学习辅助。的表征学习辅助。的表征学习辅助。

【技术实现步骤摘要】
对比学习增强的双流模型推荐系统及算法


[0001]本专利技术涉及推荐系统
，具体涉及对比学习增强的双流模型推荐系统及算法。

技术介绍

[0002]基于会话的推荐算法(Session
‑
based Recommendation)是指在用户未登录状态下，仅仅依赖匿名会话进行用户下一个行为预测的一种算法，在许多领域(如电商、短视频、直播等)有着重要的作用。推荐系统是有效的信息过滤工具，由于互联网接入的增加、个性化趋势和计算机用户习惯的改变，这种工具非常普遍。尽管现有的推荐系统成功地产生了不错的推荐，但是它们仍然面临着诸如准确性、可伸缩性和冷启动等挑战。在过去的几年中，深度学习，即在许多复杂任务中使用的最先进的机器学习技术，已经被用于推荐系统以提高推荐质量。目前，许多在线供应商为他们的系统配备了推荐引擎，大多数互联网用户在日常活动中利用这些服务，如看书、听音乐和购物。在典型的推荐系统中，术语项目是指系统向其用户推荐的产品或服务。为用户生成推荐项目列表或预测用户对特定项目的喜好程度需要推荐系统分析志同道合的用户过去的偏好或从关于项目的描述信息中获益。近年来，由于计算能力和大数据存储设施的增加，人工神经网络已经开始引起人们的极大关注。研究者成功地建立和训练了深层神经网络模型(辛顿等人)。它促进了作为计算机科学新兴领域的深度学习。目前，图像处理、对象识别、自然语言处理和语音识别中的许多最新技术都将深度神经网络作为主要工具。深度学习技术的潜力也鼓励研究人员在推荐任务中采用深度架构。推荐系统面临的四大挑战：准确性、数据稀疏、冷启动、可伸缩性。
[0003]推荐系统中基于会话的推荐方式的学习探索一直被广泛研究，相关技术公开了SR
‑
GNN算法(Session
‑
based recommendation with graph neural networks)，主要用于探究物品之间复杂联系和生成准确的物品特征嵌入。对于基于会话的推荐，SR
‑
GNN首先从历史会话序列构造有向图。基于会话图，GNN能够捕获物品的转换，并相应地生成准确的项目嵌入向量，这是传统顺序方法如基于mc和基于RNN的方法难以实现的。基于精确的物品嵌入向量，SR
‑
GNN构建了更可靠的会话表示，可以推断下一个点击物品的概率。首先，将所有会话序列建模为有向会话图，其中每个会话序列可以被视为一个子图。然后依次处理每个会话图，通过门控图神经网络得到每个会话图中所有节点的嵌入。然后，我们将每个会话表示为用户在该会话中的全局偏好和当前兴趣的组合，其中这些全局和局部会话嵌入都由节点的嵌入组成。最后，对于每个会话，预测每个物品被下一次点击的概率。SR
‑
GNN将分离的会话序列建模为图结构数据，并使用图神经网络来捕获复杂的物品关系。它为基于会话的推荐场景中的建模提供了一个新颖的视角。为了生成基于会话的推荐，SR
‑
GNN不依赖于用户表示，而是使用会话嵌入，它可以仅仅根据每个会话中涉及的物品嵌入来得到推荐结果。
[0004]为了更加准确地建模物品的转换模式，图神经网络被用来建模一个会话。但是基于图神经网络的方式大多数地在领接物品之间传递信息，因此会忽视没有直接连接的物品信息。多层gnn随后被用于在项目之间不直接连接的情况下传播信息，而这会轻易的造成过
拟合。相关技术还公开了SGNN
‑
HN算法，提出了拥有高速路网络的星图神经网络来进行会话推荐。首先利用星图神经网络(SGNN)对某一时段的复杂过渡模式进行建模，在门控图神经网络的基础上增加一个星形节点来考虑非相邻项，从而解决了远距离信息传播问题。然后，为了避免图神经网络的过拟合问题，利用高速公路网络(HN)动态选择SGNN之前和之后的物品向量，这有助于探索物品之间的复杂过渡关系。最后，我们在一个正在进行的会话中聚精会神地聚合由SGNN生成的物品向量，从而表示用户对物品的偏好来进行推荐。在基于会话的推荐中，第一个考虑会话中项目之间的远距离关系来进行信息传播的图神经网络。提出一种星图神经网络(SGNN)来模拟正在进行的会话中物品之间的复杂过渡关系，并应用一种高速公路网络(HN)来处理图神经网络中存在的过拟合问题。
[0005]如今的基于会话的推荐系统成功地捕捉了用户的短期决策过程。但它们没有捕捉到用户长期和短期兴趣对基于会话的推荐的相对重要性的差异。即使在相同的会话环境下，具有不同购物偏好的用户也可能喜欢不同的下一个项目。因此，如何更好地捕捉个人用户的动态消费动机至关重要。因此相关技术提出了DCN
‑
SR算法(Dynamic Co
‑
attention Network for Session
‑
based Recommendation)，假设用户长期交互历史中事件的相对重要性取决于他们短期交互历史中的事件，反之亦然。以在当前会话中搜索过相机的用户为例：在决定下一步推荐什么时，用户与电子产品相关的长期互动可能应该比与服装相关的互动更受重视。相反，如果用户过去的互动表现出对某品牌的强烈兴趣，那么在当前会话中，与该品牌相关的互动在预测下一个商品时可能比其他互动更重要。但是，除了过去和现在的相互作用之间的关系之外，还有更多的东西需要建模。不同的用户操作，例如，点击、添加到购物车或购买，提供不同类型的关于用户兴趣的信息，因此，应该触发不同的后续操作。例如，点击相机可能表明当前的建议不令人满意，因此应该推荐替代产品；将商品添加到购物车中可能会显示出用户对该商品的强烈消费动机；虽然重复购买是很重要的，涉及到相机的购买行为可能应该被推荐补充的物品。设计了一个基于会话的动态协同注意网络模型，该模型能够整合用户的长期和短期偏好。设计了上下文门控循环单元CGRU，以整合不同类型的短期用户行为，从而更好地估计用户的下一个消费兴趣。发现DCN
‑
SR始终符合或超过了最新的技术水平，特别是在短会话和活跃用户方面。
[0006]相关技术还公开了NISER
‑
GNN算法(Normalized Item and Session Representations with Graph Neural Networks)，基于会话的推荐(SR)模型的目标是利用会话中来自过去操作(例如，项目/产品点击)的信息来推荐用户接下来可能会点击的项目。最近有研究表明，会话中的条目交互序列可以建模为图结构数据，以更好地解释复杂的条目转换。图神经网络GNN可以学习有用的表示这样的会话图，并已被证明改善顺序模型，如循环神经网络。然而，注意到，这些基于GNN的推荐模型存在流行偏倚：模型偏向于推荐流行的项目，而不能推荐相关的长尾项目(不太流行或不太频繁的项目)。因此，在实际的在线设置中，这些模型对于每天到达的不太受欢迎的新商品表现不佳。证明了这个问题在某种程度上与学习项目的大小或范数以及会话图表示(嵌入向量)有关。提出了一个训练程序，通过使用规范化表示来缓解这个问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.对比学习增强的双流模型推荐算法，其特征在于，包括：首先利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣；然后利用GCN学习探究物品转换过程中的空间结构的特征信息；最后将Transformer和GCN获得的特征信息使用位置编码和全局图编码来组合，并且同时利用对比学习方法来进行模型的表征学习辅助。2.根据权利要求1所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Encoder结构包括Self
‑
Attention的模块，数据经过Self
‑
Attention模块得到加权之后的特征向量Z，特征向量Z即Attention(Q，K，V)：其中，Q为Query矩阵，K为Key矩阵，V为Value矩阵，为尺度标度，d
k
为Query矩阵和Key矩阵的维度。3.根据权利要求2所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Encoder结构还包括Feed Forward Neural Network模块，Feed Forward Neural Network模块的全连接包括第一层的ReLU激活函数和第二层的线性激活函数FFN(Z)＝max(0，ZW1+b1)W2+b2，其中，W1为权重矩阵1，W2为权重矩阵2，b1为偏置值，b2为偏置值，max为取最大函数。4.根据权利要求3所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Decoder的结构包括Encoder
‑
Decoder Attention模块，用于计算输入和输出的权值，即当前翻译和编码的特征向量之间的关系。5.根据权利要求1所述的对比学习增强的双流模型推荐算法，其特征在于，所述GCN公式表示为：其中，x
i(l+1)
为第l+1层输出，σ为非线性激活函数，c
ij
为节点i的度d
i
和节点j的度d
j
乘积开根号，x
j(l)
为第l层输出，w
(l)
为第l层权重，b
(l)
为第l层偏置值，j为属于N
i
的集合，N
i
为节点i的邻居节点。6.根据权利要求5所述的对...

【专利技术属性】
技术研发人员：万中威，陈广勇，姚桐，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：