一种基于Transformer模型的图卷积兴趣解耦方法技术

本发明专利技术公开了一种基于Transformer模型的图卷积兴趣解耦方法。传统的推荐算法多采用图卷积的方法，考虑了用户与其邻居节点之间信息的传递，但是生成的用户特征表示是单一的，忽略了用户的交互是由多方面兴趣产生的，即隐向量相互纠缠问题，导致推荐的性能不能达到最优。本发明专利技术提出了一种新型的细粒度级别兴趣解耦方法，首先使用图卷积的方法研究用户在不同兴趣空间之内的特征，再通过Tranformer模型探究用户不同兴趣之间的内在联系，最后将不同兴趣之间的特征融合得到兴趣解耦后用户特征表达。针对上述方法，我们利用公开的社交网络、电商平台以及点评网站的数据集分别进行训练、测试以优化模型的性能，验证该方法的有效性。验证该方法的有效性。验证该方法的有效性。

【技术实现步骤摘要】
一种基于Transformer模型的图卷积兴趣解耦方法


[0001]本专利技术涉及协同过滤技术，具体为基于模型的协同过滤算法；本专利技术涉及基于图卷积的表示学习方法，具体为LightGCN算法；本专利技术涉及基于Transformer的表示学习方法；本专利技术还涉及数据挖掘与深度学习等相关技术。

技术介绍

[0002]互联网的出现和普及给用户带来了大量的信息，满足了用户在信息时代对信息的需求，但随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了，这就是所谓的信息过载问题。
[0003]解决信息过载问题一个非常重要的办法便是推荐系统，它是根据用户的信息需求、兴趣等，将用户感兴趣的信息、物品等推荐给用户的个性化信息推荐系统。目前在推荐系统中使用最为广泛的方法是协同过滤(Collaborative Filtering，简称CF)思想，即分析用户
‑
物品的历史交互记录，来预测用户的下一个可能交互的物品，充分利用已有的用户交互数据找出最能满足用户兴趣的内容。而在CF的思想中最常用到的是基于模型的协同过滤(Model
‑
based Collaborative Filtering，简称MCF)算法，它的核心思想是用户和物品都具有一定的特征，影响着用户的选择；用户之所以选择某一个商品，是因为用户特征与物品特征相互匹配。基于这种思想，在模型建立的过程中，如果没有显性的用户/物品特征可以提取，那我们就要根据已有的偏好数据，去挖掘潜在的用户/物品特征，进行模型的训练以及用户
‑
物品的匹配和推荐。
[0004]学习高质量的用户和物品表示一直是MCF的关键，传统的MCF推荐算法多采用图卷积(Graph Convolutional Network，简称GCN)的方法来探索目标节点与其高阶邻居节点之间的信息传递，但是生成的用户特征表示是单一的，忽略了用户的交互是由多方面兴趣产生的，即隐向量相互纠缠问题。而目前已有关于兴趣解耦的研究中，如新加坡国立大学计算机学院的Disentangled Graph Collaborative Filtering(简称DGCF)，只考虑了不同兴趣特征之间的独立性建模，而没有考虑不同兴趣特征之间的内在联系，即兼容性，都会导致推荐的性能不能达到最优。
[0005]Transformer模型是在2017年由Google团队提出的，最开始它的出现是为了解决自然语言处理(Natural language Processing，简称NLP)方面的问题，如语言建模、机器翻译等。Transformer模型中核心模块就是自注意力机制(Self
‑
attention)。在NLP任务中，其作用是通过研究局部特征与全局特征的依赖关系来表示局部特征。例如：
‘
The animal didn
’
t cross the street because it was tired
’
一句中，对于词向量
‘
it
’
，如果不考虑其位置编码信息，即与全局特征之间的依赖程度，那就无法判断在这句话中
‘
it
’
代表的是
‘
animal
’
还是
‘
street
’
，所以Transformer模型可以将位置编码信息加入到局部特征表示中，解决这一问题。目前，Transformer模型的应用也从NLP领域拓展到了计算机视觉。例如：计算机视觉中的目标检测任务的
‘
End to End Object Detection With Transformer
(DETR)
’
、视频分类任务的
‘
Vision Transformer(VIT)
’
等。2020年华南理工大学和京东提出的
‘
Multiplex Behavioral Relation Learning for Recommendation via Memory Augmented Transformer Network(MATN)
’
中将Transformer模型应用到了推荐系统的领域之中，探索用户不同行为之中的依赖性。
[0006]综上所述，目前已有的基于图神经网络的方法大多数只能产生统一的表示，很少以细粒度级别来研究用户多个兴趣所产生的表示。而现有少数的兴趣解耦方法只关注到了不同兴趣之间的独立性，没有考虑到兴趣之间的内在联系，即兼容性。所以导致推荐的性能不能达到最优。
[0007]本专利技术正是由此入手，提出了一种基于Transformer模型的图卷积兴趣解耦方法。

技术实现思路

[0008]现有的推荐算法通常使用图神经网络的方法进行用户和物品的特征表示学习，然而产生的用户特征表示是单一的，忽略了用户的交互是由多方面兴趣产生的。用户在兴趣1的驱使下购买了键盘，在兴趣2的驱使下购买了鼠标，在兴趣3的驱使下购买了香水，在兴趣4的驱使下购买了口红。显然，仅使用单一的用户特征不足以描述所有兴趣，我们将以细粒度级别的图神经网络探究用户在不同兴趣下的特征表示。同时从上述举例也可以看出，四个不同兴趣之间并不是相互独立的关系，兴趣1与兴趣2之间存在一定的内在联系，即兼容性。同理，兴趣3与兴趣4之间也存在一定的内在联系。所以，我们将使用Transformer模型，在每一个兴趣下的特征中加入所对应其它兴趣的位置信息，即考虑了不同兴趣之间的兼容性。
[0009]为了探究在不同兴趣下用户的特征以及不同兴趣之间特征的兼容性，本专利技术公开了一种基于Transformer模型的图卷积兴趣解耦方法。整体框架如图1所示。该方法使用的数据集均来自于学术界和工业界公开数据集(社交网络：Gowalla，电商平台：Amazon
‑
book，点评网站：Yelp2018)。该方法包括四个模块，分别为映射模块，多兴趣空间GCN模块，基于Transformer兴趣兼容性模块，门控融合模块。输入为用户与物品的历史交互，首先将其视为二部图的结构，把用户和物品视为节点，历史交互视为用户节点与物品之间的无向边，图中的每一个节点都有自身的特征向量。在映射模块中，要将交互图映射到不同的兴趣空间，虽然不同兴趣空间下的图拓扑结构是相同的，但是同一节点在不同兴趣空间下的特征表示已经不同。在多兴趣空间GCN模块中，我们使用路由机制在不同的兴趣空间中迭代更新我们的邻接矩阵，使得不同空间下的邻接矩阵变得不同，而邻接值则利用自身节点与其一阶邻居之间的亲和力进行更新。此时，不同空间下的图拓扑结构已经不同，我们使用LightGCN算法将不同空间下的用户与物品特征进行更新，使得在空间下的用户与物品的特征与某一兴趣所驱使下的交互息息相关。在基于Transformer兴趣兼容性模块中，我们将研究不同兴趣空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer模型的图卷积兴趣解耦方法；其特征在于：包括以下步骤：S1、数据预处理：获取数据集，包括用户ID，物品ID，以及用户
‑
物品交互的标签；数据集中训练集和测试集正样本比例为4:1；训练集中正负样本的比例为1:1；S2、模型输入并映射至不同兴趣空间：将用户ID、物品ID以及历史交互记录分别转化为图模型中的节点、边信息，并为每一个节点初始化特征向量；通过全连接层将图结构映射至不同的兴趣空间，使得相同节点在不同的空间下特征表示不同；S3、多兴趣GCN：使用路由机制在不同的兴趣空间中迭代更新邻接矩阵，使得不同空间下的邻接矩阵变得不同，而邻接值则利用自身节点与其一阶邻居之间的亲和力进行更新；此时，不同空间下的图拓扑结构已经不同，我们使用LightGCN算法将不同空间下的用户与物品特征进行更新，使得在空间下的用户与物品的特征与某一兴趣所驱使下的交互息息相关；S4、Transformer兴趣兼容性：为研究不同兴趣空间之间的关联性，将某一空间下的节点特征视为局部特征，将其余空间下对应的节点特征视为全局特征，通过Transformer模型生成注意力值来更新每一个空间下的节点特征；S5、门控融合：将不同兴趣空间下的节点特征融合为单一特征，此时的节点中包含着将兴趣解耦后的特征信息，同时也包含着不同兴趣之间存在兼容性的特征信息；S6、优化方法和损失函数：损失函数由两部分组成，一部分为推荐预测使用的BPR损失函数以及由初始化参数组成的L2正则化项，另一部分是为保障不同兴趣空间趋于正交化的距离关联性函数，两者联合优化；S7、生成推荐列表：得到预测的用户
‑
物品交互得分后，针对每一个用户，对所有物品根据评分进行降序排序，将前N个物品生成一个列表推荐给用户。2.根据权利要求1所述的一种基于Transformer模型的图卷积兴趣解耦方法，其特征在于；把用户
‑
物品交互记录以隐反馈的方式做记录：即用户和物品有过交互，标签记为1，记为正样本，反之为0，记为负样本，如果数据集的交互是评分形式，可把评分过的物品，并且5分制评分大于等于4的标签记为1，记为正样本，其余为0，记为负样本；针对每一个用户，训练集和测试集的正样本比例为4:1，训练集中的正负样本比例为1:1。3.根据权利要求1所述的一种基于Transformer模型的图卷积兴趣解耦方法，其特征在于；读取数据集中所有的用户和物品以及其交互历史，将其转化为无向图结构中G＝(V,E)，其中V＝v1,v2...v
M
...v
M+N
代表节点信息，M、N分别代表用户和物品总数量，E为用户与物品的历史交互的边信息；通过Xavier初始化为每一个节点随机生成特征向量，X
i
∈R
d
，i＝1，2...M+N，R表示矩阵或向量，向量维度d设置为64；通过全连接层将图结构映射到不同的兴趣空间中其中W
k
、b
k
分别代表第k个兴趣空间下的权重矩阵和偏差向量，使用Xavier初始化生成，W
k
∈R
d*d
，b
k
∈R
d
；激活函数使用Relu函数，X＝X1，X2...X
M+N
；Y
k
代表在第k个兴趣空间下全部节点的特征向量,k＝1,2,3,4。4.根据权利要求1所述的一种基于Transformer模型的图卷积兴趣解耦方法，其特征在于：设置多兴趣GCN的层数L＝0，1,2，以及每一层路由机制迭代次数t＝0，1，2；每一个兴趣
空间的初始邻接矩阵是相同的，均为用户与物品的交互值，存在历史交互为1，无交互则为0；即A是根据输入交互数据生成的邻接矩阵，A∈R
(M+N)*(M+N)
；则代表第k个兴趣空间下第t次迭代算法更新后的邻接矩阵；在路由机制迭代中，首先使用softmax函数获得各空间下的兴趣分布，公式为各空间下的兴趣分布，公式为代表在邻接矩阵中用户u和物品i交互值；然后利用LightGCN算法，通过各空间下不同的归一化邻接矩阵更新节点特征，具体公式为接矩阵更新节点特征，具体公式为为邻接矩阵对应的度矩阵，代表第t次迭代后第k个特征空...

【专利技术属性】
技术研发人员：简萌，王拓，毋立芳，王掌权，石戈，相叶，李尊，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：