【技术实现步骤摘要】
本专利技术涉及信息推荐技术，尤其涉及一种结合多级对比学习的多模态物品推荐方法。
技术介绍
1、传统的多模态推荐方法通常基于图神经网络(gnn)在每个模态下进行用户和物品的向量表示学习，例如mgcn和lattice等。尽管这些模型在多模态推荐任务上展现出优秀的性能，但仍然广泛面临着三个局限性：1)稀疏监督信号问题，传统模型以稀少的交互标签作为监督信号时会难以学习到准确的用户物品表示；2)多模态噪声问题，不同模态下的物品往往带有一定的噪声信号；3)粗粒度的多模态混合问题，传统工作混合多模态信息时往往采用线性混合方式，表示能力受限。因此传统的多模态推荐工作具有很大的局限性。
技术实现思路
1、本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种结合多级对比学习的多模态物品推荐方法。
2、本专利技术解决其技术问题所采用的技术方案是：一种结合多级对比学习的多模态物品推荐方法，包括以下步骤：
3、1)构建物品-物品图；
4、通过物品在每个模态下的特征相似性，构建物品-物品相似性图；
5、具体如下：
6、计算每个模态下物品特征的余弦相似度并进行top-k筛选得到物品-物品相似性矩阵并对其进行正则化得到最终的稀疏邻接矩阵作为该模态下的物品-物品相似性图；
7、物品特征的余弦相似度
8、
9、其中，ei,m为物品i在模态m下的向量表示；
10、
11、2)获得每个模态下的物
12、将所构建的物品物品相似性图利用light-gcn编码得到物品在该模态下的表示：
13、
14、同时将用户-物品交互信息(即用户对于物品的历史点击行为)视为id模态，对用户-物品交互图单独使用light-gcn编码，得到用户和物品的id模态下表示；
15、
16、
17、其中，为物品i在模态m下通过light-gcn编码得到的第l层向量表示，为用户u在id模态下通过light-gcn编码得到的第l层向量表示；为物品i在id模态下通过light-gcn编码得到的第l层向量表示nu为用户u相邻的物品集合，ni为物品i相邻的用户集合；
18、3)在每个模态内进行物品对比学习，获得物品在多个模态下的向量表示；
19、3.1)对全体物品进行k-means聚类，找出其类别中心的特征，将类别中心作为类别的原型认为原型其代表了该类别最为重要和核心的信息，也具有相对较少的噪声；
20、3.2)在每一个类中，在物品和原型之间进行对比学习，让每一个物品表示靠近其所属原型，远离其他不相关的原型。
21、由此可以实现物品靠近纯净特征表示，远离噪声表示的目的，最后可以在每个模态下得到如下的对比学习损失：
22、
23、其中，τ为对比学习损失中的温度系数；
24、通过优化各个模态下的原型对比学习损失，一方面可以使得物品的多模态特征减少噪声信息，另一方面也使得其在不依赖监督信号的基础上进行了表示学习的优化，缓解了稀疏监督信号问题。
25、4)根据物品在多个模态下的向量表示进行多模态混合后，获得了混合后的物品表示；
26、4.1)先通过融合用户偏好的注意力机制，得到物品混合后的模态特征：
27、
28、
29、其中，为物品i在模态m下的加权分数，qt，w，b为可训练的注意力向量，权重参数，偏置；ei,m为物品i在模态m下的向量表示，eu为用户u在id模态下的向量表示。
30、4.2)利用每个模态与混合后的模态进行对比学习，对混合后的结果进行非线性的优化；
31、其中对比学习以不同模态的相同物品作为正例对，不同物品作为负例对，让物品表示靠近其正例，远离其负例，实现表示学习优化；具体而言，首先对每个模态的物品特征和混合后的物品特征利用一层隐藏层的mlp进行空间映射，映射至同一个隐空间：
32、ei_p＝w(2)σ(w(1)ei+b(1))+b(2)
33、ei,v_p＝w(2)σ(w(1)ei,v+b(1))+b(2)
34、ei,t_p＝w(2)σ(w(1)ei,t+b(1))+b(2)
35、ei,id_p＝w(2)σ(w(1)ei,id+b(1))+b(2)
36、随后让按照前述正负例对定义方式进行对比学习，其中视觉模态和混合模态的对比损失如下：
37、
38、同理可以获得其他模态和混合模态的对比损失，并通过求和的方式得到总的模态间对比损失；
39、
40、5)通过计算用户的id表示与物品的混合表示之间的内积得到预测分数，并根据预测结果进行推荐；
41、
42、对多模态推荐任务，损失函数通过交叉熵进行定义：
43、
44、其中o＝{(u,i,j)∣(u,i)∈o+,(u,j)∈o-}是包含实际存在的交互o+和不存在的交互o-的集合；σ是非线性激活函数。通过将bpr损失与多级对比学习损失结合，我们可以得到最终的优化目标：
45、
46、其中θ是模型参数集合，α和β是决定模态内原型对比学习和模态间多模混合对比学习权值的参数，λ是控制l2正则项的参数。
47、本专利技术产生的有益效果是：
48、本专利技术方法通过在模态内级别和模态间级别分别设计不同的对比学习任务，以自监督的方式缓解稀疏监督信号问题，同时对多模态特征进行降噪，并以非线性方式对多模态表示进行充分混合，从而有效提高多模态推荐的准确率。
本文档来自技高网...【技术保护点】
1.一种结合多级对比学习的多模态物品推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤1)中，通过物品在每个模态下的特征相似性，构建物品-物品相似性图具体如下：
3.根据权利要求2所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤1)中，
4.根据权利要求2所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤2)中，具体如下：
5.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤2)中，具体如下：
6.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤4)中，具体如下：
7.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤5)中，
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述的结合多级对比学习的多模态物品推荐方法的步骤。>
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一所述的结合多级对比学习的多模态物品推荐方法。
...【技术特征摘要】
1.一种结合多级对比学习的多模态物品推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤1)中，通过物品在每个模态下的特征相似性，构建物品-物品相似性图具体如下：
3.根据权利要求2所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤1)中，
4.根据权利要求2所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤2)中，具体如下：
5.根据权利要求1所述的结合多级对比学习的多模态物品推荐方法，其特征在于，所述步骤2)中，具体如下：
【专利技术属性】
技术研发人员：魏巍，邹定，范士轩，谢文峰，陈当阳，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。