基于对比学习的跨模态特征对齐与融合方法技术

本发明专利技术公开一种跨模态特征对齐与融合方法，属于多模态推荐领域。首先，通过构建项目语义图捕捉同一模态下项目之间的语义关系，并在此基础上对整体特征和模态特定特征进行图卷积操作，增强其在该模态下的表达能力。捕获并利用特征之间的潜在信息，缓解模态间不完全匹配的问题。然后，利用对比学习方法在每个模态下对比增强的整体特征与模态特征，促进跨模态的信息传递与互补。通过联合分析不同模态的项目语义图，实现对模态间复杂关系的有效建模。本发明专利技术确保跨模态的语义一致性，从而减少模态融合过程中的冗余和噪音，并提高多模态推荐的准确率。

【技术实现步骤摘要】

本专利技术属于多模态推荐领域，涉及基于对比学习的跨模态特征对齐与融合方法，使用对比学习技术与项目语义图确保跨模态的语义一致性，从而减少模态融合过程中的冗余和噪音，并提高多模态推荐的准确率。

技术介绍

1、推荐系统改变了用户浏览大量信息和产品的方式。这些系统由先进的算法驱动，分析用户偏好和项目属性，通常依赖于隐式交互(如购买和点击)来定制推荐。然而，人类体验本质上是多模态的，涵盖了包括音频、文本和图像在内的多种感官输入。因此，一系列工作着眼于多模态推荐，致力于理解和整合不同模态的数据，以提供更准确和个性化的推荐(chen,j.,zhang,h.,he,x.,nie,l.,liu,w.,chua,t.-s.,2017.attentive collaborativefiltering:multimedia recommendation with item-and component-levelattention.)。

2、在最近的多模态推荐研究中，得益于其强大的特征表达能力和对复杂关系的建模能力，图神经网络被广泛使用。除了应用于传统的用户-项目交互图本文档来自技高网...

【技术保护点】

1.基于对比学习的跨模态特征对齐与融合方法，其特征在于，步骤如下：

【技术特征摘要】

1.基于对比学习的跨模态特征对齐与...

【专利技术属性】
技术研发人员：原旭，齐安格，吴徽南，王嘉强，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：