融合多种模态的解离化表征学习方法及装置制造方法及图纸

本发明专利技术公开了一种融合多种模态的解离化表征学习方法及装置，其中，方法包括以下步骤：获取目标的图像信息与文本信息，得到图像非解离化表征和文本非解离化表征；根据图像非解离化表征和文本非解离化表征得到图像表征和文本表征；根据商品表征和文本表征得到刻画用户消费偏好的商品表征和用户偏好表征；根据商品表征和用户偏好表征预测用户是的商品感兴趣度。该方法可以融合图像、文本、关系三种不同模态的数据，利用各模态间的互补性，得到更加精准有效的解离化表征。

【技术实现步骤摘要】
融合多种模态的解离化表征学习方法及装置
本专利技术涉及表征学习
，特别涉及一种融合多种模态的解离化表征学习方法及装置。
技术介绍
表征学习是深度学习的核心任务，其免去了繁琐的特征工程，自动地将样本映射为连续向量空间中的点(称为样本的表征)，为后续的检索、预测等任务提供了极大的便利。解离化被广泛认为是好的表征应当具有的性质，因为解离化带来的鲁棒性与可解释性，能够缩小数据有限的训练环境与纷繁复杂的上线环境之间的鸿沟。解离化旨在将样本形成背后的各方面因素(比如选购一件衣服时所涉及到的价位、颜色、材质等因素)分离，并进一步地编码在表征的各个不同部分。但是当前解离化的表征学习技术主要关注简单的单一模态的数据，比如图像数据，不能有效地应用于现实应用场景下的复杂多模态数据，比如电商场景下商品的图像与文本这两个模态、再加上用户与商品间的关系数据这第三个模态，有待解决。
技术实现思路
本申请是基于专利技术人对以下问题的认识和发现做出的：相关技术中，(1)一种多模态深度学习技术，其提供了用于融合双模态表征的框架，但本文档来自技高网...

【技术保护点】
1.一种融合多种模态的解离化表征学习方法，其特征在于，包括以下步骤：/n获取目标的图像信息与文本信息，得到图像非解离化表征和文本非解离化表征；/n根据所述图像非解离化表征和文本非解离化表征得到图像表征和文本表征；/n根据所述商品表征和所述文本表征得到刻画用户消费偏好的商品表征和用户偏好表征；/n根据所述商品表征和用户偏好表征预测用户是的商品感兴趣度。/n

【技术特征摘要】
1.一种融合多种模态的解离化表征学习方法，其特征在于，包括以下步骤：
获取目标的图像信息与文本信息，得到图像非解离化表征和文本非解离化表征；
根据所述图像非解离化表征和文本非解离化表征得到图像表征和文本表征；
根据所述商品表征和所述文本表征得到刻画用户消费偏好的商品表征和用户偏好表征；
根据所述商品表征和用户偏好表征预测用户是的商品感兴趣度。


2.根据权利要求1所述的方法，其特征在于，所述根据所述图像非解离化表征和文本非解离化表征得到图像表征和文本表征，包括：
对所述图像非解离化表征和文本非解离化表征的任两个不同的分量进行F检验，并惩罚F检验指数，以迫使不同分量对应不同方面的信息；
将两个独立的表征融合为一个统一的表征，并再分别从所述统一的表征还原出输入的图像和文本，得到所述图像表征和所述文本表征。


3.根据权利要求1所述的方法，其特征在于，所述根据所述商品表征得到刻画用户消费偏好的商品表征和用户偏好表征，包括：
以所述商品表征为输入，两个解离化图卷积网络再依次从商品与用户关系和用户与用户关系中推理出所述刻画用户消费偏好的商品表征和用户偏好表征。


4.根据权利要求1所述的方法，其特征在于，所述根据所述商品表征和用户偏好表征预测用户是的商品感兴趣度，包括：
在解离化的所述商品表征和所述用户偏好表征的基础上，通过衡量商品...

【专利技术属性】
技术研发人员：朱文武，王鑫，马坚鑫，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11