基于图文多模态预训练模型的产品匹配预测方法技术

本发明专利技术公开了一种基于图文多模态预训练模型的产品匹配预测方法，包括：1.使用预训练图像编码网络，获取产品图像数据的特征编码；2.使用预训练的属性对编码网络，获取产品属性数据的特征编码；3.使用注意力机制融合产品的属性对特征编码；4.使用多模态特征融合与产品匹配的预测网络，融合图像与属性两种模态的特征编码数据，并基于融合后的特征编码数据，进行产品匹配度的预测。本发明专利技术通过使用两种预训练模型，充分利用产品在其专业领域上的先验知识，获取更加精确的特征编码数据，从而能够得到更加准确的产品匹配度预测结果。

【技术实现步骤摘要】

本专利技术属于图像处理、自然语言处理与人工智能相结合的，具体的说是一种基于图文多模态预训练模型的产品匹配预测方法。

技术介绍

1、时尚搭配的推荐领域是一个融合了机器学习、计算机视觉、自然语言处理等人工智能技术，以分析时尚数据、用户需求和市场趋势，为专业化的时尚搭配建议提供支持。

2、在文献[a review of modern fashion recommender systems]中，详细介绍了当前领域内几种典型运用的时尚单品属性知识提取及属性知识运用方法。其中，polanía和gupte提出了一个神经模型，由两个子网络组成。首先是一个siamese子网络，从一对图像中提取视觉特征。然后是一种度量学习方法，将特征对和辅助线索(颜色信息)映射到时尚兼容性得分。而li等人提出了一种使用基于端到端的可训练系统来融合多模态信号以较好的输出服装搭配度，并通过对原始数据集进行选取、删除、分割等操作来使数据具有一般性。这些方法巧妙地从图像、文本等信息中提取出属性知识，并通过输入网络中进行运算得到匹配(兼容性)得分。然而，以往的方法仅仅考虑单纯依靠上下文与图本文档来自技高网...

【技术保护点】

1.一种基于图文多模态预训练模型的产品匹配预测方法，其特征在于，包括以下步骤：

2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述产品匹配预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述产品匹配预测方法的步骤。

【技术特征摘要】

1.一种基于图文多模态预训练模型的产品匹配预测方法，其特征在于，包括以下步骤：

2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述产品匹配预测方法的程序，...

【专利技术属性】
技术研发人员：余苏阳，陈昱霖，袁昆，李怡，姜元春，刘冠男，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：