【技术实现步骤摘要】
本专利技术属于图像处理、自然语言处理与人工智能相结合的，具体的说是一种基于图文多模态预训练模型的产品匹配预测方法。
技术介绍
1、时尚搭配的推荐领域是一个融合了机器学习、计算机视觉、自然语言处理等人工智能技术，以分析时尚数据、用户需求和市场趋势，为专业化的时尚搭配建议提供支持。
2、在文献[a review of modern fashion recommender systems]中，详细介绍了当前领域内几种典型运用的时尚单品属性知识提取及属性知识运用方法。其中，polanía和gupte提出了一个神经模型，由两个子网络组成。首先是一个siamese子网络，从一对图像中提取视觉特征。然后是一种度量学习方法，将特征对和辅助线索(颜色信息)映射到时尚兼容性得分。而li等人提出了一种使用基于端到端的可训练系统来融合多模态信号以较好的输出服装搭配度，并通过对原始数据集进行选取、删除、分割等操作来使数据具有一般性。这些方法巧妙地从图像、文本等信息中提取出属性知识，并通过输入网络中进行运算得到匹配(兼容性)得分。然而，以往的方法仅仅考虑单纯依靠上下文与图像模态对属性进行提取，而不对属性进行细粒度的划分。这导致提取出的属性以相同的贡献对匹配结果进行影响，降低了匹配结果的准确性。
3、因此，如何通过引入针对图像与细粒度属性数据的预训练编码模型，来更好的解决在组合各模态数据时导致的数据损失与属性稀疏，是一个值得研究的问题。
技术实现思路
1、本专利技术是为了解决上述现有技术
2、本专利技术为达到上述专利技术目的，采用如下技术方案：
3、本专利技术一种基于图文多模态预训练模型的产品匹配预测方法的特点在于，包括以下步骤：
4、步骤1、构建产品图像数据的预训练图像编码网络，获取产品图像数据的特征编码；
5、步骤1.1、获取第i件产品pi的图像数据xi与第j件产品pj的图像数据xj；
6、步骤1.2、构建与clip模型相同的图像编码网络作为产品的预训练图像编码网络，并加载clip模型的网络参数，从而使用所述预训练图像编码网络对xi与xj进行特征提取，相应得到第i件产品pi的图像特征编码向量和第j件产品pj的图像特征编码向量
7、步骤1.4、通过对和求平均，得到第i件产品pi与第j件产品pj之间的图像聚合特征编码
8、步骤2、构建产品细粒度属性数据的属性对编码网络，包括embedding层、第一多层感知机mlp_1、聚合层、第二多层感知机mlp_2，并用于获取产品属性对数据的特征编码；
9、步骤2.1、第i件产品pi的ni种属性构成的属性集合记为其中，表示第i件产品pi的第ki个细粒度属性；ni表示pi的细粒度属性总个数；
10、第j件产品pj的nj种属性构成的属性集合记为其中，表示第j件产品pj的第kj个细粒度属性，nj表示pj的细粒度属性总个数；
11、步骤2.2、将和作为属性对输入所述属性对编码网络中，并由所述embedding层对两个细粒度属性分别进行嵌入操作，得到第i件产品pi的第ki个嵌入向量和第j件产品pj的第kj个嵌入向量
12、步骤2.5、第一多层感知机mlp_1利用深度为d1的linear层对和进行处理后，得到第i件产品pi的第ki个属性编码与第j件产品pj的第kj个属性编码
13、步骤2.6、所述聚合层对与求取平均值，得到第i件产品pi的第ki个属性与第j件产品pj的第kj个属性之间的平均特征
14、步骤2.7、所述第二多层感知机mlp_2对进行处理，并由最后一层的linear层输出维度为1的贡献度预测值
15、步骤2.8、基于以及属性对的贡献度先验知识，对属性对编码网络进行预训练以更新网络参数，从而得到预训练后的属性对编码网络；
16、步骤2.9、将属性对输入预训练后的属性对编码网络，并由第二多层感知机mlp_2中的倒数第二层的linear层得到属性对的特征编码
17、步骤3、利用式(3)-式(5)的注意力机制对所有属性对的特征编码进行融合，得到pi与pj的细粒度属性对特征编码
18、
19、
20、
21、式(3)-式(5)中，表示属性对关于特征编码的隐特征表示，为隐特征表示的权重矩阵，为隐特征表示的偏置向量，为属性对的注意力得分，为属性对注意力得分的权重矩阵；
22、步骤4、构建多模态特征融合与产品匹配的预测网络，包括拼接层、第三多层感知机mlp_3，用于实现对两产品是否匹配的预测；
23、步骤4.1、所述拼接层将与进行拼接后，得到初始融合特征
24、步骤4.2、所述第三多层感知机mlp_3利用深度为d3的linear层对进行处理，并由mlp_3的最后一层的linear层输出维度为2的中间值ui,j，ui,j再通过一个softmax变换后，得到概率值pi,j＝{negi,j,opti,j}，其中，negi,j表示预测pi与pj之间不匹配的概率，opti,j表示预测pi与pj之间相匹配的概率，且negi,j+opti,j＝1；
25、步骤4.3、选用二元交叉熵bceloss作为预测网络的损失函数，并利用梯度下降法对预测网络进行训练，直到损失函数收敛为止，从而得到训练好的预测网络，用于预测任意两个产品之间的匹配度。
26、本专利技术一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述产品匹配预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
27、本专利技术一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述产品匹配预测方法的步骤。
28、与现有技术相比，本专利技术的有益效果在于：
29、1、本专利技术方法能够有效地利用单品组合的图像与细粒度属性数据，提高产品匹配预测的准确性和泛化性，从而能为用户提供更专业、更个性化的产品匹配推荐服务，满足了用户的多样化需求，克服了现有技术中只关注单一模态数据，忽视另一类模态数据中关于搭配的有用信息，导致搭配推荐效果和可行性不佳的问题。
30、2、本专利技术将细粒度属性组合进行成对的搭配贡献度分析，相比于直接通过图像特征编码进行训练，本专利技术使用的方法提高了对最终匹配度预测的准确性。同时充分使用领域知识指导细粒度属性对编码的预训练，更好的解决了组合各模态时由于数据过滤所导致的数据损失问题。该方法克服了现有技术中由于数据集覆盖范围有限，导致泛化性较差，无法适应复杂多变的搭配场景的问题。
31、3、本专利技术从基于图本文档来自技高网...
【技术保护点】
1.一种基于图文多模态预训练模型的产品匹配预测方法，其特征在于，包括以下步骤：
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述产品匹配预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述产品匹配预测方法的步骤。
【技术特征摘要】
1.一种基于图文多模态预训练模型的产品匹配预测方法，其特征在于，包括以下步骤：
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述产品匹配预测方法的程序，...
【专利技术属性】
技术研发人员：余苏阳，陈昱霖，袁昆，李怡，姜元春，刘冠男，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。