【技术实现步骤摘要】
本公开内容总体上涉及数据库系统和数据处理，并且更具体地涉及根据不同模态的全局嵌入学习。
技术介绍
1、在线市场的平台通常允许卖方提供列出以待售的项目(item)的描述。项目可以指具有一组特定的独特属性的产品。当潜在买方发起产品搜索时，在线市场的平台(例如，搜索平台)识别与产品搜索匹配的项目列表的集合，并且传送可供销售的项目列表以呈现给潜在买方。浏览器可以向卖方呈现用于输入与列表相关的属性的数字表单。在一些情况下，常规的文本描述可能缺少词语或关键术语。因此，在线市场的平台可能返回与期望列表不相关或分类不同的列表。
技术实现思路
1、描述了一种方法。该方法可以包括：经由与在线市场相关联的第一用户界面接收检索针对项目的列表的多模态请求，该多模态请求至少包括与该项目相关联的第一图像和第一自然语言文本；由一个或更多个处理器至少部分地基于将第一图像和第一自然语言文本输入至机器学习模型来生成项目嵌入，其中，机器学习模型至少部分地基于掩蔽训练标题的一部分并且使用训练图像来重建训练标题的该部分而被训练，并且机器学习模型至少部分地基于掩蔽训练图像的一部分并且使用训练标题来重建训练图像的该部分而被训练；通过机器学习模型生成与包括在多模态请求中的第一图像和第一自然语言文本相关联的第一向量；以及经由与在线市场相关联的第一用户界面，至少部分地基于第一向量和与多个列表相关联的多个向量中的第二向量之间的相似性度量，使得呈现针对所检索的项目的一个或更多个列表。
2、描述了一种装置。该装置可以包括处理器，
3、描述了另一装置。该装置可以包括：用于经由与在线市场相关联的第一用户界面接收检索针对项目的列表的多模态请求的元件，该多模态请求至少包括与该项目相关联的第一图像和第一自然语言文本；用于由一个或更多个处理器至少部分地基于将第一图像和第一自然语言文本输入至机器学习模型来生成项目嵌入的元件，其中，机器学习模型至少部分地基于掩蔽训练标题的一部分并且使用训练图像来重建训练标题的该部分而被训练，并且机器学习模型至少部分地基于掩蔽训练图像的一部分并且使用训练标题来重建训练图像的该部分而被训练；用于通过机器学习模型生成与包括在多模态请求中的第一图像和第一自然语言文本相关联的第一向量的元件；以及用于经由与在线市场相关联的第一用户界面、至少部分地基于第一向量和与多个列表相关联的多个向量中的第二向量之间的相似性度量、使得呈现针对所检索的项目的一个或更多个列表的元件。
4、描述了一种存储代码的非暂态计算机可读介质。该代码可以包括指令，所述指令可以由处理器执行以进行以下处理：经由与在线市场相关联的第一用户界面接收检索针对项目的列表的多模态请求，该多模态请求至少包括与该项目相关联的第一图像和第一自然语言文本；由一个或更多个处理器至少部分地基于将第一图像和第一自然语言文本输入至机器学习模型来生成项目嵌入，其中，机器学习模型至少部分地基于掩蔽训练标题的一部分并且使用训练图像来重建训练标题的该部分而被训练，并且机器学习模型至少部分地基于掩蔽训练图像的一部分并且使用训练标题来重建训练图像的该部分而被训练；通过机器学习模型生成与包括在多模态请求中的第一图像和第一自然语言文本相关联的第一向量；以及经由与在线市场相关联的第一用户界面，至少部分地基于第一向量和与多个列表相关联的多个向量中的第二向量之间的相似性度量，使得呈现针对所检索的项目的一个或更多个列表。
5、在本文描述的方法、装置和非暂态计算机可读介质的一些示例中，训练机器学习模型可以包括用于进行以下处理的操作、特征、元件或指令：掩蔽训练图像的一部分，通过机器学习模型基于掩蔽训练图像的该部分和训练标题来生成针对训练图像的预测部分；以及基于训练图像的预测部分生成预测列表类别。
6、在本文描述的方法、装置和非暂态计算机可读介质的一些示例中，训练机器学习模型可以包括用于进行以下处理的操作、特征、元件或指令：掩蔽训练标题的一部分，通过机器学习模型基于掩蔽训练标题的该部分和训练图像来生成针对标题的预测部分；以及基于针对标题的预测部分生成预测列表类别。
7、在一些示例中，本文描述的方法、装置和非暂态计算机可读介质可以包括用于进行以下处理的操作、特征、元件或指令：通过机器学习模型确定第一向量和与多个类别的集合相关联的多个向量的集合之间的相似性度量；以及通过机器学习模型基于第一向量和由机器学习模型分类为与第一类别相关联的一个或更多个向量之间的相似性度量将第一向量与第一类别相关联。
8、本文描述的方法、装置和非暂态计算机可读介质的一些示例还可以包括用于以下处理的操作、特征、元件或指令：通过机器学习模型生成与包括在多模态查询中的第二图像和第二自然语言文本相关联的第二向量；通过机器学习模型将第二向量与第一类别相关联；以及将第二向量与包括第一向量的多个向量的集合进行比较，其中，可以基于第一向量和第二向量满足相似性度量，将第一向量与第一类别相关联。
9、在本文描述的方法、装置和非暂态计算机可读介质的一些示例中，使得呈现针对项目的一个或更多个列表可以包括用于进行以下处理的操作、特征、元件或指令：经由与在线市场相关联的第二用户界面使得呈现来自第一类别的针对项目的一个或更多个列表，其中，一个或更多个列表包括可能与第一图像不同的第二图像、与第一自然语言文本不同的第二自然语言文本或者这两者。
10、本文描述的方法、装置和非暂态计算机可读介质的一些示例还可以包括用于进行以下处理的操作、特征、元件或指令：将重建的图像的该部分与重建的标题的该部分进行比较；以及基于重建的图像的该部分与重建的标题的该部分相关联，使用重建的图像和重建的标题对针对项目的列表进行分类。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中，训练所述机器学习模型包括：
3.根据权利要求1所述的计算机实现的方法，其中，训练所述机器学习模型包括：
4.根据权利要求1所述的计算机实现的方法，还包括：
5.根据权利要求4所述的计算机实现的方法，还包括：
6.根据权利要求1所述的计算机实现的方法，其中，使得呈现针对所述项目的所述一个或更多个列表包括：
7.根据权利要求1所述的计算机实现的方法，还包括：
8.一种装置，包括：
9.根据权利要求8所述的装置，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以使所述装置：
10.根据权利要求8所述的装置，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以使所述装置：
11.根据权利要求8所述的装置，其中，所述指令还能够由所述处理器执行以使所述装置：
12.根据权利要求11所述的装置，其中，所述指令还能够由所述处理器执行以使所述装置：
13.根据权
14.根据权利要求8所述的装置，其中，所述指令还能够由所述处理器执行以使所述装置：
15.一种存储代码的非暂态计算机可读介质，所述代码包括指令，所述指令能够由处理器执行以进行以下处理：
16.根据权利要求15所述的非暂态计算机可读介质，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以进行以下处理：
17.根据权利要求15所述的非暂态计算机可读介质，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以进行以下处理：
18.根据权利要求15所述的非暂态计算机可读介质，其中，所述指令还能够由所述处理器执行以进行以下处理：
19.根据权利要求18所述的非暂态计算机可读介质，其中，所述指令还能够由所述处理器执行以进行以下处理：
20.根据权利要求15所述的非暂态计算机可读介质，其中，用于使得呈现针对所述项目的所述一个或更多个列表的指令能够由所述处理器执行以进行以下处理：
...【技术特征摘要】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中，训练所述机器学习模型包括：
3.根据权利要求1所述的计算机实现的方法，其中，训练所述机器学习模型包括：
4.根据权利要求1所述的计算机实现的方法，还包括：
5.根据权利要求4所述的计算机实现的方法，还包括：
6.根据权利要求1所述的计算机实现的方法，其中，使得呈现针对所述项目的所述一个或更多个列表包括：
7.根据权利要求1所述的计算机实现的方法，还包括：
8.一种装置，包括：
9.根据权利要求8所述的装置，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以使所述装置：
10.根据权利要求8所述的装置，其中，用于训练所述机器学习模型的指令能够由所述处理器执行以使所述装置：
11.根据权利要求8所述的装置，其中，所述指令还能够由所述处理器执行以使所述装置：
12.根据权利要求11所述的装置，其中，所述指令还能够由所述处理器执行以使所述装置：
13.根...
【专利技术属性】
技术研发人员：廖宝昊，三吉卡·赫瓦维塔拉纳，迈克尔·达米安·科齐埃尔斯基，弗里德里希·莱昂纳德·达尔曼，沙赫拉姆·哈季维，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。