通过将视觉表示嵌入文本序列进行产品搜索的系统和方法技术方案

一种计算机实现的用于搜索与来自客户的查询相对应的产品的方法。该方法包括：嵌入所述查询以获得查询嵌入；检索包括产品文本和产品图像的产品信息；嵌入所述产品文本以获得产品文本嵌入，嵌入所述产品图像以获得产品图像嵌入，将所述产品文本嵌入和所述产品图像嵌入进行组合以获得产品嵌入，其中所述产品图像嵌入具有与所述产品文本嵌入相同的格式；将所述查询嵌入和所述产品嵌入提供至转换器以确定所述查询和所述产品是否相关；以及当所述查询和所述产品相关时，提供所述产品作为所述查询的搜索结果。的搜索结果。的搜索结果。

【技术实现步骤摘要】
通过将视觉表示嵌入文本序列进行产品搜索的系统和方法
[0001]相关申请的引用
[0002]在本公开的描述中引用和讨论了一些参考文献，其可包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。


[0003]本公开总体上涉及电子商务，具体地，涉及用于通过将视觉表示嵌入到文本序列中来扩展电子商务中的产品搜索引擎的系统和方法。

技术介绍

[0004]在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，专利技术人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。
[0005]在电子商务平台中，客户经常搜索产品数据库以检索与他的搜索查询相匹配的产品。电子商务平台缺乏产品搜索功能会对客户不利，并会降低客户的购物体验。当搜索功能可用时，搜索结果的准确性至关重要，不匹配的搜索结果不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的用于搜索与来自客户的查询相对应的产品的方法，包括：嵌入所述查询以获得查询嵌入；检索包括产品文本和产品图像的产品信息；嵌入所述产品文本以获得产品文本嵌入，嵌入所述产品图像以获得产品图像嵌入，将所述产品文本嵌入和所述产品图像嵌入进行组合以获得产品嵌入，其中所述产品图像嵌入具有与所述产品文本嵌入相同的格式；将所述查询嵌入和所述产品嵌入提供至转换器以确定所述查询和所述产品是否相关；以及当所述查询和所述产品相关时，提供所述产品作为所述查询的搜索结果。2.根据权利要求1所述的方法，其中，所述转换器包括用于处理所述查询嵌入的查询转换器和用于处理所述产品嵌入的产品转换器。3.根据权利要求1所述的方法，其中，所述查询包括查询文本和查询图像，所述查询嵌入包括与所述查询文本相对应的查询文本嵌入和与所述查询图像相对应的查询图像嵌入。4.根据权利要求1所述的方法，其中，所述嵌入所述产品图像包括：对所述产品图像进行归一化以获得归一化的产品图像；将所述归一化的产品图像分割成多个网格；将所述多个网格连接成网格序列；以及从所述网格序列中提取产品图像特征以获得每个网格序列的网格特征元素。5.根据权利要求4所述的方法，其中，所述嵌入所述产品图像还包括：将位置向量添加到每个网格特征元素，所述位置向量表示所述网格在所述网格序列中的位置；将片段向量添加到所述每个网格特征元素，所述片段向量表示所述产品图像的标识；将掩码向量添加到所述每个网格特征元素，其中所述掩码向量的值为0或1，当所述掩码向量中的一个掩码向量的值为0时，将所述网格特征元素中对应的网格特征元素的值转换为0；以及定义类别标识，所述类别标识表示所述产品在电商平台中的类别，其中所述产品嵌入包括所述网格特征元素、所述位置向量、所述片段向量、所述掩码向量和所述类别标识。6.根据权利要求5所述的方法，其中，大约10～15％的所述掩码向量具有0值。7.根据权利要求4所述的方法，其中，所述从所述网格序列中提取产品图像特征包括对每个网格执行卷积神经网络CNN，所述转换器是来自转换器的预训练双向编码器表示BERT。8.一种用于搜索与来自客户的查询相对应的产品的系统，其中，所述系统包括计算设备，所述计算设备包括处理器和存储计算机可执行代码的存储设备，所述计算机可执行代码在所述处理器处执行时被配置为：嵌入所述查询以获得查询嵌入；检索包括产品文本和产品图像的产品信息；嵌入所述产品文本以获得产品文本嵌入，嵌入所述产品图像以获得产品图像嵌入，将所述产品文本嵌入和所述产品图像嵌入进行组合以获得产品嵌入...

【专利技术属性】
技术研发人员：张弛，张雪莹，蒋云江，樊晓川，商玥，肖云，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：