【技术实现步骤摘要】
多模态的商品搜索方法及装置、存储介质、计算机设备
[0001]本申请涉及数据搜索
，尤其是涉及到一种多模态的商品搜索方法及装置、存储介质、计算机设备。
技术介绍
[0002]随着互联网和计算机技术的不断发展，电子商务平台也越来越成熟，成为了广大用户购物、外卖的重要途径。搜索召回阶段是整个电子商务平台搜索的基础，召回深度与质量决定了排序以及整个搜索引擎的上限。以外卖平台为例，由于餐饮商户商品的非标品属性、早期业务发展过快导致商户商品上线没有统一的命名规范、相同商品的差异性表述等因素，导致商品名称文本的指代含义并不统一，对基于文本的关键词匹配、标签匹配造成了很大的挑战。目前电子商务平台的搜索准确性有待提高。
技术实现思路
[0003]有鉴于此，本申请提供了一种多模态的商品搜索方法及装置、存储介质、计算机设备，在进行搜索召回时充分利用了商品的多模态信息，使得搜索召回阶段不再依赖于商品的名称等文本信息，解决了商品命名不规范、不统一导致搜索召回效果差的问题，提升了搜索召回的准确性，提高了用户体验。
[00...
【技术保护点】
【技术特征摘要】
1.一种多模态的商品搜索方法，其特征在于，所述方法包括：响应于商品搜索指令，获取所述商品搜索指令对应的商品搜索词，并确定所述商品搜索词对应的搜索语义特征；获取候选商品对应的候选商品图文融合特征，其中，所述候选商品图文融合特征通过预训练的特征融合模型对所述候选商品对应的候选商品文本和候选商品图片进行融合预测获得；通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度，并基于所述相似度对所述候选商品进行排序，确定搜索结果。2.根据权利要求1所述的方法，其特征在于，所述获取候选商品对应的候选商品图文融合特征之前，所述方法还包括：采样第一样本商品对应的第一样本商品文本和第一样本商品图片，并基于所述第一样本商品文本和所述第一样本商品图片确定商品图文正样本；采样第二样本商品对应的第二样本商品文本以及第三样本商品对应的第三样本商品图片，并基于所述第二样本商品文本和所述第三样本商品图片确定商品图文负样本，其中，所述第二样本商品与所述第三样本商品所属的类目不同；通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型。3.根据权利要求2所述的方法，其特征在于，所述初始图文融合模型包括文本特征提取模块、图片特征提取模块以及图文匹配模块；所述文本特征提取模块用于提取文本特征；所述图片特征提取模块用于按预设图片切割规则进行图片切割，提取切割得到的多个子图片各自的子图片特征，并将所述子图片特征拼接为图片特征；所述图文匹配模块用于基于文本特征和图片特征进行图文匹配；所述通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型，包括：通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，并基于训练后的文本特征提取模块、训练后的图片特征提取模块以及预设特征拼接模块，确定所述图文融合模型，其中，所述预设特征拼接模块用于拼接文本特征和图片特征。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度之前，所述方法还包括：提取第一历史搜索数据中的第一样本搜索词和第一点击商品，获取所述第一点击商品对应的第一点击商品图文融合特征，并基于所述第一样本搜索词和所述第一点击商品图文融合特征构建商品匹配正样本；提取第二历史搜索数据中的第二样本搜索词和第二点击商品，确定与所述第二点击商品的类目不同的第三点击商品，获取所述第三点击商品对应的第三点击商品图文融合特征，并基于所述第二样本搜索词和所述第三点击商品图文融合特征构建商品匹配负样本；通过所述商品匹配正样本和所述商品匹配负样本对初始商品匹配模型进行训练，得到所述商品匹配模型。5.根据权利要求4所述的方法，其...
【专利技术属性】
技术研发人员：彭振，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。