双向搜索方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种双向搜索方法、装置及电子设备，该方法包括：获取待搜索数据；通过多模态模型对待搜索数据进行特征提取，得到待搜索数据的数据特征；其中，多模态模型包括视觉特征提取器和文字特征提取器；基于数据特征查找与待搜索数据对应的目标数据；目标数据与待搜索数据的数据类型相同或不同；数据类型包括图片类型和文字类型。本发明专利技术可以有效提高菜肴数据的利用率，同时也可显著提高用户体验。

【技术实现步骤摘要】
双向搜索方法、装置及电子设备
本专利技术涉及深度学习
，尤其是涉及一种双向搜索方法、装置及电子设备。
技术介绍
随着互联网技术的发展，众多垂直类美食分享网站出现在大众视野，一般而言，垂直类美食分享网站中积累了大量的菜谱信息，并为其搭配相应的菜品图片。目前，用户可基于菜肴的菜品图片搜索相应的菜谱信息，然而这种单向搜索菜谱信息方式无法充分利用美食分享网站中数据，也即美食分享网站中数据的利用率较低，同时也限制了用户的搜索方式，在一定程度上影响了用户体验。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种双向搜索方法、装置及电子设备，可以有效提高菜肴数据的利用率，同时也可显著提高用户体验。第一方面，本专利技术实施例提供了一种双向搜索方法，包括：获取待搜索数据；通过多模态模型对所述待搜索数据进行特征提取，得到所述待搜索数据的数据特征；其中，所述多模态模型包括视觉特征提取器和文字特征提取器；基于所述数据特征查找与所述待搜索数据对应的目标数据；所述目标数据与所述待搜索数据的数据类型相同或不同；所述数据类型包括图片类型和文本文档来自技高网...

【技术保护点】
1.一种双向搜索方法，其特征在于，包括：/n获取待搜索数据；/n通过多模态模型对所述待搜索数据进行特征提取，得到所述待搜索数据的数据特征；其中，所述多模态模型包括视觉特征提取器和文字特征提取器；/n基于所述数据特征查找与所述待搜索数据对应的目标数据；所述目标数据与所述待搜索数据的数据类型相同或不同；所述数据类型包括图片类型和文字类型。/n

【技术特征摘要】
1.一种双向搜索方法，其特征在于，包括：
获取待搜索数据；
通过多模态模型对所述待搜索数据进行特征提取，得到所述待搜索数据的数据特征；其中，所述多模态模型包括视觉特征提取器和文字特征提取器；
基于所述数据特征查找与所述待搜索数据对应的目标数据；所述目标数据与所述待搜索数据的数据类型相同或不同；所述数据类型包括图片类型和文字类型。


2.根据权利要求1所述的方法，其特征在于，所述获取待搜索数据的步骤，包括：
接收用户输入的饮食数据；其中，所述饮食数据的数据类型包括图片类型或文字类型；
如果所述饮食数据的数据类型包括所述图片类型，对所述图片类型的饮食数据进行颜色转换处理和/或尺寸归一化处理，得到所述图片类型的待搜索数据；
如果所述饮食数据的数据类型包括所述文字类型，对所述文字类型的饮食数据进行分词处理和/或去停用词处理，得到所述文字类型的待搜索数据。


3.根据权利要求1所述的方法，其特征在于，所述通过多模态模型对所述待搜索数据进行特征提取，得到所述待搜索数据的数据特征的步骤，包括：
针对所述图片类型的待搜索数据，通过多模态模型内的视觉特征提取器提取所述图片类型的待搜索数据的数据特征；
针对所述文字类型的待搜索数据，通过所述多模态模型内的文字特征提取器提取所述文字类型的待搜索数据的数据特征。


4.根据权利要求1所述的方法，其特征在于，所述基于所述数据特征查找与所述待搜索数据对应的目标数据的步骤，包括：
计算所述数据特征与预设数据库内保存的候选图片数据之间的第一相似程度，基于所述第一相似程度从各个所述候选图片数据中确定与所述待搜索数据对应的目标数据；
和/或，计算所述数据特征与所述预设数据库内保存的候选文字数据之间的第二相似程度，基于所述第二相似程度从各个所述候选文字数据中确定与所述待搜索数据对应的目标数据。


5.根据权利要求1所述的方法，其特征在于，所述多模态模型的训练步骤，包括：
获取训练数据；其中，所述训练数据包括训练图片数据、训练文字数据和训练标签，所述训练标签用于表征所述训练图片数据和所述训练文字数据之间的关联关系；
将所述训练数据输入至所...

【专利技术属性】
技术研发人员：王海，孔飞，刘邦长，谷书锋，赵红文，王燕华，赵进，庄博然，袁晓飞，
申请(专利权)人：北京妙医佳健康科技集团有限公司，
类型：发明
国别省市：北京;11