多模态搜索方法、装置、存储介质和设备制造方法及图纸

本发明专利技术提供一种多模态搜索方法、装置、存储介质和设备，所述方法包括：分别从多模态数据和待查询数据中提取深语义表征向量和浅语义表征内容，计算待查询数据的深语义表征向量与多模态数据的深语义表征向量的第一相似度，获得第一预设数目个多模态数据，计算待查询数据浅语义表征内容与多模态数据的浅语义表征内容的第二相似度，获得第二预设数目个多模态数据，将第一预设数目个多模态数据和第二预设数目个多模态数据组合后获得召回数据，提取召回数据的特征后输入特征组合模型，输出匹配得分，根据匹配得分获得多模态搜索结果。本发明专利技术能够针对待查询内容从多模态数据中一次性找到相应内容，搜索速度快且搜索准确率高。搜索速度快且搜索准确率高。搜索速度快且搜索准确率高。

【技术实现步骤摘要】
多模态搜索方法、装置、存储介质和设备


[0001]本专利技术涉及人工智能
，尤其涉及一种多模态搜索方法、装置、存储介质和设备。

技术介绍

[0002]当前是信息爆炸的时代，用户身边被各种数据包围，但是要找的自己想要的数据，需要花费更多的时间仔细筛选。
[0003]大多数搜索平台对数据的检索都是某一单一模态，例如：想要搜索某一张图片，则需要在搜索平台中输入与图片相关的文字来搜索；想要搜索某一个视频，需要在搜索平台中输入与视频相关的文字来搜索；想要搜索某些文档或者某条新闻，则需要在搜索平台中输入与文档或者新闻相关的文字来搜索。现有技术采用的搜索方法只能在单一模态的数据中进行搜索，用户需要对每种模态的数据分别搜索才能获得想要的内容，搜索速度慢；与此同时，当用户输入的文字与其想要搜索的内容不太匹配时，还会导致搜索到的内容不准确。

技术实现思路

[0004]有鉴于此，本专利技术提供一种多模态搜索方法、装置、存储介质和设备，能够针对待查询内容从多模态数据中一次性找到相应内容，搜索速度快且搜索准确率高。/>[0005]第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态搜索方法，其特征在于，所述方法包括：从多模态数据中提取多模态文本信息，获得多模态深语义表征向量和多模态浅语义表征内容；从待查询数据中提取待查询数据信息，获得待查询数据的深语义表征向量和待查询数据的浅语义表征内容；计算所述待查询数据的深语义表征向量和所述多模态深语义表征向量的第一相似度，根据第一相似度得分获得第一预设数目个多模态数据；计算所述待查询数据的浅语义表征内容和所述多模态浅语义表征内容的第二相似度，根据第二相似度得分获得第二预设数目个多模态数据；将所述第一预设数目个多模态数据和第二预设数目个多模态数据进行组合获得召回数据；对所述召回数据提取特征后输入特征组合模型，输出所述待查询数据与多召回数据的匹配得分，根据匹配得分获得所述待查询数据的多模态搜索结果。2.根据权利要求1所述的方法，其特征在于，所述多模态数据包括各种类型的文档文本、图片、音频和视频，所述从多模态数据中提取多模态文本信息，获得多模态深语义表征向量和多模态浅语义表征内容包括：对所述文档文本、图片、音频和视频分别进行解析，分别提取所述文档文本、图片、音频和视频中的标题、关键字、摘要和文本内容；对所述标题、关键字和摘要进行向量化处理，获得多模态深语义表征向量，存入深语义表征数据库；将所述标题和文本内容作为多模态浅语义表征向量，存入浅语义表征数据库。3.根据权利要求2所述的方法，其特征在于，利用文档解析器对所述文档文本进行解析，提取所述文档文本中的标题、关键词、摘要和文本内容。4.根据权利要求2所述的方法，其特征在于，对所述图片进行解析，提取所述图片中的标题、关键词、摘要和文本内容包括：利用图片分类模型对图片进行分类，获得图片的分类标签；使用文字识别方法从所述图片中提取文档文本；利用文档编辑器对所述图片中提取的文档文本进行解析，获得图片对应的标题、关键词、摘要和文本内容。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：检测所述图片对应的标题是否存在；如存在，则将所述图片对应的标题和所述图片的分类标签作为所述召回数据的其中一种提取特征；如不存在，则将所述图片对应的分类标签作为所述召回数据的其中一种提取特征。6.根据权利要求2所述的方法，其特征在于，所述音频和视频进行解析，提取所述音频和视频中的标题...

【专利技术属性】
技术研发人员：杨娟，杨再飞，翟士丹，胡蓉，
申请(专利权)人：北京海致星图科技有限公司，
类型：发明
国别省市：