检索方法及装置制造方法及图纸

本申请提供了一种检索方法及装置。该方法包括：获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：通过检索文本处理网络处理检索文本，得到文本特征；通过检索图像处理网络处理待匹配图像，得到图像特征；通过文本及图像再处理网络处理文本特征和图像特征，得到多模态特征；将文本特征和多模态特征相乘，得到文本多模态特征，将图像特征和多模态特征相乘，得到图像多模态特征；计算文本多模态特征和图像多模态特征之间的余弦相似度，当余弦相似度大于预设阈值，确定待匹配图像为检索文本所检索的图像。采用上述技术手段，解决现有技术中跨模态检索准确率低的问题。

【技术实现步骤摘要】

本申请涉及数据检索，尤其涉及一种检索方法及装置。

技术介绍

1、目前根据检索信息匹配相应的数据，往往是简单的提取检索信息和待匹配数据的特征，然后基于特征之间的距离确定检索信息对应的数据。因为检索信息和待匹配数据的特征仅是简单处理得到的，所以对检索信息和待匹配数据的表达不够充分，又因为当检索信息和待匹配数据不是同一个模态时，简单计算特征之间的距离并不准确。上述原因导致目前跨模态检索准确率低。

技术实现思路

1、有鉴于此，本申请实施例提供了一种检索方法、装置、电子设备及计算机可读存储介质，以解决现有技术中跨模态检索准确率低的问题。

2、本申请实施例第一方面，提供了一种检索方法，包括：构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，利用检索文本处理网络、检索图像处理网络和文本及图像再处理网络构建检索模型；获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：通过检索文本处理网络处理检索文本，得到文本特征；通过检索图像处理网络处理待匹配图像，本文档来自技高网...

【技术保护点】

1.一种检索方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，包括：

3.根据权利要求2所述方法，其特征在于，通过所述检索文本处理网络处理所述检索文本，得到文本特征，包括：

4.根据权利要求2所述方法，其特征在于，通过所述检索图像处理网络处理所述待匹配图像，得到图像特征，包括：

5.根据权利要求2所述方法，其特征在于，通过所述文本及图像再处理网络处理所述文本特征和所述图像特征，得到多模态特征，包括：

6.根据权利要求1所述方法，其特征在于，将所述检索文...

【技术特征摘要】

1.一种检索方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，包括：

3.根据权利要求2所述方法，其特征在于，通过所述检索文本处理网络处理所述检索文本，得到文本特征，包括：

4.根据权利要求2所述方法，其特征在于，通过所述检索图像处理网络处理所述待匹配图像，得到图像特征，包括：

5.根据权利要求2所述方法，其特征在于，通过所述文本及图像再处理网络处理所述文本特征和所述图像特征，得到多模态特征，包括：

6.根据权利要求1所述方法，其特征在于，将...

【专利技术属性】
技术研发人员：岳华东，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：