一种基于局部匹配的图文检索方法及装置制造方法及图纸

本发明专利技术提供了一种基于局部匹配的图文检索方法及装置，所述方法包括：获取用户输入的文本检索信息；调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；获取所述图文匹配模型检索后输出的至少一帧图像。基于本发明专利技术提供的方案先对文本检索信息中的检索关键字进行提取，进而通过关键字对与其匹配的图像进行检索，高效并准确地获取满足用户需求的图像。

【技术实现步骤摘要】
一种基于局部匹配的图文检索方法及装置
本专利技术涉及检索
，特别是涉及一种基于局部匹配的图文检索方法及装置。
技术介绍
图文相似性在广告和推荐里面都有大量需求，而在实际应用中，由于图像信息纷繁复杂，往往一副图像包含多个主体，只有少数图像有类目信息，大量图像无法归类，也不可能有显著性区域标注；再者，图像描述文本通常依靠HTML方式解析出来，里面存在大量不相关词语和短语，因此，常常会出现图片与文字语义不匹配，或是图片的文字描述性很弱等现象，当基于已有文本进行相似的图片查找时，往往无法准确获取。
技术实现思路
本专利技术提供了一种基于局部匹配的图文检索方法及装置以克服上述问题或者至少部分地解决上述问题。根据本专利技术的一个方面，提供了一种基于局部匹配的图文检索方法，包括：获取用户输入的文本检索信息；调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；获取所述本文档来自技高网...

【技术保护点】
1.一种基于局部匹配的图文检索方法，包括：/n获取用户输入的文本检索信息；/n调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；/n获取所述图文匹配模型检索后输出的至少一帧图像。/n

【技术特征摘要】
1.一种基于局部匹配的图文检索方法，包括：
获取用户输入的文本检索信息；
调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；
获取所述图文匹配模型检索后输出的至少一帧图像。


2.根据权利要求1所述的方法，其中，所述调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型之前，还包括：
构建所述图文匹配模型；
收集多种类型的文本信息以及对应的图像信息，建立包括文本-图像数据对的图文数据库；
基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型。


3.根据权利要求2所述的方法，其中，所述基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型，包括：
获取所述图文数据库中的任意一组或多组文本-图像数据对；
使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据；
根据所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度；将所述相关度大于第一预设阈值的文本-图像数据对作为正样本数据，将所述相关度小于第二预设阈值的文本-图像数据对作为负样本数据；
基于所述正样本数据和负样本数据训练所述图文匹配模型。


4.根据权利要求3所述的方法，其中，所述获取所述图文数据库中的任意一组或多组文本-图像数据对之后，还包括：
通过检测器获取所述文本-图像数据对中图像信息的显著性区域，并对所述文本-图像数据对中文本信息进行清洗。


5.根据权利要求4所述的方法，其中，所述使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据，包括...

【专利技术属性】
技术研发人员：卢禹锟，田伟伟，董健，颜水成，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11