一种基于局部匹配的图文检索方法及装置制造方法及图纸

本发明专利技术提供了一种基于局部匹配的图文检索方法及装置，所述方法包括：获取用户输入的文本检索信息；调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；获取所述图文匹配模型检索后输出的至少一帧图像。基于本发明专利技术提供的方案先对文本检索信息中的检索关键字进行提取，进而通过关键字对与其匹配的图像进行检索，高效并准确地获取满足用户需求的图像。

【技术实现步骤摘要】
一种基于局部匹配的图文检索方法及装置
本专利技术涉及检索
，特别是涉及一种基于局部匹配的图文检索方法及装置。
技术介绍
图文相似性在广告和推荐里面都有大量需求，而在实际应用中，由于图像信息纷繁复杂，往往一副图像包含多个主体，只有少数图像有类目信息，大量图像无法归类，也不可能有显著性区域标注；再者，图像描述文本通常依靠HTML方式解析出来，里面存在大量不相关词语和短语，因此，常常会出现图片与文字语义不匹配，或是图片的文字描述性很弱等现象，当基于已有文本进行相似的图片查找时，往往无法准确获取。
技术实现思路
本专利技术提供了一种基于局部匹配的图文检索方法及装置以克服上述问题或者至少部分地解决上述问题。根据本专利技术的一个方面，提供了一种基于局部匹配的图文检索方法，包括：获取用户输入的文本检索信息；调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；获取所述图文匹配模型检索后输出的至少一帧图像。可选地，所述调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型之前，还包括：构建所述图文匹配模型；收集多种类型的文本信息以及对应的图像信息，建立包括文本-图像数据对的图文数据库；基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型。可选地，所述基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型，包括：获取所述图文数据库中的任意一组或多组文本-图像数据对；使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据；根据所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度；将所述相关度大于第一预设阈值的文本-图像数据对作为正样本数据，将所述相关度小于第二预设阈值的文本-图像数据对作为负样本数据；基于所述正样本数据和负样本数据训练所述图文匹配模型。可选地，所述获取所述图文数据库中的任意一组或多组文本-图像数据对之后，还包括：通过检测器获取所述文本-图像数据对中图像信息的显著性区域，并对所述文本-图像数据对中文本信息进行清洗。可选地，所述使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据，包括：使用注意力机制输出清洗后的文本信息的文本表征数据，以及所述图像信息的显著性区域的图像表征数据。可选地，所述基于所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度，包括：将所述图像表征数据和文本表征数据进行交互式的对齐，学习所述文本表征数据和图像表征数据的相关性，并得出所述文本-图像数据对的相关度。可选地，所述基于所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度之后，还包括：将所述文本-图像数据对的相关度与第三预设阈值进行比较；若所述文本-图像数据对的相关度大于所述第三预设阈值，则利用所述文本-图像数据对中的文本信息生成所述文本图像数据对中的图像信息的标签。根据本专利技术的另一个方面，还提供了一种基于局部匹配的图文检索装置，包括：信息获取模块，配置为获取用户输入的文本检索信息；检索模块，配置为调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；图像输出模块，配置为获取所述图文匹配模型检索后输出的至少一帧图像。可选地，所述装置还包括：模型构建模块，配置为构建所述图文匹配模型；数据收集模块，配置为收集多种类型的文本信息以及对应的图像信息，建立包括文本-图像数据对的图文数据库；模型训练模块，配置为基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型。可选地，所述模型训练模块还配置为：获取所述图文数据库中的任意一组或多组文本-图像数据对；使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据；根据所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度；将所述相关度大于第一预设阈值的文本-图像数据对作为正样本数据，将所述相关度小于第二预设阈值的文本-图像数据对作为负样本数据；基于所述正样本数据和负样本数据训练所述图文匹配模型。可选地，所述模型训练模块还配置为：在获取所述图文数据库中的任意一组或多组文本-图像数据对之后，通过检测器获取所述文本-图像数据对中图像信息的显著性区域，并对所述文本-图像数据对中文本信息进行清洗。可选地，所述模型训练模块还配置为：使用注意力机制输出清洗后的文本信息的文本表征数据，以及所述图像信息的显著性区域的图像表征数据。可选地，所述模型训练模块还配置为：将所述图像表征数据和文本表征数据进行交互式的对齐，学习所述文本表征数据和图像表征数据的相关性，并得出所述文本-图像数据对的相关度。可选地，所述装置还包括：标记模块，配置为将所述文本-图像数据对的相关度与第三预设阈值进行比较；若所述文本-图像数据对的相关度大于所述第三预设阈值，则利用所述文本-图像数据对中的文本信息生成所述文本图像数据对中的图像信息的标签。根据本专利技术的另一个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上述任一项所述的基于局部匹配的图文检索方法。根据本专利技术的另一个方面，还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上述任一项所述的基于局部匹配的图文检索方法。本专利技术提供了一种更加高效的图文检索方法及装置，基于用户输入的文本检索信息，就可以通过预先构建的图文匹配模型输入与该文本检索信息相匹配的至少一帧图像。在本专利技术实施例提供的方案中，将来自用户的文本检索信息输入至图文匹配模型后，会先对文本检索信息中的检索关键字进行提取，进而通过关键字对与其匹配的图像进行检索，高效并准确地获取满足用户需求的图像。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和特征。附图说明通过本文档来自技高网...

【技术保护点】
1.一种基于局部匹配的图文检索方法，包括：/n获取用户输入的文本检索信息；/n调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；/n获取所述图文匹配模型检索后输出的至少一帧图像。/n

【技术特征摘要】
1.一种基于局部匹配的图文检索方法，包括：
获取用户输入的文本检索信息；
调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型，由所述图文匹配模型获取所述文本检索信息的至少一个检索关键词，并基于所述检索关键词检索与所述文本检索信息匹配的至少一帧图像；
获取所述图文匹配模型检索后输出的至少一帧图像。


2.根据权利要求1所述的方法，其中，所述调用预先构建的图文匹配模型，将所述文本检索信息输入所述图文匹配模型之前，还包括：
构建所述图文匹配模型；
收集多种类型的文本信息以及对应的图像信息，建立包括文本-图像数据对的图文数据库；
基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型。


3.根据权利要求2所述的方法，其中，所述基于所述图文数据库中的文本-图像数据对训练所述图文匹配模型，包括：
获取所述图文数据库中的任意一组或多组文本-图像数据对；
使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据；
根据所述文本表征数据和图像表征数据学习所述文本信息和图像信息的相关性，并得出所述文本-图像数据对的相关度；将所述相关度大于第一预设阈值的文本-图像数据对作为正样本数据，将所述相关度小于第二预设阈值的文本-图像数据对作为负样本数据；
基于所述正样本数据和负样本数据训练所述图文匹配模型。


4.根据权利要求3所述的方法，其中，所述获取所述图文数据库中的任意一组或多组文本-图像数据对之后，还包括：
通过检测器获取所述文本-图像数据对中图像信息的显著性区域，并对所述文本-图像数据对中文本信息进行清洗。


5.根据权利要求4所述的方法，其中，所述使用注意力机制输出所述文本-图像数据对中文本信息的文本表征数据，以及图像信息的图像表征数据，包括...

【专利技术属性】
技术研发人员：卢禹锟，田伟伟，董健，颜水成，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11