一种图像搜索的方法及系统技术方案

本申请提供一种图像搜索的方法及系统，所述方法包括：在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，其中，所述数据库存储有目标图像以及根据所述目标图像生成的标签；将匹配得到的标签对应的目标图像输出，由于数据库中包含有目标图像描述语句的标签，而描述语句含有对图像场景更加完整的语义描述，因此用户同样能通过相似语义的描述语句搜索到目标图像。本申请的方法支持语句检索不但丰富了图像搜索方式，也提高图像搜索效率和质量，更增强了用户图像搜索体验。

A Method and System of Image Search

【技术实现步骤摘要】
一种图像搜索的方法及系统
本申请涉及计算机
，特别涉及一种图像搜索的方法及系统、计算设备、存储介质和芯片。
技术介绍
图像搜索，通过输入与图像名称或内容相似的词或语句来进行检索，并将检索到的图像输出给用户进行使用。随着互联网应用的普及，使用者对图像的需求场景也越来越多。例如用户可以通过网络上传图像，厂商也可以通过网络爬取图像。但是大多情况下，这些图像没有标签，在网络中难以被搜索到，而造成图像资源的浪费。现有技术中，一副图片包含复杂的语义信息，如果用户想要更加准确的结果，需要采用描述语句进行图像搜索，则需要厂商预先对数据库中图像进行人工标注对应语句，但人工标注语句工作繁琐，容易出错，并且在需要对大规模图像进行标注的情况时效率低下。
技术实现思路
有鉴于此，本申请实施例提供了一种图像搜索的方法及系统、计算设备、存储介质和芯片，以解决现有技术中存在的技术缺陷。本申请实施例提供了一种图像搜索的方法，所述方法包括：在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，其中，所述数据库存储有目标图像以及根据所述目标图像生成的标签；将匹配得到的标签对应的目标图像输出。可选地，所述方法还包括：生成目标图像对应的描述语句；根据描述语句得到关键词；将关键词和/或描述语句作为目标图像的标签，并将所述目标图像以及所述标签存储到数据库。可选地，所述生成目标图像对应的描述语句，包括：将目标图像进行编码，得到对应的编码特征和全局池化特征；根据编码特征、全局池化特征和第一语言模型的初始参考特征，得到初始聚合特征，将所述初始聚合特征输入至第二语言模型生成第二语言模型的初始参考特征，并根据第二语言模型的初始参考特征生成第1个输出词；根据编码特征、全局池化特征以及第t个输出词得到第t个聚合特征，将所述第t个聚合特征输入至第二语言模型生成第二语言模型的第t个参考特征，直至满足迭代终止条件，得到第t+1个输出词，其中t≥1且t为正整数；根据第1个至第t+1个输出词生成所述目标图像对应的描述语句。可选地，将目标图像进行编码，得到对应的编码特征和全局池化特征包括：将目标图像通过卷积神经网络模型进行编码，得到对应的编码特征；将编码特征通过卷积神经网络模型的池化层进行池化处理，得到对应的全局池化特征。可选地，根据编码特征、全局池化特征和第一语言模型的初始参考特征，得到初始聚合特征，包括：根据所述全局池化特征和第一语言模型的初始参考特征对所述编码特征进行处理，得到初始局部特征；将初始局部特征和初始参考特征进行聚合处理得到初始聚合特征。可选地，根据编码特征、全局池化特征以及第t个输出词得到第t个聚合特征，将所述第t个聚合特征输入至第二语言模型生成第二语言模型的第t个参考特征，直至满足迭代终止条件，得到第t+1个输出词，包括：S1、将第t个输出词输入至第一语言模型，得到第一语言模型的第t个非初始参考特征；S2、根据所述全局池化特征和第t个非初始参考特征对所述编码特征进行处理，得到第t个局部特征；S3、将第t个局部特征和第t个非初始参考特征进行聚合处理得到第t个聚合特征；S4、将第t个聚合特征输入至第二语言模型生成第二语言模型的第t个非初始参考特征，根据第二语言模型的第t个非初始参考特征生成第t+1个输出词；S5、判断是否达到迭代的终止条件，若否，执行步骤S6，若是，结束；S6、将t自加1，返回执行步骤S1。可选地，根据描述语句得到关键词，包括：通过词频—逆文本频率指数算法将描述语句中的词在所述数据库中进行比对，并将评分大于评分阈值的词作为关键词。可选地，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，包括：将搜索指令中的搜索语句和/或搜索词与数据库中的描述语句和/或关键词进行相似度匹配；将匹配得到的标签对应的目标图像输出，包括：确定与所述搜索语句和/或搜索词的相似度大于阈值的描述语句和/或关键词，并将所述确定的描述语句和/或关键词对应的目标图像输出。本申请实施例提供了一种图像搜索的系统，所述系统包括：匹配模块，被配置为在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，其中，所述数据库存储有目标图像以及所述目标图像对应的标签；图像输出模块，被配置为将匹配得到的标签对应的目标图像输出。本申请实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述图像搜索的方法的步骤。本申请实施例提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述图像搜索的方法的步骤。本申请实施例提供了一种芯片，其存储有计算机指令，该指令被芯片执行时实现如上所述图像搜索的方法的步骤。本申请提供的图像搜索的方法及系统，将目标图像以及根据所述目标图像生成的标签存储于数据库中，在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，将匹配得到的标签对应的目标图像输出。由于数据库中包含有目标图像描述语句的标签，而描述语句含有对图像场景更加完整的语义描述，因此用户同样能通过相似语义的描述语句搜索到目标图像。本申请的方法支持语句检索不但丰富了图像搜索方式，也提高图像搜索效率和质量，更增强了用户图像搜索体验。另外，本申请通过将目标图像通过卷积神经网络模型进行编码、池化处理，得到对应的编码特征和全局池化特征，然后再输入至包括第一语言模型、第二语言模型和网格选择器的解码层进行解码，最终得到该目标图像对应的标签，这样不仅能将数据库已有图像标注标签，还能将新收集图像，包括用户上传图像及网上海量图像及时标注标签并储存于数据库中且可供检索，加快数据库扩充速度、节省了人工标注成本，节约企业成本，增加了用户交互信息被搜索到的概率。附图说明图1是本申请实施例的计算设备的结构示意图；图2是本申请一实施例的图像搜索的方法的流程示意图；图3是本申请一实施例的图像搜索的方法的流程示意图；图4是本申请一实施例的图像搜索的方法的流程示意图；图5是本申请一实施例的图像搜索的系统的具体应用示意图；图6是本申请一实施例的图像搜索的系统的结构示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词“如果”可以被解释成为“在……时”或“当……时”或“响应于本文档来自技高网...

【技术保护点】
1.一种图像搜索的方法，其特征在于，所述方法包括：在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，其中，所述数据库存储有目标图像以及根据所述目标图像生成的标签；将匹配得到的标签对应的目标图像输出。

【技术特征摘要】
1.一种图像搜索的方法，其特征在于，所述方法包括：在得到搜索指令的情况下，根据搜索指令的搜索语句和/或搜索词在数据库中进行匹配，其中，所述数据库存储有目标图像以及根据所述目标图像生成的标签；将匹配得到的标签对应的目标图像输出。2.如权利要求1所述的图像搜索的方法，其特征在于，所述方法还包括：生成目标图像对应的描述语句；根据描述语句得到关键词；将关键词和/或描述语句作为目标图像的标签，并将所述目标图像以及所述标签存储到数据库。3.如权利要求2所述的图像搜索的方法，其特征在于，所述生成目标图像对应的描述语句，包括：将目标图像进行编码，得到对应的编码特征和全局池化特征；根据编码特征、全局池化特征和第一语言模型的初始参考特征，得到初始聚合特征，将所述初始聚合特征输入至第二语言模型生成第二语言模型的初始参考特征，并根据第二语言模型的初始参考特征生成第1个输出词；根据编码特征、全局池化特征以及第t个输出词得到第t个聚合特征，将所述第t个聚合特征输入至第二语言模型生成第二语言模型的第t个参考特征，直至满足迭代终止条件，得到第t+1个输出词，其中t≥1且t为正整数；根据第1个至第t+1个输出词生成所述目标图像对应的描述语句。4.如权利要求3所述的图像描述的方法，其特征在于，将目标图像进行编码，得到对应的编码特征和全局池化特征，包括：将目标图像通过卷积神经网络模型进行编码，得到对应的编码特征；将编码特征通过卷积神经网络模型的池化层进行池化处理，得到对应的全局池化特征。5.如权利要求3所述的图像描述的方法，其特征在于，根据编码特征、全局池化特征和第一语言模型的初始参考特征，得到初始聚合特征，包括：根据所述全局池化特征和第一语言模型的初始参考特征对所述编码特征进行处理，得到初始局部特征；将初始局部特征和初始参考特征进行聚合处理得到初始聚合特征。6.如权利要求3所述的图像描述的方法，其特征在于，根据编码特征、全局池化特征以及第t个输出词得到第t个聚合特征，将所述第t个聚合特征输入至第二语言模型生成第二语言模型的第t个参考特征，直至...

【专利技术属性】
技术研发人员：李长亮，廖敏鹏，宋振旗，唐剑波，
申请(专利权)人：北京金山数字娱乐科技有限公司，成都金山互动娱乐科技有限公司，
类型：发明
国别省市：北京,11