文本域图像检索制造技术

本公开的实施例涉及文本域图像检索。图像检索系统可以接收包括图像数据的图像查询。图像检索系统可以基于图像数据确定图像描述符。图像检索系统可以获得与描述符存储库中的图像描述符相关联的文本描述符。图像检索系统可以生成包括搜索参数的文档查询，该搜索参数包括文本描述符。图像检索系统可以基于文档查询在文档数据库中标识文本文档。文本文档可以与文档标识符相关联。图像检索系统可以从文件映射存储库中获得与文档标识符相关联的图像标识符。来自图像检索系统的图像查询结果可以引用与图像标识符相关联的图像。

Text field image retrieval

【技术实现步骤摘要】
文本域图像检索
本公开涉及图像处理，更具体地涉及图像检索和计算机视觉。
技术介绍
图像检索涉及基于搜索标准标识图像。在一些图像检索方法中，图像用描述性元数据进行注释。元数据可以基于搜索标准中所包括的关键词被搜索以标识图像。在基于内容的图像检索方法中，可以比较输入图像与存储在一个或多个大型数据库中的历史图像数据。图像结果可以通过像素比较、特征比较和/或其他计算机视觉技术被制定。附图说明参考以下附图和描述可以更好地理解实施例。图中的组件不一定按比例绘制。此外，在附图中贯穿不同的视图，相同的附图标记指代对应的部分。图1图示了图像检索系统的第一示例；图2图示了图像检索系统的第二示例。图3图示了系统逻辑示例的流程图；图4图示了系统逻辑的第二示例的流程图；图5图示了系统100的逻辑的第三示例的流程图；以及图6图示了计算机执行环境示例的流程图。具体实施方式图像检索涉及基于搜索标准标识图像。在一些图像检索方法中，图像用描述性元数据来注释。元数据可以基于关键词被搜索以标识图像。元数据可以通过手动注释大量图像被建立。在许多示例中，元数据可以描述图像的语义质量，而无需考虑图像在文本中的上下文使用。元数据可以保持固定，而使用图像的上下文可能会随时间变化。在基于内容的图像检索方法中，输入图像可以与存储在一个或多个大型数据库中的历史图像数据相比较。图像结果可以通过像素比较、特征比较和/或其他内容比较技术被制定。例如，Zhou等人于2018年9月2日由电气和电子工程师学会出版的“RecentAdvanceinContent-basedImageRetrieval:ALiteratureSurvey(基于内容的图像检索的最新进展：文献调查)”(其通过引用并入本文)描述了图像特征被存储在数据库中并且在数据库中被索引的各种图像表示。这些方法无法基于考虑图像内容的语义相似性以外因素的标准来提供可靠的图像查询结果。因此，公开了针对依赖于图像空间和文本空间中的局部相似性的基于文本的图像检索的系统和方法。通过介绍性示例，图像检索系统可以包括描述符存储库，该描述符库包括多个描述符映射。描述符映射可以包括图像描述符和文本描述符之间的相应关联。该系统还可以包括文件映射存储库。文件映射存储库可以包括文件映射。每个文件映射可以包括对应图像和对应文本文档之间的关联。系统可以接收图像查询。图像查询可以包括图像数据。系统可以基于图像数据确定图像描述符。系统可以获得与描述符存储库中的图像描述符相关联的文本描述符。该系统可以生成包括搜索参数的文档查询。搜索参数可以包括文本描述符。该系统可以基于文档查询在文档数据库中标识文本文档。文本文档可以与文档标识符相关联。该系统可以从文件映射存储库获得与文档标识符相关联的图像标识符。系统可以将图像查询结果传送到远程设备。图像查询结果可以指示与图像标识符相对应的图像。本文描述的系统和方法的一个技术优势可以是：基于文本的文档查询可以改进图像检索中所涉及的处理时间。例如，本文描述的系统和方法可以基于图像数据和文本数据之间的映射来执行图像检索。输入图像可以是被映射到文本描述符的经转换的图像描述符。文本描述符可以被编译成针对文档数据库的文档查询。因此，搜索在文本域而不是图像域中被执行，在图像域中图像分析在处理能力和处理时间方面可能很昂贵。本文描述的系统和方法的另一技术优点可以是：图像可以基于除图像语义含义之外的因素被检索。例如，通过确保将相似的图像映射到具有相同主题的文档来导出图像描述符和文本描述符之间的映射，使得图像检索系统可以在图像空间和文本空间中保留局部相似性。被映射到图像数据的文本数据可能无法描述图像的语义含义。文本和图像描述符之间的映射是使用保留的局部相似性标准从训练数据中精确学习的，这意味着图像域中语义相似的图像对象应当被映射到文本域中语义相似的文本对象。相应地，图像检索系统可以在不能仅在一个主要对象中减少图像的语义内容而在图像中呈现了多个对象的应用中检索图像，并且仅图像特征的比较能够受到对象规模的限制，同时系统能够将图像描述符映射到多个文本描述符从而增加了特征的表达性。在本文所述的系统和方法中，与现有市场解决方案相比的附加优点、效率和改进是明显的。图1图示了图像检索系统100的第一示例。系统100可以接收图像查询并以图像查询结果做出响应。图像查询可以包括寻找与图像查询中指定的一个或多个搜索图像相关联或相似的图像的请求。图像查询可以包括图像数据，诸如图像文件、视频帧、RGB数据、图像特征数据和/或根据用于存储、绘制或表示图像的协议布置的任何其他信息。备选地或另外，图像查询可以包括位置，诸如用来接收图像数据的网址或文件路径。图像查询结果可以包括指示与搜索图像相关联、相似和/或在与其相似的上下文中找到的一个或多个图像的查询结果。图像查询结果可以包括图像数据和/或指定图像的标识信息。备选地或另外，图像查询结果可以包括位置，诸如一个或多个图像的网址或文件路径。在一些示例中，图像查询结果可以包括使得图像从图像检索系统100或某个其他源图像被检索或下载的指令或链接。描述符存储库图像检索系统可以包括描述符存储库102。描述符存储库102可以包括图像描述符、文本描述符和/或描述符映射。图像描述符可以包括图像的视觉特性的描述。例如，图像描述符可以包括图像的特征。这些特征可以包括图像特征度量(metric)。图像特征量度(measure)可以测量图像的基本特性，诸如可以用真实值定义的图像的形状、颜色、纹理和/或一些其他视觉特性。例如，图像描述符可以包括色彩空间，并且图像描述符的特征可以包括每个像素处的RGB值。在一些示例中，图像描述符可以包括对一个或多个特征的描述，这些特征定义边缘、拐角、斑点、脊、感兴趣的区域、和/或其他类型的视觉特性。表1图示了包括图像描述符的数据结构的示例。通过示例，表1中描述的图像描述符包括颜色分布，其中像素值被分配了权重值。表1——图像描述符表图像描述符ID图像描述符IMG_DESC_DOG颜色分布：红色：10％，黑色10％，棕色45％，...IMG_DESC_CAT颜色分布：红色：10％，黑色10％，棕色50％，...IMG_DESC_CAR颜色分布：红色：60％，黑色5％，棕色10％，...表1中图示出的数据结构是非限制性示例。描述符存储库102可以包括表1中描述的数据结构。在其他示例中，描述符存储库102可以包括存储图像描述符的(多个)附加或备选数据结构。文本描述符可以包括文本内容的描述。例如，文本描述符可以包括描述文本的字符、单词、句子、语义和/或语言学的特性。文本描述符可以包括多个特征。文本描述符的特征可以包括以真实值测量文本特性的文本特征度量。例如，文本描述符可以包括数值的向量或矩阵。在一些示例中本文档来自技高网...

【技术保护点】
1.一种图像检索系统，包括：/n存储器和处理器，所述存储器包括：/n描述符存储库，所述描述符存储库包括多个描述符映射，所述描述符映射包括图像描述符和文本描述符之间的相应关联；/n文件映射存储库，所述文件映射存储库包括文件映射，其中所述文件映射中的每个文件映射包括对应图像和对应文本文档之间的关联；其中所述处理器配置为：/n接收图像查询，所述图像查询包括图像数据；/n基于所述图像数据确定图像描述符；/n基于所述描述符库中的描述符映射，获得与所述图像描述符相关联的文本描述符；/n生成包括搜索参数的文档查询，所述搜索参数基于所述文本描述符；/n基于所述文档查询，在文档数据库中标识文本文档，所述文本文档与文档标识符相关联；/n基于所述文件映射存储库中的所述文件映射，获得与所述文档标识符相关联的图像标识符；/n基于所述图像标识符确定图像查询结果；以及/n向远程设备传送图像查询结果，所述图像查询结果指示与所述图像标识符相对应的图像。/n

【技术特征摘要】
20181203 US 16/208,0771.一种图像检索系统，包括：
存储器和处理器，所述存储器包括：
描述符存储库，所述描述符存储库包括多个描述符映射，所述描述符映射包括图像描述符和文本描述符之间的相应关联；
文件映射存储库，所述文件映射存储库包括文件映射，其中所述文件映射中的每个文件映射包括对应图像和对应文本文档之间的关联；其中所述处理器配置为：
接收图像查询，所述图像查询包括图像数据；
基于所述图像数据确定图像描述符；
基于所述描述符库中的描述符映射，获得与所述图像描述符相关联的文本描述符；
生成包括搜索参数的文档查询，所述搜索参数基于所述文本描述符；
基于所述文档查询，在文档数据库中标识文本文档，所述文本文档与文档标识符相关联；
基于所述文件映射存储库中的所述文件映射，获得与所述文档标识符相关联的图像标识符；
基于所述图像标识符确定图像查询结果；以及
向远程设备传送图像查询结果，所述图像查询结果指示与所述图像标识符相对应的图像。


2.根据权利要求1所述的图像检索系统，其中所述图像查询结果包括与所述图像标识符相对应的图像。


3.根据权利要求1所述的图像检索系统，还包括：
按排名顺序来优先排列所述图像；
生成所述图像查询结果，其中所述图像查询结果指示按所述排名顺序进行优先排列的所述图像。


4.根据权利要求1所述的图像检索系统，其中为了基于所述图像数据确定所述图像描述符，所述处理器还被配置为：
导出针对所述图像数据的多个特征度量；以及
基于所述图像描述符的特征度量与所述图像数据的特征度量的比较，从所述描述符存储库中选择所述图像描述符。


5.根据权利要求1所述的图像检索系统，其中所述处理器还被配置为生成被存储在所述描述符存储库中的所述描述符映射，其中为了生成所述描述符映射，所述处理器还被配置为：
接收训练图像数据和训练文本数据；
基于所述训练图像数据确定所述图像描述符；
基于所述训练文本数据确定所述文本描述符；以及
基于机器学习模型将所述文本描述符映射到所述图像描述符。


6.根据权利要求1所述的图像检索系统，其中所述处理器还被配置为：
生成针对所述文档数据库的所述文本文档，其中为了生成所述文本文档，所述处理器还被配置为：
从图像存储库获得源图像；
基于源图像的特征，选择所述描述符映射中所包括的先前确定的图像描述符；
从所述描述符存储库中获得与所述先前确定的图像描述符相关联的先前确定的文本描述符；
将所述文本描述符编译成新文本文档；以及
将所述新文本文档存储在所述文档数据库中。


7.根据权利要求6所述的图像检索系统，其中所述处理器还被配置为生成被存储在所述文件映射存储库中的所述文件映射，其中为了生成所述文件映射，所述处理器还被配置为：
生成文件映射，所述文件映射包括所述源图像的标识符和所述新文本文档的标识符；以及
将所述文件映射存储在所述文件映射存储库中。


8.根据权利要求1所述的图像检索系统，其中为了获得所述文本描述符，所述处理器还被配置为：
基于所述图像描述符在所述描述符存储库中选择所述描述符映射；以及
从所述描述符映射中提取所述文本描述符，并且
其中为了获得所述图像描述符，所述处理器还被配置为：
基于所述文档标识符从所述文件映射存储库中选择所述文件映射；以及
从所述文件映射中提取所述图像标识符。


9.根据权利要求1所述的图像检索系统，其中为了从所述文件映射存储库获得与所述文档标识符相关联的图像标识符，所述处理器还被配置为：
在所述文件映射存储库中标识文件映射，所述文件映射包括所述文档标识符中的至少一个文档标识符和所述图像标识符中的至少一个图像标识符；以及
从所述文件映射中提取所述图像标识符中的所述至少一个图像标识符。


10.根据权利要求1所述的图像检索系统，其中为了获得与所述描述符存储库中的所述图像描述符相关联的所述文本描述符，所述处理器还被配置为：
在所述描述符存储库中标识与所述图像描述符关联的描述符映射；
从所述描述符映射中提取所述文本描述符的标识符；以及
从所述...

【专利技术属性】
技术研发人员：A·彭塔，M·F·扎曼，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰;IE