用于图像的类似性搜索的系统和方法技术方案

提供了用于利用分类结构对图像进行高效的语义类似性搜索的系统和方法。该系统和方法提供用于：针对多个图像构建语义分类搜索树（２０２），该分类树包括至少两个图像类别，每个图像类别表示所述多个图像的子集；接收查询图像（２０４）；对查询图像分类以选择至少两个图像类别中的一个图像类别（２０６）；并且将利用查询图像对感兴趣图像的搜索限制于在至少两个图像类别中选择的一个图像类别（２１０）。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般涉及计算机图形处理和显示系统，并且更具体地涉及用于图像的类似 搜索(similarity search)的系统和方法。
技术介绍
对与查询图像类似的图像的检测和检索在多种实际应用中是非常有用的。本公开 描述的技术解决了查询图像数据库以寻找优选在语义层次上与查询图像类似的图像(即， 包含有相同对象和背景但是可能具有一些变化的图像)的问题。该问题出现在多种应用 中，例如用于移动设备的位置感知服务，其中，用户拍摄地标的图片并且然后移动设备可以 告诉用户地标的位置和描述。在另一应用中，用户可以拍摄商店中一个或多个产品的图片， 然后，移动设备可以返回具有对应价格的、由不同零售商提供的相同产品的网页。在版权 侵权检测的背景中，可以通过在因特网上搜索对图像的未经授权使用来识别可能的版权侵 犯。在多媒体内容管理中，检测图像的副本和近似副本可以帮助将多重来源视频中的故事、 出版社和网页中的文章链接起来。尽管本公开描述的技术可以应用于一般的图像或视频检索或搜索，然而本公开着 重于语义层次的图像和视频搜索，而非基于色彩、纹理等之类的低层次特征的视觉搜索。基 于低层次特征的图像或视频搜索已经得到很好地研究，并且高效的检索算法可供用于大规 模数据库。语义层次的图像或视频搜索比低层次特征搜索难得多，因为其涉及到包含在图 像或视频中的对象的比较。对于许多实际应用，例如上面讨论过的前述应用，基于低层次特 征的搜索一般来说是不足够的，因为包含不同对象的图像可能具有类似的色彩或纹理。语义层次的图像或视频搜索需要比较图像中的对象。就此方面定义的类似图像应 当包含相同的对象和背景，但是可以具有一些变化，例如对象移动、照明改变等。由于计算 机、计算设备等在语义层次理解图像或表示图像是非常难的，因此该问题是非常有挑战性 的。已经存在一些针对在语义层次搜索图像和视频而进行的早期工作。例如，用于利用机 器学习方法的精确近似副本检测和搜索的基于部分的类似性量度在2004年10月美国纽约 市的 ACM Multimedia 中的 D. Q. Zhang 禾口 S. F. Chang 的"Detecting Image Near-Duplicate by Stochastic Attributed Relational Graph Matching with Learning，，中有所描述。 aiang等人描述的类似性量度实际上是将获得了极高精确度结果的图像内的对象进行比 较。然而，该方法与传统的使用低层次特征(例如，通过色彩直方图)的检索方法相比非常 慢，并且不能应用于实际应用。因此，存在对在语义层次上高效地搜索图像的技术的需要。此外，即使在图像类似 性量度可用时也存在对加速图像搜索的需要。
技术实现思路
提供了用于利用分类结构对图像进行高效的语义类似性搜索的系统和方法。该系 统和方法使得能够查询图像数据库以寻找在语义层次上与查询图像类似的图像，即，包含有与查询图像相同的对象和背景但可能具有一些变化的图像。本公开的技术将对图像的语 义类似性搜索限制于某个类或类别，以使得类似性计算被极大地减少。首先，针对数据库中 的所有图像建立分类搜索树。然后，对于每个进入的查询图像，将查询图像分类到一个或多 个类别(通常为语义类别，例如人、室内、室外等)，类别表示整个图像空间(即图像的数据 库)的子集。然后，将图像类似性计算限制在该子集内。根据本公开的一个方面，提供了一种用于在多个图像中搜索感兴趣图像的方法。 该方法包括针对所述多个图像构建分类结构，所述分类结构包括至少两个图像类别，每个 图像类别表示所述多个图像的子集；接收查询图像；对所述查询图像分类以选择所述至少 两个图像类别中的一个图像类别；并且将对感兴趣图像的图像搜索限制于在所述至少两个 图像类别中选择的一个图像类别。根据另一方面，一种用于在多个图像中搜索感兴趣图像的系统包括数据库，该数 据库包括被结构化为至少两个语义图像类别的多个图像，每个语义图像类别表示所述多个 图像的子集；用于获取至少一个查询图像的装置；图像分类器模块，用于对所述查询图像 分类以选择所述至少两个语义图像类别中的一个语义图像类别；以及图像搜索器模块，用 于利用所述查询图像搜索感兴趣图像，其中，该搜索被限制于在所述至少两个语义图像类 别中选择的一个语义图像类别。根据又一方面，提供了一种可由机器读取的程序存储设备，该程序存储设备有形 地包含有程序指令，所述程序指令可由机器运行来执行用于在多个图像中搜索感兴趣图像 的方法步骤。该方法包括针对所述多个图像构建分类结构，所述分类结构包括至少两个图 像类别，每个图像类别表示所述多个图像的子集；接收查询图像；对所述查询图像分类以 选择所述至少两个图像类别中的一个图像类别；以及将对感兴趣图像的搜索限制于在所述 至少两个图像类别中选择的一个图像类别。附图说明将描述或者通过结合附图阅读下面对优选实施例的详细描述将清楚本公开的这 些以及其它方面、特征和优点。在附图中，遍及各个视图，相似的标号表示类似的元件；图1是根据本公开一方面的用于对图像进行类似搜索的系统的示例性图示；图2是根据本公开一方面的用于对图像进行类似搜索的示例性方法的流程图；图3图示出了根据本公开的分类搜索树；图4图示出了在根据本公开的分类搜索树中执行的简单搜索；图5图示出了在根据本公开的分类搜索树中执行的冗余搜索；图6图示出了根据本公开一方面的用于构建或生成分类搜索树的方法；图7图示出了具有被标记(tagged)关键字的图像的特征向量；以及图8图示出了根据本公开一方面的用于将新图像添加到分类搜索数据库中的方 法。应当明白，(一个或多个)附图用于图示出本公开的概念，而不一定是用于图示出 本公开的仅有的可能配置。具体实施例方式应当了解，可以硬件、软件或其组合的各种形式来实现附图中示出的元件。优选 地，在一个或多个经适当编程的通用设备上以硬件和软件的组合来实现这些元件，所述通 用设备可包括处理器、存储器和输入/输出接口。本说明书举例说明了本公开的原理。因此将会了解，本领域技术人员将能够作出 虽然未在这里明确描述或示出但实现了本公开的原理且包括在其精神和范围内的各种配置。这里记载的所有示例和条件语言是打算用于教导目的的，以辅助读者理解本公开 的原理和专利技术人为了促进本技术而贡献的概念，并且这些示例和条件语言应被视为并不限 于这些具体记载的示例和条件。此外，这里记载了本公开的原理、各个方面和实施例及其具体示例的所有陈述意 图包含本公开的结构和功能的等同物。另外，这些等同物意图包括当前已知的等同物以及 以后开发出的等同物，即，无论为何种结构，所开发出来的执行相同功能的任何元件。因此，例如，本领域技术人员将会了解，这里呈现的框图表示实现本专利技术原理的例 示电路的示意图。类似地，将会了解，任何流程表、流程图、状态转换图、伪代码等表示实质 上可用计算机可读介质表示并因而可由计算机或处理器执行的各种处理，而无论该计算机 或处理器是否被明确示出。可通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供附图 中示出的各个元件的功能。当由处理器来提供功能时，这些功能可由单个专用处理器、单个 共享处理器、或者多个单独处理器(其中的一些可被共享)来提供本文档来自技高网...

【技术保护点】
一种用于在多个图像中搜索感兴趣图像的方法，该方法包括以下步骤：　　针对所述多个图像构建分类结构（２０２），所述分类结构包括至少两个图像类别，每个图像类别表示所述多个图像的子集；　　接收查询图像（２０４）；　　对所述查询图像分类以选择所述至少两个图像类别中的一个图像类别（２０６）；以及　　将对感兴趣图像的搜索限制于在所述至少两个图像类别中选择的一个图像类别（２１０）。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：张东清，拉詹乔希，安娜B班尼兹，罗英，郭菊，
申请(专利权)人：汤姆逊许可证公司，
类型：发明
国别省市：FR[法国]