代表性图像选择方法和设备以及对象图像检索方法和设备技术

本发明专利技术涉及代表性图像选择方法和设备以及对象图像检索方法和设备。该代表性图像选择设备被配置为从与同一对象相关联的多个对象图像选择至少一个代表性对象图像，包括分割单元，被配置为根据第一准则将所述多个对象图像分割成至少一个对象图像组；聚类生成单元，被配置为对于所述至少一个对象图像组中的每一组，生成至少一个对象图像聚类，每一对象图像聚类对应于对象或者对象图像的特征；以及代表性对象图像选择单元，被配置为对于所述至少一个对象图像聚类中的每一个，关于对应于该对象图像聚类的对象或者对象图像的该特征选择预定数量的代表性对象图像。

【技术实现步骤摘要】

本专利技术涉及代表性图像的选择以及对象图像的检索，并且尤其涉及从与同一对象相关联的多个对象图像选择至少一个代表性图像，以及基于所选择的代表性图像来检索对象图像。
技术介绍
近年来，图像中的对象检测/识别在图像处理、计算机视觉和图案识别领域中正获得广泛和重要的应用，并且在其中起到了重要的作用。对象可以是人的脸部、手部、身体等中的任一种。在一种常用应用中，视频监控系统已经被用于捕获和记录大量公共和私人场所(诸如机场、火车站、超市、家庭以及有人、车辆等存在的其它场所)的视频。通常，监控照相机捕获长期存在大量对象的场所，并且将所捕获的对象的视频记录到数据中，从而特定人物或车辆等的以往的存在可被检索并且被进行检查。这样的实现可被广泛地用于实时监控、人物跟踪、车辆跟踪等。为了从所记录的视频检索到希望的对象，通常的选择是人工检查所记录的原始视频，但是人工检查大量的原始视频数据是非常劳动密集和费时的。此外，人工检查方法并不适合于需要进行实时检索的许多场景。例如，父母需要在机场尽快找到他们的孩子，以避免推迟旅程(例如，国际航班)。作为结果，已经开发了对象图像检测算法，其可被用于识别视频帧中的对象，从而用户能够检索特定的对象，诸如人物，以查看他/她的行为(诸如，进入或离开超市)。常规地，这样的对象图像检索算法通常是对于所有视频帧上的对象的所有状态而执行的，这通常意味着要对海量数据进行处理，因此基于所有这些视频帧的检索增加了检索服务器的负担。例如，在捕获人物的监控系统中，监控照相机通常位于不同的位置，并且可能会发生很大的改变，因此所捕获的人物的脸可能具有多种姿态。在这样的情况下，从视频帧检索与人物的全部的各种姿态有关的人物必然是费时的。因此，希望仅从所有视频帧选择/确定与人物的姿态有关的有限数量的对象图像作为检索的基础以便平衡检索的准确度和速度。美国专利US007545973B2公开了一种用于生成关于输入的查询对象的有限数量的图像来作为检索的基础。具体而言，在该美国专利中，预先生成预定的模块，以便对于输入的对象图像获得各种扩展的图像。因此，对于一个对象，在该模块中将定义预定数量的不同条件下的对象，并且将使用这样的预定数量的对象来对多个被捕获的帧进行过滤。然后，与这样预定数量的对象图像匹配的所捕获的帧将被登记到图像数据库中用于人物检索。如图1中所示，预先生成了包括人物的九种姿态的模块，如虚线框中所示，因此这样的九种姿态将被用作检索的基础。当通过视频监控系统捕获了具有不同姿态的人物时，所捕获的与人物有关的帧中的仅对应于这九种姿态的图像将被保留作为检索的结果。具体而言，如图1所示，实线框中的人物对应于通过视频监控系统实际捕获的人物姿态，并且只有也被包含在虚线框中的具体姿态将被保留并存储在数据库中作为检索结果，而其它姿态，诸如在虚线框之外的四种姿态以及实线框中的另两种姿态将被丢弃。从这一点来看，只有模块中的被预先确定的姿态将被检索为结果。在上述方法中，尽管作为检索基础的姿态的数量与人物的所有可能的姿态的数量相比被显著减小，并且检索速度可能提高，但是由于这样的模块中的预定的姿态是被预先定义的，因此可能存在如下这样的问题：即实际捕获的人物姿态与预先定义的姿态不匹配，因而这样捕获的人物姿态可能会被丢弃，而实际上这样捕获的人物姿态可能是重要的或者具有代表性的，因此这样将无法检测到重要性的或者代表性的人物帧。此外，预先确定的姿态可被看作是离线预定的，并不能适当地反映出实际的人物状态，因此人物的一些重要且关键的姿态无法被有效地保留，检索结果的准确度会受到负面影响。从上文可见，当前的技术尽管已经在一定程度上减少了作为检索基础的对象图像的数量，但是由于可能会忽略掉关键的姿态，因而仍无法实现令人满意的检索结果。因此，仍需要如下这样一种方法和设备，其能够合适地选择/确定有限数量的代表性对象图像作为检索基础，以便进一步平衡对象检索的准确度和速度。此外，希望作为检索基础的对象图像的这样的选择/确定可被动态执行，以便包含更具代表性的对象状态。
技术实现思路
本专利技术是针对图像中的对象检索被开发的，并且旨在解决上述问题。本专利技术的一个目的是从多个捕获的对象图像中选择代表性的对象图像，以便涵盖更加全面的对象状态。本专利技术的另一个目的是出于对象检索的目的而更加准确和全面性地创建图像数据库。本专利技术的还另一个目的是更加准确和全面地检索对象。在一个方面，本专利技术提供了一种被配置为从与同一对象相关联的多个对象图像选择至少一个代表性的对象图像的设备，包含分割单元，被配置为根据第一准则将多个对象图像分割为至少一组对象图像；聚类生成单元，被配置为对于所述至少一组对象图像中的每一个，生成对象图像的至少一个聚类，每一聚类对应于对象或对象图像的特征；以及代表性图像选择单元，被配置为对于所述至少一个聚类中的每一聚类，选择关于与该聚类对应的对象或者对象图像的特征的预定数量的代表性对象图像。在另一方面，本专利技术提供了一种用于对象图像检索的设备，包括检测单元，被配置为从输入的查询图像检测要被检索的对象；被配置为如上所述地选择对象的至少一个代表性图像的设备；以及检索单元，被配置为检索关于所选择的代表性图像的匹配图像。在还另一方面，本专利技术提供了一种从与同一对象相关联的多个对象图像选择至少一个代表性的对象图像的方法，包含分割步骤，用于根据第一准则将多个对象图像分割为至少一组对象图像；聚类生成步骤，用于对于所述至少一组对象图像中的每一个，生成对象图像的至少一个聚类，每一聚类对应于对象或对象图像的特征；以及代表性图像选择步骤，用于对于所述至少一个聚类中的每一聚类，选择关于与该聚类对应的对象或者对象图像的特征的预定数量的代表性对象图像。在又另一方面，本专利技术提供了一种用于用户图像检索的方法，包括如下步骤：从输入的查询图像检测要被检索的对象；根据如上所述的方法选择对象的至少一个代表性图像；以及检索关于所选择的代表性图像的匹配图像。[技术效果]在一种实现中，本专利技术提供了一种以所谓的两级处理方式来从与同一对象相关联的多个对象图像选择代表性的对象图像的方法和设备，其中，所述多个对象图像首先被分割成数个组，然后对于每一组对象图像，这些对象图像被过滤以形成对象图像的至少一个聚类，并且对于对象图像的每一聚类选择至少一个代表性图像以用作对象图像检索的基础。通过这样的两级处理方式(包括分割和聚类形成)，代表性对象图像可被获得作为检索基础，冗余的对象图像可被去除，因此常规上将作为检索基础的巨量的对象图像可被合适地减少为有限数量的代表性对象图像，这些代表性对象图像将预期作为检索基础，从而用于存储对象图像的容量可被减少，基于这样的代表性对象图像的检索效率可被提高，因此存储和处理负载可被高效地降低。此外，由于代表性对象图像可根据对象或者对象图像本身的特征被获得，因此这样的代表性对象图像可准确地代表具有相似对象状态的对象图像，基于这样的代表性对象图像的检索的准确度将基本不受影响。在一种实现中，本专利技术可提供一种用于动态和自适应地从多个对象图像选择代表性图像的方法和设备，其中，该多个对象图像首先根据可被动态和自适应地确定的准则(诸如在视频捕获期间或者视频捕获之后)被分割成数个组，本文档来自技高网...

【技术保护点】
一种被配置为从与同一对象相关联的多个对象图像选择至少一个代表性对象图像的设备，其特征在于，所述设备包括：分割单元，被配置为根据第一准则将所述多个对象图像分割成至少一个对象图像组；聚类生成单元，被配置为对于所述至少一个对象图像组中的每一组，生成至少一个对象图像聚类，每一对象图像聚类对应于对象或者对象图像的特征；以及代表性对象图像选择单元，被配置为对于所述至少一个对象图像聚类中的每一个，关于对应于该对象图像聚类的对象或者对象图像的该特征选择预定数量的代表性对象图像。

【技术特征摘要】
1.一种被配置为从与同一对象相关联的多个对象图像选择至少一个代表性对象图像的设备，其特征在于，所述设备包括：分割单元，被配置为根据第一准则将所述多个对象图像分割成至少一个对象图像组；聚类生成单元，被配置为对于所述至少一个对象图像组中的每一组，生成至少一个对象图像聚类，每一对象图像聚类对应于对象或者对象图像的特征；以及代表性对象图像选择单元，被配置为对于所述至少一个对象图像聚类中的每一个，关于对应于该对象图像聚类的对象或者对象图像的该特征选择预定数量的代表性对象图像。2.根据权利要求1所述的设备，其中，所述第一准则是反映对象或者对象图像的特性的参数。3.根据权利要求1所述的设备，其中，所述第一准则是对象大小。4.根据权利要求1到3中的任一个所述的设备，其中，所述代表性对象图像选择单元进一步包括：被配置为在每个对象图像聚类中选择一个对象图像作为该对象图像聚类的代表性对象图像的单元，所述一个对象图像的特征矢量与该对象图像聚类中的其余对象图像中的每一个的特征矢量之间距离的平方和最小。5.根据权利要求1到3中的任一个所述的设备，其中，所述聚类生成单元进一步包括：获取单元，被配置为获取该对象图像组中的每一个图像的关于该特征的特征矢量；以及计算单元，被配置为通过利用所获取的特征矢量计算该对象图像组中的任何一对图像之间的关于该特征的相似性值；其中，如果一对图像的相似性值小于预定阈值，则该对图像被归类于同一聚类。6.根据权利要求5所述的设备，其中，相似性值对应于两个对象图像的特征矢量之间的欧几里得距离。7.根据权利要求1到3中的任一个所述的设备，其中，所述代表性对象图像选择单元进一步包括：被配置为将对象图像聚类中的对象图像的相似性值从小到大地排序的单元，以及被配置为选择与前预定数量个相似性值对应的预定数量的对象图像作为代表性对象图像的单元。8.根据权利要求1到3中的任一个所述的设备，进一步包括：被...

【专利技术属性】
技术研发人员：那森，黄耀海，李荣军，谭诚，椎山弘隆，松下昌弘，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP