表示和搜索图像中的对象的方法和装置制造方法及图纸

一种表示图像中出现的对象的方法，该方法包括导出所述对象的多个视图描述符，各个视图描述符对应于所述对象的不同视图，并将两个或两个以上视图描述符相联系，所述方法包括为各个视图描述符指示何时相应的视图对应于图像中出现的对象的视图。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及用于表示图像中的对象的方法和装置，尤其是用于例如在多媒体数据库中搜索的方法和装置。本专利技术还涉及用于搜索图像中的对象的方法和装置。众所周知，利用出现在图像中的对象的表示，例如在图像库中存储静止或视频图像。表示用在搜索方法中使包含感兴趣的对象的图像能够被检索。表示可能基于对象的各种特征，包括色彩、纹理和形状。已知各种用于表示图像中对象的形状的方法。已知方法包括链码法、四元树法以及曲率标度空间表示法。为了在图像搜索系统中进行搜索，用户通过向系统提供所找对象的草图或图像，或者通过选择存储在系统中的对象的视图，从而输入查询。然后系统导出或获取查询对象的表示，并且把查询表示与存储在数据库中的图像表示通过适当的匹配方法进行比较。把最接近的匹配结果显示在显示器上。在大多数情况下，出现在视频图像中的对象是三维实物在二维像平面上的投影。因而，出现在图像中的对象的二维形状或轮廓以及可见对象表面的色彩和纹理取决于诸如观察位置、观察角度以及摄相机和光学系统参数之类的因素。因此，对象具有与不同视图相关的诸如轮廓、形状、色彩、纹理等不同的特征。将本申请的共同待审的专利申请PCT/GB00/01662通过引用结合于此，该申请公开了一种用于表示出现在图像中的对象的方法和装置，其中，导出对象在多个不同二维视图中的表示并使之相关而构成对象表示。所述表示最好是对象形状的表示，但是也可以是例如不同视图中的色彩或纹理的表示。当对静止图像或电影等中的对象运用上述方法时，会有与图像相关的若干形状或其它描述符来表示与不同视图相关的对象特征。但是，通常这些视图中任何一个在原始图像中都是可见的。其中一些特征可能与对象的不可见部分相关，而且仅用于描述对象的三维属性。如果无法确定对象的多个视图中哪些可见、哪些不可见，搜索方法就不能准确地找到指定视图。例如，利用侧视图搜索描述汽车的图像，还会找到汽车的顶视图和正视图。本专利技术的思想在于使用可见性标记，标明哪些描述符实际上是关于这些描述符所链接到的图像或电影内的可见特征。因此，本专利技术提供一种表示图像中出现的对象的方法，所述方法包括导出对象的多个视图描述符，各视图描述符对应于对象的不同视图；以及指明何时视图对应于图像中出现的对象的一个视图。在PCT/GB00/01662中公开的专利技术中，形状描述符与一段多媒体内容内出现的对象相关。这些描述符描述了不同视图中对象的形状。这些视图可以是多媒体素材中或者可见的或者不可见的。可见性标记存储这种可见性信息。当得到各个视图的可见性数据时，所述搜索方法能够在需要时滤出不可见视图内的对象。下面参照附图描述本专利技术的实施例，图中附图说明图1是根据本专利技术的一个实施例的系统的框图；图2是说明视频序列中对象的表示的示意图；图3是说明静止图像中对象的表示的示意图；图4是说明第一搜索方法的结果的示意图；图5是说明第二搜索方法的结果的示意图。图1中表示根据本专利技术的实施例的系统。所述系统包括控制单元2，比如用于控制系统操作的计算机；显示单元4，比如监视器，它与控制单元2相连，用于显示包括图像和文本的输出；以及指示装置6，比如鼠标，用于向控制单元2输入指令。所述系统还包括图像数据库8，它存储多个静止图像的数字形式，并且以视频序列的形式存储图像组；以及描述符数据库10，它存储关于图像数据库8中存储的静止图像和视频序列的每一个中出现的对象的描述符信息，下文会详细描述。图像数据库8和描述符数据库10各连接到控制单元2。在本实施例中，系统的各要素在单个位置上提供，如图像库，其中系统的各部分是永久地链接的。下面描述根据本专利技术的实施例导出对象的描述符的方法。首先，就具有相对简单形状的对象(本例中为圆柱形对象)描述本方法。在本例中，在图像数据库8中存储的视频序列中，圆柱形对象出现两次。参照图2，在第一次出现时，对象轮廓对应于视图1，这是从侧面看的视图，在第二次出现时，对象轮廓对应于视图3，这是从侧面上方看的透视图。数据库索引器(indexer)识别出这两个轮廓是同一对象的，并且对应于这些轮廓的三维对象是圆柱体。对于视图1和视图3中的每一个，导出采用曲率标度空间(CSS)表示的形状描述符。而且，数据库索引器选择被认为是代表该对象的任何附加视图，即使它们未出现在所考虑的视频序列中。在本例中，选择视图2作为代表，视图2是从上方看的圆柱体的视图。还获取该视图的CSS表示。论文“通过曲率标度空间的健壮和有效的形状索引”(由FarzinMokhtarian，Sadegh Abbassi和Josef Kittler发表，见于Proc.BritishMachine Vision Conference，第53-62页，Edinburgh，UK1996)描述了一种曲率标度空间表示的方法，现将其通过引用结合于此。简言之，表示形状的轮廓的曲线通过平滑该曲线而得到演化。在演化的多个不同阶段上考虑曲线。更明确地说，在演化的各阶段上，在曲率函数中识别曲率过零点。通过将来自演化的所有阶段的过零点组合，得到曲率过零点的曲线图。该曲线图的一条轴对应于σ，它表示曲线的演化参数，另一条轴对应于曲线弧长参数u。形状则由曲线图中轮廓的最大值的位置来表示。对于每个视图，形成视图描述符，包括适当的CSS表示。视图描述符可包括其他信息，诸如PCT/GB00/01662中描述的全程参数，或者相应可见表面的色彩/纹理属性。将视图形状描述符组合而形成3D对象形状描述符。此外，可见性标记与对象描述符相关，指示在视频序列中的至少一帧中给定视图是否是可见的。在本实例中，可见性标记构成各视图描述符的一部分。因此，这里，视图1和视图3的视图描述符均包括可见性标记“1”，指示该视图在视频的一帧中是可见的，视图2的视图描述符具有可见性标记“0”，指示该视图在任何帧中都不可见。对于出现在图像数据库8中的图像或图像组中的所有感兴趣的对象，以上述方式得到3D对象形状描述符。作为另一实例，参照图3，对图片中出现的汽车导出三个视图。对各视图中的汽车轮廓，按照上述方式获得包括CSS表示的相应的视图描述符。第一视图对应于图片中的视图，因而，相关的视图描述符具有可见性标记“1”，指明这是一个可见视图。另两个视图的视图描述符具有可见性标记“0”，指明它们对应于图片中未示出的视图。在本例中，当从图片中抽取轮廓时，确定可见性标记。换言之，如果一个形状是直接从图片中抽取的，则它得到可见性标记“1”，但如果该形状是通过索引器选择的，则它具有可见性标记“0”。另外，可见性标记可以在后来通过查看来手工添加。各视图描述符还具有参考指针，指示它出现在哪个图像中或者哪个视频序列中的哪一帧中，还指示它是图像或帧中的哪个对象，例如，一个对象的视图可能具有指针，指示它出现在视频181的帧1000中，它是第3号对象。描述符数据库10存储关于图像数据库8中存储的图像和视频序列中的对象的3D对象形状描述符。在上述实施例中，对于出现在视频序列中的对象，对整个序列导出一组视图描述符，并且用视图描述符来指示相关视图是否出现在该序列的至少一帧中。在另一实施例中，分别处理各帧。更具体地说，对出现在帧中的对象导出一组视图描述符，并且可见性标记指示相关视图是否出现在该帧中，而不管它是否出现在该序列的另一帧中。在另一本文档来自技高网...

【技术保护点】
一种产生表示在一个图像或一组图像中出现的对象的数据的方法，该方法包括导出所述对象的多个视图描述符，每个视图描述符对应于所述对象的一个不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。

【技术特征摘要】
GB 2000-7-7 0016809.61.一种产生表示在一个图像或一组图像中出现的对象的数据的方法，该方法包括导出所述对象的多个视图描述符，每个视图描述符对应于所述对象的一个不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。2.如权利要求1所述的方法，其特征在于所述信息是一个标记，该标记指明所述相应的视图是否出现在所述图像或所述图像组中至少一个图像中。3.如权利要求1所述的方法，其特征在于包括对于各个视图描述符，为所述图像或所述图像组中的每个图像指明所述相应的视图是否对应于所述图像中出现的所述对象的一个视图。4.如权利要求1所述的方法，其特征在于，所述图像组是图像序列。5.如权利要求4所述的方法，其特征在于，所述图像序列是来自一段视频信号或电影。6.如权利要求1所述的方法，其特征在于，所述包括所述相应视图中所...

【专利技术属性】
技术研发人员：M博伯，J库珀，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]