用于跟踪具有动态变化部分的目标的数据集创建制造技术

移动平台使用针对目标的特征数据集来视觉地检测和/或跟踪该目标，该目标包括动态变化部分或以其他方式包括不合需部分，该特征数据集排除该不合需部分。该特征数据集是通过提供该目标的图像并标识该目标的不合需部分来创建的。对该不合需部分的标识可以是自动的或者通过用户选择的。针对该不合需部分生成图像掩模。该图像掩模用于在对目标的特征数据集的创建中排除不合需部分。例如，可将该图像掩模覆盖在图像上并且仅从目标的图像的未掩盖区域提取特征。替换地，可从图像的所有区域提取特征并使用该图像掩模移除从不合需部分提取的特征。

【技术实现步骤摘要】
【国外来华专利技术】用于跟踪具有动态变化部分的目标的数据集创建对待审的临时申请的交叉引用本申请要求于2010年5月28日提交的、且题为“Dynamic Tracking TargetsFor Augmented Reality (用于增强实境的动态跟踪目标)”的共同拥有的美国临时申请No. 61/349, 481以及于2011年5月27日提交的共同拥有的美国申请S/N 13/117，472的优先权，这两者皆通过援引明确纳入于此。背景对刚性物体的基于模型的视觉检测和跟踪通常假定这些物体的外观在运行时或者在关于这些物体的数据集已被创建之后不改变。然而在实践中，许多物体并不落入此类别中。例如，(开启的)电视机在屏幕上显现不可预测的内容，而电视机的其余部分(例如，边框，等等)并不改变。另一示例是部分由强反射材料构成的物体(诸如，墙壁上的镜子)，其包括不可预测内容(反射)的区域，而边框并不改变。又一示例是汽车的仪表板中的收音机、或者具有显示器的任何其他设备，其包括动态变化部分(显示器)和静态部分(控制器和边框)。当前方法并不能对具有变化外观的区域建模，从而对使用具有动态变化区域的物体的图像进行基于图像的检测和跟踪造成了困难。概述移动平台使用针对目标的特征数据集来视觉地检测和/或跟踪该目标，该目标包括动态变化部分或以其他方式包括不合需部分，该特征数据集排除该不合需部分。通过提供该目标的图像并标识该目标的不合需部分来创建该特征数据集。对该不合需部分的标识可以是自动的或者通过用户选择的。针对该不合需部分生成图像掩模。该图像掩模用于在对目标的特征数据集的创建中排除不合需部分。例如，可将该图像掩模覆盖在图像上并且仅从目标的图像的未掩盖区域提取特征。替换地，可从图像的所有区域提取特征并使用该图像掩模移除从不合需部分提取的特征。在一方面，方法包括提供目标的图像，标识该目标的不合需部分，生成针对该不合需部分的图像掩模；以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集。在另一方面，装置包括处理器；连接至该处理器的存储器，连接至该存储器的显示器；以及保持在该存储器中并在该处理器中运行的软件。该软件使该处理器在图像中标识目标的不合需部分，生成针对该不合需部分的图像掩模；以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集。在另一方面，系统包括用于提供目标的图像的装置，用于标识该目标的不合需部分的装置，用于生成针对该不合需部分的图像掩模的装置；以及用于使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集的装置。在又一方面，包括存储于其上的程序代码的计算机可读介质包括在所捕获的图像中标识目标的不合需部分的程序代码，生成针对该不合需部分的图像掩模的程序代码；以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集的程序代码。附图简要描述附图说明图1A和IB分别解说了移动平台的正面和反面，该移动平台能够使用具有动态变化部分、或者以其他方式具有不合需部分的物体进行基于图像的检测和跟踪。图2解说了示出创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集的过程的流程图。图3A、3B、3C、和3D解说了使用图像掩模来生成电视机形式的目标的自然特征数据集，其中，该图像掩模排除来自电视机的屏幕的特征。图4A、4B、和4C解说了使用图像掩模来生成镜子形式的目标的自然特征数据集，其中，该图像掩模排除来自镜子的反射表面的特征。图5是移动平台的框图，该移动平台能够创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集。具体描述图1A和IB分别解说了移动平台100的正面和反面，该移动平台100能够使用具有动态变化部分的物体进行基于图像的检测和跟踪。移动平台100被示为包括外壳101、显示器102 (可以是触摸屏显示器)、以及扬声器104和话筒106。移动平台100还包括对环境成像的相机110。移动平台100使用基于自然特征的检测，其中，在运行时在现场相机图像中检测并跟踪目标上的先前确定的“自然特征”。应当理解，如本文中所使用的术语图像或所捕获图像表示静止图像或由相机110捕获的视频画面。该目标是真实世界物体，可使用该目标的图像(有时称作该目标的输入图像)并通过处理该图像来从该目标提取自然特征以生成自然特征数据集而检测或跟踪该物体。通过将从目标的输入图像(有时称作参考图像)创建的自然特征数据集与运行时从现场相机图像提取的特征集相比较来检测该目标。作为目标检测的结果，相机相对于该目标的位置和取向(姿势)的估计被计算为几何变换。跟踪表示在一时段上更新连续的相机画面中的姿势估计的过程。跟踪通常假定目标的粗略位置的知识(因为该目标已在先前图像中被检测或跟踪)，并更新当前画面中的姿势。然而，应当理解，检测和跟踪有时是可互换使用的。例如，在“通过检测来跟踪”中，有可能是通过检测每个画面中的目标来跟踪该目标。因此，检测和跟踪在本文中是以一般意义来使用的并且旨在表示检测和跟踪中的仅一个或者两个。移动平台100能够检测和跟踪具有动态变化部分的目标，这是通过忽略这些动态变化部分来进行的。这些动态变化部分是通过使用掩模图像生成针对目标的自然特征数据集而被忽略的，该掩模图像是虚拟地覆盖在目标之上并防止来自该目标的动态变化部分中的特征被添加到自然特征数据集。结果，自然特征数据集不包含在运行时将会不可用的特征，并且同时该自然特征数据集变得更小以改善总体性能。掩去不能被检测的区域防止无用的数据被存储在自然特征数据集中。因为跟踪单元能忽略相机图像中不包含有用数据的部分，由此改善了跟踪速度和稳健性。此外，由于自然特征数据集的尺寸减小，还改善了检测性能。不包含来自目标的动态变化部分的特征的自然特征数据集可由移动平台100自身或者外部源生成。例如，移动平台100可在对目标的检测和跟踪之前生成关于该目标的经掩盖自然特征数据集。可替换地，移动平台100可在对目标的检测和跟踪之前从外部源接收经掩盖自然特征数据集。例如，外部源(其可以是分开的处理器)可使用由移动平台100或任何其他可用源提供的一个或多个目标的图像来生成经掩盖自然特征数据集。如本文中所使用的，移动平台是指任何便携式电子设备，诸如，蜂窝或其他无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、或者其他合适的移动设备。该移动平台可以能够接收无线通信和/或导航信号，诸如导航定位信号。术语“移动平台”还旨在包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备，不论卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处还是在PND处。而且，“移动平台”旨在包括能够进行AR的所有电子设备，包括无线通信设备、计算机、膝上型电脑、平板计算机等等。图2解说了示出创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集的过程的流程图。此经掩盖数据集可在对目标的检测和跟踪之前由例如移动平台110生成或者由外部源生成并被提供给移动平台100。如图所示，(例如通过由移动平台的相机110捕获目标的静止图像或视频画面或者通过从另一源接收图像来)提供目标的图像(202)本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.05.28 US 61/349,481;2011.05.27 US 13/117,4721.一种方法，包括提供目标的图像；标识所述目标的不合需部分；生成针对所述不合需部分的图像掩模；以及使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集。2.如权利要求1所述的方法，其特征在于，所述不合需部分是所述目标的动态变化区域。3.如权利要求1所述的方法，其特征在于，所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。4.如权利要求1所述的方法，其特征在于，使用所述图像掩模创建所述目标的特征数据集包括将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征。5.如权利要求1所述的方法，其特征在于，使用所述图像掩模创建所述目标的特征数据集包括从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取的特征。6.如权利要求1所述的方法，其特征在于，标识所述目标的所述不合需部分包括接收标识所述不合需部分的用户输入。7.如权利要求1所述的方法，其特征在于，标识所述目标的所述不合需部分包括 捕获所述目标的多个图像；从所述目标的所述多个图像中的每一个图像提取特征；将所述目标的一区域标识为所述不合需部分，在所述目标的所述多个图像中所述区域具有改变的特征。8.如权利要求1所述的方法，其特征在于，进一步包括，使用所述目标的特征数据集检测所捕获图像中的所述目标，其中，所述目标的所述不合需部分从所述特征数据集中被排除。9.如权利要求1所述的方法，其特征在于，进一步包括，使用所述目标的特征数据集跟踪所捕获图像中的所述目标，其中，所述目标的所述不合需部分从所述特征数据集中被排除。10.一种装置，包括处理器；存储器，其连接至所述处理器；显示器，其连接至所述存储器；以及软件，保持在所述存储器中并在所述处理器中运行以使所述处理器在图像中标识目标的不合需部分，生成针对所述不合需部分的图像掩模；以及使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集。11.如权利要求10所述的装置，其特征在于，所述不合需部分是所述目标的动态变化区域。12.如权利要求10所述的装置，其特征在于，所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。13.如权利要求10所述的装置，其特征在于，所述软件通过使所述处理器将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征来使所述处理器使用所述图像掩模创建所述目标的特征数据集。14.如权利要求10所述的装置，其特征在于，所述软件通过使所述处理器从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取了的特征子集来使所述处理器使用所述图像掩模创建所述目标的特征数据集。15.如权利要求10所述的装置，其特征在于，所述装置进一步包括用户接口，所述软件使所述处理器通过接收对所述不合需部分的用户选择来标识所述目标的所述不合需部分。16.如权利要求10所述的装置，其特征在于，所述处理器接收所述目标的多个图像，所述软件通过使所述处理器从所述目标的所述多个图像中的每一个图像提取特征并将所述目标的一区域标识为所述不合需部分来使所述处理器标识所述目标的所述不合需部分，在所述目标的所述多个图像中所述区域具有改变的特征。17.如权利要求10所述的装置，其特征在于，进一步包括相机，其中，所述图像从所述相机被提供给所述处理器。18.如权利要求10所述的装置，其特征在于，进一步包括相机，其中，所述软件使所述处理器使用所述目标的特征数据集检测所述相机捕获的所捕获图像中的所述目标，其中， 所述目标的所述不合需部分从所述特征数据集中被排除。19.如权利要求10所述的装置，其特征在于，进一步包括相机，其中，所述软...

【专利技术属性】
技术研发人员：D·瓦格纳，Z·S·萨拉瓦里，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：