确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法技术

公开了一种确定在光学对象初始化追踪过程中使用的参考特征的方法，所述方法包括如下步骤：a)利用至少一个摄相机捕获现实环境的或通过绘制待追踪的现实对象的虚拟模型而合成地生成的至少一个当前图像，并从所述至少一个当前图像提取当前特征；b)提供适用于光学对象初始化追踪过程中的参考特征；c)将多个所述当前特征与多个所述参考特征相匹配；d)基于数个相匹配的当前特征和参考特征，估计与所述当前图像相关联的至少一个参数，并对与所述当前特征之一相匹配的每一个所述参考特征确定它们是正确匹配还是错误匹配；e)其中，多次迭代处理步骤a)到d)，其中，在每一个相应的迭代循环的步骤a)中，由至少一个摄像机捕获相应的新的当前图像，并且关于所述相应的新的当前图像处理步骤a)到d)；以及f)确定关联到正确匹配的参考特征和/或错误匹配的参考特征的至少一个指示符，其中，根据所述相应的参考特征分别隔多长时间正确匹配一次或错误匹配一次来确定所述至少一个指示符。

【技术实现步骤摘要】

本专利技术涉及一种确定在光学对象初始化追踪过程中使用的参考特征的方法以及 一种使用参考特征的对象初始化追踪方法，参考特征例如是从参考图像中提取的。此外，本 专利技术涉及包括软件代码部分的计算机程序产品，该程序产品用于实施本专利技术的方法。
技术介绍
增强现实系统允许将计算机生成的虚拟信息与现实环境的视觉印象进行叠加。 为此目的，借助于例如佩戴在使用者头上的半透射数据显示器，将现实世界的视觉印象 与虚拟信息混合在一起。虚拟信息或对象的融合(blending-in)可通过上下文相关的 (context-dependent)方式被影响，例如匹配以及来自于观察的相应环境。作为虚拟信息， 基本上可以使用任何类型的数据，诸如文本，图像等。例如借助于戴在使用者头上的摄像机 检测现实环境。当使用增强现实系统的人转动他/她的头时，关于视场的改变追踪虚拟对象是必 要的。该现实环境可以是一种复杂装置，以及该检测的对象能够是该装置的重要构件。在 所谓的追踪操作期间，在对象初始化过程中检测的现实对象可以用作参考用于计算显示虚 拟信息或将虚拟信息融合到摄像机拍摄的图像中的位置。由于事实是使用者可以改变他或 她的位置和取向，在使用者改变其位置和/或改变其取向的情况下，该现实对象也必须经 受连续追踪以在显示设备的正确位置显示虚拟信息。因此所达到的效果为，不管使用者的 位置和/或取向，信息以关于现实上下文正确的方式显示在显示设备中。增强现实系统在 这点上是利用所谓的无标记追踪系统的例子。标准追踪初始化方法当对给定了一个或多个参考图像的某一目标进行无标记追踪时，可使用如下步骤 描述标准追踪初始化框架。在这点上，附图1示出了示例性过程的流程图，在流程图中以 下步骤的编号在括号中表示。一旦获取一组数字图像(一个或多个图像)1-从一组这些“参考”数字图像提取特征并存储这些特征。这些特征通常称作“参 考特征”并可表示为r”其中i取值为{1，2，...，NK}以及Nk为所提取的参考特征的数量。 特征能够是点、点集(线、线段、图像中的区域或简单地为象素群)等。2-可为每一个所提取和存储的参考特征计算描述符(或分类符)。这些描述符可 称为“参考”描述符。接着，当使现实目标面对捕获现场的或所谓的“当前”图像的摄像机时3-对于每一个被捕获的当前图像，提取特征。这些特征可称为“当前特征”。4-可为每一个所提取和存储的当前特征计算描述符(或分类符)。这些描述符可 称作“当前描述符”并可表示为…，其中j取值为{1，2，...，NJ以及N。为所提取的当前特 征的数量。5-利用参考描述符和当前描述符将当前特征与参考特征进行匹配如果就某一 相似性度量来说，描述符相对接近，则它们相匹配。例如，如果每一个描述符写成数字的矢 量，则在比较两个描述符时，可使用两个对应矢量之间的欧几里得距离作为相似性度量。匹 配表示为mk= {rk，ck}，其中k取值为{1，2，...，Nm}以及 为匹配特征的数量。6-给定目标的模型，执行异常值拒绝算法(outlier rejection algorithm)。该 异常值拒绝算法一般可基于鲁棒的姿态估计(在下面解释)。7-利用正确的匹配，计算摄像机的“当前”姿态。用于基于特征的追踪初始化的大多数方法执行鲁棒的估计以去除错误的匹配。这 个步骤被称为异常值拒绝(见上面步骤6)。这是由于不管使用什么样的描述符或分类符， 都不能避免出现异常值的事实，异常值即错误匹配的特征。鲁棒的估计允许从姿态估计中 丢弃异常值。以下文献中公开了一种标准方法:M. A. Fischler 和 R. C. Bolles 的“RandomSampIe Consensus :A Paradigm for Model Fitting with Application to Image Analysisand Automated Cartography, Communications of the ACM 24 :381_395，1981 $ 6 月。i亥丰示 准方法基于迭代执行如下两步骤的算法-首先，该算法随机选取计算某一变换模型的参数所需的特征的最小数量的样本 (也称为样本集)。这种变换一般可使用矩阵描述，例如在通过单应矩阵估计计算姿态的情 况下能够使用4点，在通过基本矩阵估计计算姿态的情况下能够使用5点，...-然后，估计变换参数并计数验证(verify)它们的匹配的数量(也称为一致集 (consensus set))。为确定匹配mk= {rk,ck}是否验证变换参数，例如，能够利用估计的变 换参数将参考特征Α从参考图像变换到当前图像中，并计算当前特征ck和变换的参考特征 之间的距离。当距离小于某一阈值Tm时，考虑验证变换参数集的匹配。对算法执行数量N1的迭代并搜索最佳变换参数集，该最佳变换参数集允许验证该 参数集的最大数量匹配(一致集的最大基数(cardinality))。如果对应最佳参数集的匹配 的数量超过某一阈值Nm，则一致集中验证参数集的匹配视为正常值(inlier)(正确匹配) 且其它匹配视为异常值(outlier)(错误匹配)。对应最佳参数集的匹配的数量超过Nm的 情况一般用于确认追踪初始化过程的成功。仅仅在成功追踪初始化过程的情况下，才能确 定匹配是正常值还是异常值。标准方法的限制标准框架(执行以上参照附图1所解释的步骤1到7)和步骤6中发生的并执行 异常值拒绝的算法一般都给出好的结果。然而，在如下情况下获取参考图像和当前图像发 生了 -使用不同摄像机(不同传感器和图像质量)，-在不同的目标情况下(对象脏或者轻微的修改)-在不同的照明情况下(图像中的对象较亮或较暗)-在非常不同的视点，...在这种情况下由于所使用的特征的描述符是没有区别的，这导致非常脆弱的匹配 过程(步骤幻。事实上，环境的不同，追踪对象的不同或相对位置的不同都影响特征提取和 特征描述。6同样，通常参考图像是在非常好或最佳情况下执行的获取的结果，或者甚至不是 使用现实捕获的追踪对象作为参考图像，而是使用对象的虚拟版本描述的屏幕截图作为参 考图像。通常也使用通过各种手段(例如与摄像机或3D摄像机或飞行时间摄像机耦合或 不与它们耦合的激光扫描仪)从现实对象(或场景)提取的点云(point cloud)或几何结 构作为参考特征。因此，一般地，在参考图像中可看见更多的细节(并且这些细节在现场 捕获中是看不见的，即在当前图像中)并且通常存在比当前特征更多的参考特征。这经常 导致下面的事实-参考特征的数量非常大。这导致匹配过程(步骤5)变得低效以及对实时应用或移动应用来说太慢。-仅仅小比率的参考特征和当前特征是共有特征。-仅仅小比率的共有特征具有接近的描述符。由于大量的异常，这导致异常值拒绝算法(步骤6)不能工作或者也变得非常慢 在坏的情况下，不是失败就是需要非常大的数量N1的迭代以使得能从随机采样中选取一个 正确的正常值集。同样，当用于将匹配看成是正常值的阈值Tm太高时，该算法选取错误的 正常值集。已有的建议解决办法在 文 献M. Grabner、H. Grabner 禾口 H. Bischof, Learning features for tracking，，，Proceeding of I本文档来自技高网...

【技术保护点】
１．一种确定在光学对象初始化追踪过程中使用的参考特征的方法，所述方法包括如下步骤：ａ）利用至少一个摄相机捕获现实环境的或通过绘制待追踪的现实对象的虚拟模型而合成地生成的至少一个当前图像，并从所述至少一个当前图像提取当前特征，ｂ）提供适用于光学对象初始化追踪过程中的参考特征，ｃ）将多个所述当前特征与多个所述参考特征相匹配，ｄ）基于数个相匹配的当前特征和参考特征，估计与所述当前图像相关联的至少一个参数，并对与所述当前特征之一相匹配的每一个所述参考特征确定它们是正确匹配还是错误匹配，ｅ）其中，多次迭代处理步骤ａ）到ｄ），其中，在每一个相应的迭代循环的步骤ａ）中，由至少一个摄像机捕获相应的新的当前图像，并且关于所述相应的新的当前图像处理步骤ａ）到ｄ），以及ｆ）确定关联到正确匹配的参考特征和／或错误匹配的参考特征的至少一个指示符，其中，根据所述相应的参考特征分别隔多长时间正确匹配一次或错误匹配一次来确定所述至少一个指示符。

【技术特征摘要】
2009.12.23 EP 09180616.6;2009.12.23 US 61/289,7631.一种确定在光学对象初始化追踪过程中使用的参考特征的方法，所述方法包括如下 步骤a)利用至少一个摄相机捕获现实环境的或通过绘制待追踪的现实对象的虚拟模型而 合成地生成的至少一个当前图像，并从所述至少一个当前图像提取当前特征，b)提供适用于光学对象初始化追踪过程中的参考特征，c)将多个所述当前特征与多个所述参考特征相匹配，d)基于数个相匹配的当前特征和参考特征，估计与所述当前图像相关联的至少一个参 数，并对与所述当前特征之一相匹配的每一个所述参考特征确定它们是正确匹配还是错误 匹配，e)其中，多次迭代处理步骤a)到d)，其中，在每一个相应的迭代循环的步骤a)中，由 至少一个摄像机捕获相应的新的当前图像，并且关于所述相应的新的当前图像处理步骤a) 到d)，以及f)确定关联到正确匹配的参考特征和/或错误匹配的参考特征的至少一个指示符，其 中，根据所述相应的参考特征分别隔多长时间正确匹配一次或错误匹配一次来确定所述至 少一个指示符。2.如权利要求1所述的方法，其中，所述指示符是关联到所述参考特征的权重。3.如权利要求2所述的方法，其中，在所述相应的参考特征正确匹配时，所述参考特征的所述权重增大。4.如权利要求2或3所述的方法，其中，在所述相应的参考特征错误匹配时，所述参考特征的所述权重减小。5.如权利要求2至4之一所述的方法，其中，如果所述参考特征之一没有匹配，则不更新其权重。6.如权利要求1至5之一所述的方法，其中，在步骤d)中，所述方法包括，考虑所估计的至少一个参数，将所述当前图像的至少一 个特性与提供所述参考特征的参考图像的至少一个特性进行比较，并基于该比较验证所估 计的至少一个参数，以及其中，如果所估计的至少一个参数是经验证的，则更新所述至少一个指示符。7.如权利要求6所述的方法，其中，在考虑所估计的至少一个参数将所述当前图像的至少一个特性与所述参考图像的至 少一个特性进行比较时，确定表示比较结果的验证分数值，并且如果所述验证分数值等于 或大于验证阈值，则所估计的至少一个参数是经验证的。8.如权利要求7所述的方法，还包括确定关联到正确匹配的每一个所述参考特征和/或错误匹配的每一个所述参考特征 的至少一个第一指示符和第二指示符，所述第一和第二指示符表示捕获多个当前图像时不 同的相应情况。9.一种利用参考特征的对象初始化追踪方法，所述方法包括如下步骤-利用至少一个摄像机捕获至少一个第二当前图像并从所述至少一个第二当前图像提 取当前特征，-提供适用于光学对象初始化追踪过程中的参考特征，并提供关联到每一个所述参考 特征的至少一个指示符，所述指示符根据如前述权利要求之一所述的方法确...

【专利技术属性】
技术研发人员：S·本希马宁，D·乌布利希，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：DE