用于确定相机姿态以及用于识别真实环境的对象的方法技术

本公开涉及用于确定相机姿态以及用于识别真实环境的对象的方法。用于确定相机相对于真实环境的姿态的方法包括以下步骤：通过相机记录真实环境的至少一个图像，其中所述图像包含真实对象的至少一个部分：执行追踪方法，该追踪方法在真实对象包含在所述真实环境的所述图像中时，评价关于与真实对象相关联的特征和所述真实对象的相应特性之间的对应关系，以便得出关于相机的姿态的结论；确定环境状况的至少一个参数；以及根据所述至少一个参数来执行所述追踪方法。该方法还可类似地应用于用于在由相机拍摄的图像中识别真实环境的对象的方法。

Method for determining camera pose and object for identifying real environment

The present disclosure relates to a method for determining a camera pose and for identifying an object in a real environment. The camera is used to determine the relative to the real environment of the attitude of the method comprises the following steps: at least one image through the camera records the real environment, in which the image contains at least a part of the real object: the implementation of the tracking method, tracking method in the real object contained in the image of the real environment when the relationship between the corresponding characteristic evaluation on the characteristics and real object and the real object, so as to draw conclusions about the camera attitude; at least one parameter to determine the state of the environment; and according to the execution of the at least one parameter tracking method. The method can also be applied similarly to methods for identifying objects in a real environment in an image taken by a camera.

【技术实现步骤摘要】
用于确定相机姿态以及用于识别真实环境的对象的方法本申请是申请号为201080057475.4、申请日为2010年9月16日、专利技术名称为“用于确定相机姿态以及用于识别真实环境的对象的方法”的专利技术专利申请的分案申请。
本专利技术涉及用于确定相机相对于真实环境的姿态的方法，以及涉及用于在由相机拍摄的图像中识别真实环境的对象的方法。而且，本专利技术涉及用于提供数据模型的方法，该数据模型意图用于在用于确定相机相对于真实环境的真实目标的姿态的方法中或在用于识别真实环境的对象的方法中，与由相机拍摄的图像数据进行比较。
技术介绍
增强现实(AR)是以现实覆盖虚拟数据并且由此便于数据与现实相关联的技术。在现有技术中已知有例如移动AR系统的应用。在过去的几年中，已证实高性能移动设备(例如，所谓的智能手机)适于AR应用。同时，这些设备具有相当大的彩色显示器、内置相机、良好的处理器以及诸如方位传感器和GPS的附加传感器。此外，经由无线电通信网络，可以估计设备的位置。在过去，存在各种在移动设备上利用AR实施的方案。首先，存在使用特定的光学标记，以确定设备的位置和方位。最近，还存在利用更加现代化设备的方位传感器系统和GPS的方法([1,4,10,15])。[1]ARWikitude.http://www.mobilizy.com/wikitude.php。[4]在1997年关于可佩戴式计算机的第一国际研讨会的论文集中第74-81页由S.Feiner、B.MacIntyre、T.Hollerer和A.Webster的Atouringmachine：Prototyping3dmobileaugmentedrealitysystemsforexploringtheurbanenvironment。[10]SekaiCamera.http://www.tonchidot.com/product-info.html。[14]2008年第七届关于混合和增强现实的IEEE/ACM国际研讨会，2008年IEEE/ACM国际研讨会第187页-188页由MarkoHeinrich,BruceH.Thomas,StefanMueller的“ARWeather”，混合和增强现实。[15]layar.com出版商Springer柏林/海德尔于2006年4月在杂志《MachineVisionandApplications》出版的第17卷，第1号，第8页-第20页，书号为ISSN0932-8092(印刷)1432-1769(在线)。然而，在这方面应该注意的是由于不安全的传感器数据，配准(registration)，即覆盖，的精度值得改进。对此的方法是使用混合追踪，该混合追踪通过光学方法，例如根据GPS、罗盘以及重力传感器的组合来改善相机的初始姿态。常常使用图像数据的所谓“直方图均衡化”，以便减少对于变化的光线条件的易感性。在现有技术中，已知用于确定相机相对于真实环境的姿态的光学追踪系统的初始化和在由相机拍摄的图像中真实对象的对象识别。然而，系统的可靠性有时会随着变化的环境条件而发生极大的改变。在这方面相机姿态是空间中的相机的位置和方位。可以将现实提供为任意形式的数据模型，例如作为描述现实或部分现实的几何特性的3D模型。公开文献US2003/0025714描述了通过增强现实来可视化气象数据的系统。公开文献US2005/0231419A1描述了通过气象独立传感器来监视空域，并通过AR显示空域信息的AR系统。
技术实现思路
本专利技术的目的在于在用于确定相机相对于真实环境的姿态的方法中以及用于在由相机拍摄的图像中识别真实环境的对象的方法中，提高对于变化的环境条件的鲁棒性。根据第一方面，本专利技术涉及一种用于确定相机相对于真实环境的姿态的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；确定环境状况的至少一个第一参数；执行追踪方法，所述追踪方法在所述真实对象包含在所述真实环境的所述图像中时，评价关于所述真实对象相关联的特征和所述真实对象的相应特征之间的对应关系的信息，以获得关于所述相机的所述姿态的结论；根据所述至少一个第一参数来执行所述追踪方法；其中，在数据模型中识别并检索来自所述图像的特征，用于提供所述对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一第二参数向量或每特征一第二参数向量，其中所述第二参数向量的至少部分是至少一环境状况；以及从若干数据模型中，选择具有所述环境状况的所述至少一个第一参数和所述至少一环境状况的所述第二参数向量的至少部分之间的最小距离的数据模型。根据本专利技术的另一方面，本专利技术涉及一种用于在由相机拍摄的图像中识别真实环境的对象的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；-执行图像识别方法，所述图像识别方法提供关于所述图像中的所述至少一个真实对象的识别的信息；确定环境状况的至少一个第一参数；根据所述至少一个第一参数执行所述图像识别方法，其中，在数据模型中识别并检索来自所述图像的特征，用于提供对应关系；其中，使用特征描述符，用于所述检索；在所述数据模型内存储每数据模型一第二参数向量或每特征一第二参数向量，其中所述第二参数向量的至少部分是至少一环境状况；以及从若干数据模型中，选择具有所述环境状况的所述至少一个第一参数和所述至少一环境状况的所述第二参数向量的至少部分之间的最小距离的数据模型。具体来说，可以以这一方式识别当前环境状况，并且动态地配置该系统。通过匹配配置的方式，提高了相对于变化的环境条件的鲁棒性。根据本专利技术的实施例，所述环境状况的至少一个参数的确定使用以下信息项目中的至少一个或多个：某日的时间；某年的时间；天气，尤其是雨、云、太阳(太阳辐射)以及雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，特别是强烈运动；交通状况；位置；世界坐标系中的方位；图像直方图；温度；维护步骤。环境状况的至少一个参数尤其可以对于这些条件或状况中的一个或多个是特有的。如在上文中以示例性方式指出地，各种环境条件对于前述的用于对象识别和姿态确定的方法，常常具有很大的影响。在识别这些条件后，从而能够做出反应。例如，一个反应可以是针对太阳的大多数位置，准备环境的数据模型，并且对于雨天和晴天也如此做。当期望在特定的位置执行识别或初始化时，可以例如通过某天/某年的时间以及在线天气信息的查询的方式，加载和利用合适的数据模型(其中太阳辐射的向量与所计算的太阳辐射的向量之间的角度尽可能小)。通常而言，由此存在描述至少部分环境条件的一个或多个测量、仿真或确定的参数。可以分别从配置用于对象识别和姿态确定的识别或初始化系统的一个或多个参数中确定或导出。在本专利技术的实施例中，追踪方法使用至少一个根据至少一个参数进行初始化的光学追踪方法。例如，通过具有一个、两个、三个、四个、五个或六个自由度的追踪方法，来确定相机的姿态。在本专利技术的实施例中，追踪方法可以使用传感器类型不同的数个追踪传感器。例如，追踪方法包括根据至少一个参数对至少一个追踪传感器进行加权。在本专利技术的实施例中，追踪方法也可以包括根据至少一个参数进行方法部分步骤的优先化(prioritization)。然而，在使本文档来自技高网...

【技术保护点】
一种非暂态计算机可读介质，所述非暂态计算机可读介质包括计算机可读代码，当所述计算机可读代码由一个或多个处理器执行时，使得所述一个或多个处理器：获得由相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。

【技术特征摘要】
2009.10.19 DE 102009049849.41.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括计算机可读代码，当所述计算机可读代码由一个或多个处理器执行时，使得所述一个或多个处理器：获得由相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。2.如权利要求1所述的非暂态计算机可读介质，还包括计算机代码以使得所述一个或多个处理器基于所述评价来确定所述相机的姿态。3.如权利要求2所述的非暂态计算机可读介质，还包括计算机代码，该计算机代码使得所述一个或多个处理器基于所述一个或多个参数值中的至少一个参数值以及与所述一个或多个环境参数中的至少一个环境参数中的每个环境参数对应的理想值来计算所确定的姿态的不确定性。4.如权利要求1所述的非暂态计算机可读介质，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：捕获来自多个传感器的传感器数据，其中所述传感器数据基于所述一个或多个参数值被加权。5.如权利要求1所述的非暂态计算机可读介质，其中使得所述一个或多个处理器评价对应关系的计算机代码还包括使得所述一个或多个处理器执行以下操作的计算机代码：捕获来自多个传感器的传感器数据，其中所述多个传感器基于所述一个或多个参数值在所述评价期间被优先化。6.如权利要求1所述的非暂态计算机可读介质，其中所述一个或多个参数值根据来自所述相机本地的一个或多个传感器的传感器数据确定。7.如权利要求1所述的非暂态计算机可读介质，其中所述一个或多个参数值基于所述相机的背景从远程源获得。8.一种系统，包括：相机；一个或多个处理器；以及存储器，其被耦接到所述一个或多个处理器并且包括计算机代码，当所述计算机代码被执行时，使得所述一个或多个处理器：获得由所述相机捕获的图像，所述图像包括真实环境，所述真实环境包含具有特征的真实对象的至少一部分；确定与所述真实环境的一个或多个环境参数对应的一个或多个参数值；以及评价所述真实对象的成像特征和所述真实对象的建模特征之间的一个或多个对应关系，其中所述评价受所述一个或多个参数值影响。9....

【专利技术属性】
技术研发人员：P·迈耶，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国,DE