用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统技术方案

一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作/增强现实应用中，所述方法包括：由拍摄真实环境真实对象的摄像机产生第一图像；从与所述摄像机相关联的至少一个取向传感器或从算法产生第一取向数据，所述算法分析所述第一图像以找到并确定表示所述摄像机取向的特征；分配摄像机到真实对象的距离；产生表示所分配距离的距离数据；利用所述距离数据和所述第一取向数据确定所述摄像机相对于与所述真实环境的真实对象相关的坐标系的姿态。可以以更少的处理要求和/或更高处理速度，在移动装置中执行，移动装置例如是具有显示器、摄像机和取向传感器的移动电话。

【技术实现步骤摘要】
201510393737

【技术保护点】
一种用于将虚拟模型与真实环境重叠以用于创作或增强现实应用中的方法，包括：由拍摄真实环境的真实对象的至少一个摄像机来提供包括至少一个图像的第一图像；从与所述至少一个摄像机相关联的至少一个取向传感器、或从分析所述第一图像以找到并确定指示所述至少一个摄像机的取向的特征的算法来生成描述参考坐标系内的到3D平面的一法线的第一取向数据；在所述参考坐标系内的第一位置处放置虚拟模型，其中，所述虚拟模型表示已知尺寸的对象；由拍摄所述真实环境的所述真实对象的所述至少一个摄像机来提供第二图像；从与所述至少一个摄像机相关联的至少一个距离传感器、或从分析所述第一图像和所述第二图像以找到并确定指示所述至少一个摄像机的距离的特征的算法来确定第一位置数据，所述第一位置数据指示所述至少一个摄像机与所述参考坐标系内的所述3D平面之间的至少一段距离；移动要放置在由所述第一取向数据和所述第一位置数据定义的所述3D平面上的所述虚拟模型，其中，将所述虚拟模型相应地移动至所述参考坐标系内的第二位置；修正所述虚拟模型的尺度，以使所述第一图像中的所述虚拟对象的根据所述虚拟对象的所述第一位置的第一图像投影大体上等于所述第一图像中的已修正的虚拟对象的根据所述虚拟对象的所述第二位置和已修正的尺度的第二图像投影；以及在由所述至少一个摄像机拍摄的至少一个图像中显示与所述真实环境重叠的所述已修正的虚拟模型。...

【技术特征摘要】
2009.02.13 US 12/371,4901.一种用于将虚拟模型与真实环境重叠以用于创作或增强现实应用中的方法，包括：
由拍摄真实环境的真实对象的至少一个摄像机来提供包括至少一个图像的第一图像；
从与所述至少一个摄像机相关联的至少一个取向传感器、或从分析所述第一图像以找
到并确定指示所述至少一个摄像机的取向的特征的算法来生成描述参考坐标系内的到3D
平面的一法线的第一取向数据；
在所述参考坐标系内的第一位置处放置虚拟模型，其中，所述虚拟模型表示已知尺寸
的对象；
由拍摄所述真实环境的所述真实对象的所述至少一个摄像机来提供第二图像；
从与所述至少一个摄像机相关联的至少一个距离传感器、或从分析所述第一图像和所
述第二图像以找到并确定指示所述至少一个摄像机的距离的特征的算法来确定第一位置
数据，所述第一位置数据指示所述至少一个摄像机与所述参考坐标系内的所述3D平面之间
的至少一段距离；
移动要放置在由所述第一取向数据和所述第一位置数据定义的所述3D平面上的所述
虚拟模型，其中，将所述虚拟模型相应地移动至所述参考坐标系内的第二位置；
修正所述虚拟模型的尺度，以使所述第一图像中的所述虚拟对象的根据所述虚拟对象
的所述第一位置的第一图像投影大体上等于所述第一图像中的已修正的虚拟对象的根据
所述虚拟对象的所述第二位置和已修正的尺度的第二图像投影；以及
在由所述至少一个摄像机拍摄的至少一个图像中显示与所述真实环境重叠的所述已
修正的虚拟模型。
2.根据权利要求1所述的方法，其中，在由所述至少一个摄像机拍摄的至少一个图像中
显示与所述真实环境重叠的所述已修正的虚拟模型的步骤包括：根据所述虚拟对象的所述
第二位置而在所述第二图像中显示与所述真实环境重叠的所述已修正的虚拟模型。
3.根据权利要求1所述的方法，其中，修正所述虚拟模型的所述尺度的步骤包括缩放所
述虚拟模型的尺寸。
4.根据权利要求1所述的方法，其中，修正所述虚拟模型的所述尺度的步骤包括缩放或
移动与所述虚拟模型相关的坐标系。
5.根据权利要求1所述的方法，其中，所述至少一个摄像机包括第一摄像机和第二摄像
机，其中，所述第一摄像机拍摄所述第一图像，并且所述第二摄像机拍摄所述第二图像。
6.根据权利要求1所述的方法，其中，所述至少一个摄像机包括拍摄所述第一图像和所
述第二图像的一个摄像机。
7.根据权利要求1所述的方法，所述方法还包括：根据所述虚拟对象的所述第一位置而
在所述第一图像中显示与所述真实环境重叠的所述虚拟模型。
8.根据权利要求1所述的方法，其中，所述3D平面平行于地球地平面。
9.根据权利要求1所述的方法，所述方法还包括：
从所述第一图像和所述第二图像中提取至少一个相应特征，并且匹配所述至少一个相
应特征以提供指示所述第一图像与所述第二图像之间的对应关系的至少一种关系；
提供所述至少一个摄像机相对于所述参考坐标系的第一姿态，其中，所述至少一个摄
像机拍摄所述第一图像，并且确定所述至少一个摄像机相对于所述参考坐标系的第二姿
态，其中，所述至少一个摄像机使用所述至少一个摄像机的所述第一姿态和所述至少一种
关系来拍摄所述第二图像；以及
从所述第一图像和所述第二图像中提取至少一个第二相应特征，用以确定所述3D地平
面的所述第一位置数据。
10.根据权利要求1所述的方法，其中：
所述参考坐标系与所述至少一个摄像机拍摄所述第一图像的位置相关联；或者
所述参考坐标系与所述真实环境的至少部分相关联。
11.根据权利要求1所述的方法，其中，移动要放置在所述3D平面上的所述虚拟模型的
步骤还包括：提供由摄像机中心和所述虚拟对象的点定义的线；以及沿着所述线移动所述
虚拟对象。
12.根据权利要求1所述的方法，其中，根据所述第一取向数据将所述虚拟对象放置在
所述参考坐标系内的所述第一位置。
13.根据权利要求9所述的方法，还包括：从与所述至少一个摄像机相关联的所述至少
一个取向传感器产生与所述第二图像相关联的第二取向数据。
14.根据权利要求9所述方法，其中，提供所述至少一种关系还包括以下的至少其中之
一：
提供指示所述至少一个摄像机在拍摄所述第一图像与所述第二图像之间的空间关系
的至少一个参数；
提供指示在所述第一图像和所述第二图像中均可...

【专利技术属性】
技术研发人员：P·迈尔，S·本希马内，S·米斯林格，B·布拉赫尼茨基，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国;DE