用于在真实环境的视图中描绘虚拟信息的方法技术

一种用于在真实环境的视图中描绘虚拟信息的方法包括下面步骤：在服务器(2)的数据库(3)中，提供具有地理全球坐标系统(200)的全球位置和方向的至少一个虚拟对象(10)，以及允许对虚拟对象的全球位置和方向得出结论的第一姿态数据(PW10)；通过移动设备(30)拍摄真实环境(40)的至少一幅图像(50)，并提供第二姿态数据(PW50)，其中第二姿态数据允许对该图像是在地理全球坐标系统(200)的什么位置和什么方向拍摄的得出结论；在移动设备的显示器(31)上显示该图像(50)；在服务器(2)的数据库(3)中存取该虚拟对象(10)，并基于第一姿态数据和第二姿态数据(PW10、PW50)在显示器显示的图像(50)中放置该虚拟对象(10)；通过在显示器显示的图像(50)中进行相应定位，操作该虚拟对象(10)或者增加另外的虚拟对象(11)；在服务器(2)的数据库(3)中，提供根据图像(50)中的定位的操作的虚拟对象(10)以及修改第一姿态数据(PW10)，或者根据图像(50)中的定位的另外的虚拟对象(11)以及第三姿态数据；修改的第一姿态数据和第三姿态数据均允许对操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。例如，不是使用真实环境的图像，还可以使用HMD的视图来模拟地执行该方法。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及。
技术介绍
增强现实(AR)是ー种对现实覆盖虚拟数据的技木，因此该技术有助于实现数据与现实的关联。移动AR系统的使用在现有技术中是已公知的。在过去几年来，高性能移动设备(例如，智能电话)开始适合于AR应用。这些设备同时具有相对较大的彩色显示器、 内置的摄像头、卓越的处理器和另外的传感器(例如，方向传感器和GPQ。除此之外，可以通过无线网络来对该设备的位置进行近似。在过去，有使用AR在移动设备上实现的各种项目。首先，使用了用于确定设备的位置和方向的特殊光学测标。关于也可用于较大区域的AR(因此，其还称为较大区域AR)， 已公布了用于结合HMD(头盔显示器)来切合实际地描绘对象的暗示。在最近时间，还存在使用GPS和现代设备的方向传感器系统的方法。但是，迄今为止公布的这些方法具有下面缺点它们不允许在AR场景中实现其它用户的简单融合。除此之外，基于GPS和指南针的大多系统还具有下面缺点这些设备必须进行令人信服地提供，但是却可能存在很大的不准确性。美国2009/0179895 Al描述了在真实环境(“街景”)的图像中混合三维评注或注释的方法。通过图像中的选择框的方式，用户选择要混合注释的位置。其后，将该选择框投影在三维模型上，以便确定注释关于该图像的位置。此外，确定与三维模型上的投影相对应的位置数据，并将其与用户输入的注释进行关联。将该注释与位置数据一起存储在服务器的数据库中，并可以根据该位置数据，与真实环境的另一幅图像进行混合。通常并在下文中使用术语“标签(tagging) ”来描述用户使用另外的信息对现实进行丰富。迄今为止结合标签(tagging)实现的方法包括将对象放置在地图视图(例如，谷歌地图)中，对位置点进行拍照，将这些图像与另外的评论一起存储，以及在特定的位置点生成文本消息。不利的是，远处的观看者和用户不能再获得对于世界中的交互式场景的AR 接入。只能看到该AR场景的所谓屏幕截图(屏幕图像)，但不再改变。本专利技术的目标在于指示在真实环境的视图中描绘虚拟信息的方法，其允许用户通过增强现实的方式，交互式地观看其它用户生成的AR图像场景，并在实现时保证高准确性和用户友善。
技术实现思路
根据本专利技术的第一方面，提供了一种，该方法包括下面步骤在服务器的数据库中，提供具有地理全球坐标系统的全球位置和方向的至少ー个虚拟对象，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据；通过移动设备拍摄真实环境的至少一幅图像，并提供第二姿态数据，其中所述第二姿态数据允许对所述图像是在所述地理全球坐标系统的什么位置和什么方向拍摄的得出结论；在所述移动设备的显示器上显示所述图像；在所述服务器的数据库中存取所述虚拟对象，并基于所述第一姿态数据和所述第二姿态数据，在显示器显示的所述图像中定位所述虚拟对象；通过在显示器显示的所述图像中进行相应定位，操作所述虚拟对象或者增加另外的虚拟对象；在所述服务器的数据库中，提供根据所述图像中的定位的所操作的虚拟对象以及修改的第一姿态数据，或者根据所述图像中的定位的另外的虚拟对象以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的操作对象的全球位置和方向得出结论。在该方面，可以在例如所述服务器上提供所述图像以及所述第二姿态数据。根据本专利技术的另外方面，提供了一种，该方法包括下面步骤在服务器的数据库中，提供具有地理全球坐标系统的全球位置和方向的至少一个虚拟对象，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据；通过数据眼镜(例如，所谓的光学式透视数据眼镜或者视讯式透视数据眼镜)提供真实环境的至少一个视图以及第二姿态数据，其中所述第二姿态数据允许对所述数据眼镜位于所述地理全球坐标系统的什么位置和什么方向得出结论；在所述服务器的数据库中存取所述虚拟对象，并基于所述第一姿态数据和所述第二姿态数据，在所述视图中定位所述虚拟对象；通过所述视图中的相应定位，操作所述虚拟对象或者增加另外的虚拟对象；在所述服务器的数据库中，提供根据所述视图中的定位的所操作的虚拟对象以及修改的第一姿态数据，或者根据所述视图中的定位的另外的虚拟对象以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。在本专利技术的实施例中，所述移动设备或者所述数据眼镜包括(或者连接到)用于生成所述第二姿态数据的单元。 例如，该姿态数据可以各自包括关于位置和方向的三维值。此外，可以独立于地球的表面来规定所述真实环境的图像的方向。根据本专利技术的另一个实施例，在服务器的存储位置上存储真实环境的几幅图像中的哪幅图像或者真实环境的几个视图中的哪个视图，几个虚拟对象中的哪个虚拟对象已提供有姿态数据。当例如通过GPS传感器(GPS 全球定位系统)来确定移动设备的位置时，可能会碰巧由于传感器不准确或者GPS固有的不准确，而发生仅仅以相对不准确方式确定该移动设备的位置。这可以是将混合的虚拟对象相对于地理全球坐标系统相应不准确地放置在图像中的结果，使得在具有不同的观察角度的其它图像或者视图中，混合在这里的虚拟对象以关于现实具有相应位移的方式示出。为了在真实环境的图像中实现虚拟对象或者其位置的更加准确描绘，根据本专利技术的方法的实施例包括下面步骤提供具有真实环境的参考视图以及姿态数据的参考数据库，其中所述姿态数据允许对摄像机在地理全球坐标系统的什么位置和什么方向拍摄各个参考视图得出结论；将所述图像中示出的至少一个真实对象与所述参考视图的至少一个中包含的真实对象的至少一部分进行比较，所述图像的第二姿态数据与所述至少一个参考视图的姿态数据匹配；作为所述匹配的结果，基于所述至少一个参考视图的姿态数据的至少一部分来修改所述第二姿态数据的至少一部分。此外，另ー个实施例包括将位于所述图像中的虚拟对象的第一姿态数据的至少一部分，修改成所述图像的第二姿态数据与所述至少一个參考视图的姿态数据的匹配的结ο通过所附权利要求书，可以获得本专利技术的另外发展和实施例。下面通过附图中所示图形的方式，更详细地解释本专利技术的方面和实施例。附图说明图IA示出了可以用于执行根据本专利技术的方法的系统设置的第一示例性实施例的示意性布置的平面图。图IB示出了可以用于执行根据本专利技术的方法的系统设置的第二示例性实施例的示意性布置的平面图。图IC示出了用于执行根据本专利技术的方法的系统的实施例的可能数据结构的示意性视图。图2根据本专利技术的一个实施例，示出了參与的坐标系统的概述的示意性视图。图3示出了根据本专利技术的一个实施例的方法的示例性流程。图4示出了根据本专利技术的另ー个实施例的方法的示例性流程，特別增补了用于提高图像姿态的可选测量。图5示出了在没有实现姿态改进的情况下，具有在其中放置的虚拟对象的真实环境的示例性场景。图6示出了在实现姿态改进之后，具有在其中放置的虚拟对象的真实环境的示例性场景。图7A示出了在其中放置虚拟对象的真实世界的示例性地图视图。图7B示出了与图7A相同的场景的示例性透视图。具体实施例方式图IA示出了描绘ー种系统设置的第一示例性实施例的示意性排列的平面图，其中该系统设置可以用于执行根据本专利技术的方法。在图IA的视图中，用户穿戴装在头部的显示系统(“头盔显示器”，简写为HMD)以作本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：P·迈尔，M·屈恩，F·安格曼，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：