用于关联多人AR系统中的设备坐标系的方法和系统技术方案

公开了映射增强现实应用的设备的坐标系的方法和系统。第二移动设备可以接收相对于与第一移动设备关联的第一坐标系定义的第一姿势。第二移动设备可以接收呈现基准标记的第一移动设备的显示屏的图像。可以识别指示第一移动设备的三维坐标的数据，并用于定义第二移动设备的与第一设备的坐标系关联的第二姿势。可以使用第二姿势生成坐标系变换，该坐标系变换在第一移动设备的第一坐标系和第二移动设备的第二坐标系之间映射坐标。基于坐标系变换，第一虚拟物体可以呈现在第二移动设备的显示屏上。屏上。屏上。

【技术实现步骤摘要】
【国外来华专利技术】用于关联多人AR系统中的设备坐标系的方法和系统


[0001]本公开一般涉及增强现实，更具体地且非限制性地，涉及映射多个设备的坐标系。

技术介绍

[0002]虚拟现实演示(AR presentations)可以在设备的显示屏所显示的真实世界环境内投影虚拟物体。增强现实设备的摄像头可以拍摄真实世界环境。可以创建虚拟物体并通过设备的显示屏呈现，使得虚拟物体看起来像自然地处在环境中。例如，摄像头可以拍摄包括空野餐桌的真实世界环境的实时视频。虚拟现实设备可以生成被呈现为如同放置在野餐桌上一样的虚拟物体。该虚拟物体呈现在显示设备中，看起来基本上如同该物体物理上位于该野餐桌一样。
[0003]在多设备增强现实系统中，每个设备可以呈现真实世界环境的虚拟表示。特别地，每个设备从该设备的角度呈现环境的虚拟表示。因此，在这样的系统中，虚拟环境在设备之间呈现的一致性很重要。

技术实现思路

[0004]本公开的各方面包括用于映射多人增强现实应用中的设备坐标系的方法。该方法包括：第二移动设备接收指示第一移动设备的第一姿势的数据，其中，第一姿势相对于与第一移动设备关联的第一坐标系定义；第二移动设备确定第二移动设备的第二姿势，其中，第二姿势相对于与第二移动设备关联的第二坐标系定义；第二移动设备接收第一移动设备的显示屏的图像，该图像示出标记；第二移动设备基于第一姿势和上述图像识别与基准标记关联的三维坐标，该三维坐标相对于第一坐标系定义；基于三维坐标确定第二移动设备的第三姿势，其中，第三姿势相对于与第一移动设备关联的第一坐标系定义；第二移动设备基于第二姿势和第三姿势生成坐标系变换，坐标系变换在第一坐标系和第二坐标系之间映射坐标；第二移动设备基于坐标系变换在第二移动设备的显示屏上呈现第一虚拟物体。
[0005]本公开的另一方面包括一种系统，该系统包括一个或多个处理器以及非暂时性计算机可读介质，非暂时性计算机可读介质包括指令，当由一个或多个处理器执行时，该指令使一个或多个处理器执行上述方法。
[0006]本公开的另一方面包括一种非暂时性计算机可读介质，其包括指令，当由一个或多个处理器执行时，该指令使一个或多个处理器执行上述方法。
[0007]从下文提供的具体实施方式中，本公开的其他应用领域将变得显而易见。应当理解，具体实施方式和具体示例虽然指示了各种实施例，但仅旨在用于说明的目的，而不旨在必然限制本公开的范围。
附图说明
[0008]本公开结合附图进行描述。
[0009]图1是根据本公开至少一个方面的增强现实系统的图示，其中多个设备的坐标系
可以被映射。
[0010]图2示出了根据本公开至少一个方面的可以呈现在第一设备上以用于多设备坐标系映射的基准标记的示例。
[0011]图3A示出了根据本公开至少一个方面的生成一个设备相对于另一设备的坐标系的姿势的过程。
[0012]图3B示出了根据本公开至少一个方面的生成坐标系变换的过程。
[0013]图4是根据本公开至少一个方面的映射两个移动设备的坐标系的过程的流程图。
[0014]图5示出了根据本公开至少一个方面的执行增强现实应用的计算系统的组件的示例。
[0015]在附图中，相似的组件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记后加上破折号和区分相似组件的第二标签来区分相同类型的各种组件。如果在说明书中仅使用了第一附图标记，则说明书适用于具有相同第一附图标记的任何类似部件，而与第二附图标记无关。
具体实施方式
[0016]以下描述仅提供优选的示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，以下优选示例性实施例的描述将为本领域技术人员提供用于实现优选示例性实施例的有效说明。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元素的功能和布置进行各种改变。
[0017]增强现实应用在设备上执行，以在对设备所在的真实世界环境同时拍摄的视频中呈现虚拟物体。设备可以在设备的显示屏上呈现所拍摄的视频，其中呈现虚拟物体，使得虚拟物体正确地显现在真实世界环境中。例如，如同对应的真实世界物体物理地处于真实世界环境中所显现的一样，虚拟物体可以以基本相同的位置和方向呈现在显示器上。为了在设备移动时保持虚拟物体的连贯性，设备可以跟踪其在真实世界环境中的位置和方向，以确保虚拟物体在设备视角发生变化的情况下继续正确显现。位置和方向定义了设备的姿势。该设备可以定义一个坐标系来将真实世界环境映射到虚拟环境并跟踪其相对于该坐标系的姿势。
[0018]在多设备增强现实应用中，同一虚拟物体可以呈现在位于真实世界环境中的多个设备的每个显示器上。通常，每个设备都会执行跟踪过程，例如SLAM过程，以根据其自己的坐标系跟踪其在真实世界环境中的姿势(例如位置和方向)。由于设备的坐标系不同，因此可能需要坐标系之间的变换，以便以协调连贯的方式在设备上显示同一虚拟物体的各个实例。可以基于显示已知基准标记或自然图像的设备以及拍摄这些基准标记或自然图像的图像的其余设备中的一个或多个来生成变换。
[0019]在示例中，在AR校准过程中，第一设备可以跟踪其相对于第一设备的第一坐标系的姿势(T
11
)。类似地，第二设备可以跟踪其相对于第二设备的第二坐标系的姿势(T
22
)。这里所使用的姿势(T
ij
)指的是在坐标系“j”中设备“i”的姿势。第一设备可以在第一设备的显示屏上呈现基准标记或标记图像，并将其姿势(T
11
)(或一系列姿势(T
11
))与时间戳(或一系列时间戳，其中该系列中的每个时间戳对应于上述一系列姿势中的一个姿势)一起发送给第二设备。可以在第一坐标系中跟踪每个姿势。标记图像可以是具有可检测特征的任何图
像，这些特征可以由设备用于定义设备相对于可检测特征的姿势。
[0020]第二设备可以拍摄第一设备显示的基准标记或标记图像的单个或一系列图像。可以选择一系列图像中的最佳图像以及匹配姿势(T
11
)的时间戳的第二设备的姿势(T
22
)。基于该图像，第二设备从基准标记或标记图像检测特征点。选择后，第二设备从第一设备的姿势(T
11
)、关于基准标记或标记图像的已知信息、以及关于第一设备的几何形状的已知信息推导出基准点的三维(three
‑
dimensional，3D)坐标，以建立3D坐标和2D特征点之间的对应关系。通过使用基于对应关系的PNP(perspective
‑
n
‑
point)技术，第二设备可以推导出其在第一坐标系中的姿势(T
21
)。第二设备分别相对于第一坐标系和第二坐标系的两个姿势(T
21
)和(T
22
)可以用于生成坐标系变换。坐标系变换可以将位置和方向从第一坐标系变换到第二坐标系，反之亦然。
[0021]图1是根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于关联多人增强现实系统中的设备坐标系的方法，所述方法包括：第二移动设备接收指示第一移动设备的第一姿势的数据，其中，所述第一姿势相对于与所述第一移动设备关联的第一坐标系定义；所述第二移动设备确定所述第二移动设备的第二姿势，其中，所述第二姿势相对于与所述第二移动设备关联的第二坐标系定义；所述第二移动设备接收所述第一移动设备的显示屏的图像，所述图像示出标记；所述第二移动设备基于所述第一姿势和所述图像识别与所述标记关联的三维坐标，所述三维坐标相对于所述第一坐标系定义；基于所述三维坐标确定所述第二移动设备的第三姿势，其中，所述第三姿势相对于与所述第一移动设备关联的所述第一坐标系定义；以及所述第二移动设备基于所述第二姿势和所述第三姿势生成坐标系变换，所述坐标系变换在所述第一坐标系和所述第二坐标系之间映射坐标。2.根据权利要求1所述的方法，其中，确定所述第二移动设备的所述第三姿势包括：从所述标记识别一组特征点；以及生成所述一组特征点和与所述标记关联的所述三维坐标之间的对应关系。3.根据权利要求2所述的方法，其中，所述一组特征点包括三个或三个以上的特征点。4.根据权利要求1所述的方法，其中，所述第一姿势由旋转向量和平移向量表示，并且其中，与所述标记关联的所述三维坐标至少部分地使用所述第一姿势和与所述第一移动设备的几何形状有关的信息进行定义。5.根据权利要求1所述的方法，其中，所述第二移动设备呈现的第一虚拟物体对应于所述第一移动设备呈现的第二虚拟物体，并且其中，所述第一虚拟物体在环境中显现在与所述第二虚拟物体基本相同的位置和基本相同的方向。6.根据权利要求1所述的方法，其中，所述坐标系变换包括变换矩阵，所述变换矩阵根据所述第二姿势和所述第三姿势之间的旋转和平移进行定义。7.根据权利要求1所述的方法，其中，所述第一姿势包括第一时间戳，所述第一时间戳对应于确定所述第一姿势的时刻。8.根据权利要求1所述的方法，还包括：所述第二移动设备基于所述坐标系变换在所述第二移动设备的显示屏上呈现第一虚拟物体。9.一种用于关联多人增强现实系统中的设备坐标系的移动设备，所述系统包括：一个或多个处理器；以及非暂时性计算机可读存储介质，存储有指令，当由所述一个或多个处理器执行时，所述指令使所述一个或多个处理器执行包括以下的操作：接收指示另一移动设备的第一姿势的数据，其中，所述第一姿势相对于与所述另一移动设备关联的第一坐标系定义；确定所述移动设备的第二姿势，其中，所述第二姿势相对于与所述移动设备关联的第二坐标系定义；接收所述另一移动设备的显示屏的图像，所述图像示出标记；基于所述第一姿势和所述图像识别与所述标记关联的三维坐标，所述三维坐标相对于
所述第一坐标系定义；基于所述三维坐标确定所述移动设备的第三姿势，其中，所述第三姿势相对于所述第一坐标系定义；以及基于所述第二姿势和所述第三姿势生成坐标系变换，其中，所述坐标系变换在所述第一坐标系和所述第二坐标系之间映射坐标。10.根据权利要求9所述的移动设备，其中，确定所述移动...

【专利技术属性】
技术研发人员：徐毅，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：