合并来自建图设备的局部地图制造技术

增强现实系统在客户端设备上生成计算机中介的现实。该客户端设备具有传感器，该传感器包括被配置为捕获环境的图像数据的相机。增强现实系统基于所捕获的图像数据生成客户端设备周围环境的第一3D地图。服务器接收从环境中的第二客户端设备捕获的图像数据，并生成环境的第二3D地图。服务器在单一3D地图中将第一和第二3D联接在一起。单一3D地图可以是使用表示由在客户端设备处捕获的图像数据生成的3D地图的节点和表示节点之间的变换的边的现实世界的图形表示。世界的图形表示。世界的图形表示。

【技术实现步骤摘要】
【国外来华专利技术】合并来自建图设备的局部地图
[0001]相关申请交叉引用
[0002]本申请要求2019年12月20日提交的美国临时申请第62/952,036号的权益，该申请通过引用整体并入。


[0003]本公开总体涉及计算机中介的现实系统，更具体地，涉及将从客户端设备收集的数据生成的3D地图联接到单一3D地图的增强现实(AR)系统。

技术介绍

[0004]平行现实游戏可以提供与现实世界的至少一部分平行的共享虚拟世界，其可以托管能够吸引玩家社区的各种交互。提供具有与现实世界的至少一部分平行的地理位置的虚拟世界允许玩家通过导航现实世界来导航虚拟世界。在游戏期间，玩家可以通过手持或可穿戴设备查看虚拟世界，该设备使用计算机中介的现实技术来增加、减少或以其他方式改变玩家对其环境的视觉或听觉感知。
[0005]然而，准确地改变玩家对环境的视觉感知通常涉及准确地知道玩家在现实世界中的位置。这可能很难确定，因为传统的定位设备不够准确以在没有相当大的误差范围的情况下确定玩家的位置。因此，需要一种用于绘制由玩家的移动设备的相机捕获的现实世界地图以帮助确定未来移动设备的位置的系统。

技术实现思路

[0006]在基于位置的平行现实游戏中，玩家通过使用位置感知客户端设备(诸如智能手机)在现实世界中移动来导航虚拟世界。许多客户端设备使用由设备上的(多个)相机捕获的图像数据来绘制玩家的环境地图，其可以用于确定玩家的位置、确定要覆盖在所捕获的图像数据上的增强现实(AR)图像等。这些地图可以描述相同的环境，但由于是在不同的客户端设备上捕获的，地图可能具有不同的坐标空间并捕获环境的不同视图。为了创建环境的单一3D地图，可以基于图像数据、位置数据和/或捕获这种数据的客户端设备将所生成的地图联接在一起。
[0007]根据特定实施例，通过网络连接到多个客户端设备的系统接收由集成在第一客户端设备处的相机捕获的第一组图像数据。第一组图像数据表示第一客户端设备周围的第一区域的近实时的视图。该系统基于第一组图像数据生成第一3D地图。3D地图在空间上描述第一客户端设备周围的第一区域。该系统接收表示第二客户端设备周围的第二区域的近实时的视图的第二组图像数据，并基于第二组图像数据生成第二3D地图。该系统分析第一和第二3D地图以标识共同特征，并基于该共同特征将第一3D地图和第二3D地图联接成单一3D地图。
[0008]单一3D地图可以是节点图形，每个节点表示由在客户端设备处捕获的图像数据生成的3D地图。每个节点可以基于捕获图像数据的客户端设备而与不同的坐标空间相关联，
并且该图形可以包括节点之间的边，其表示坐标空间之间的变换。该系统可以使用该图形来确定环境中客户端设备的位置。
[0009]参考以下说明书和所附权利要求书，可以更好地理解这些和其他特征、方面和优点。附图说明了具体实施例，并与说明书一起用于解释各种原理。然而，附图不应被认为是限制性的。相反，保护范围应从权利要求中确定。
附图说明
[0010]图1示出了根据实施例的用于生成和显示增强现实数据的联网计算环境。
[0011]图2是根据一个实施例的一个世界建图模块120的框图。
[0012]图3是根据实施例，示出用于生成和显示增强现实数据的AR计算系统可执行的过程的流程图。
[0013]图4根据一个实施例，描绘了与现实世界平行的虚拟世界的概念图，其可充当基于位置的平行现实游戏的玩家的游戏板。
[0014]图5是根据实施例，将第一3D地图和第二3D地图联接在一起成为环境的单一3D地图的流程图。
[0015]图6是根据实施例，基于同步来生成环境的单一3D地图的流程图。
[0016]图7是根据实施例，示出适合用作客户端设备或服务器的示例计算机的高级别框图。
具体实施方式
[0017]一种系统和方法将两个或更多个局部地图联接在一起成为单一地图。该单一地图可用于在与现实世界平行的虚拟世界中实现增强现实交互。在各种实施例中，基于包含共同特征、指示生成局部地图的客户端设备的相对位置的同步数据或两者，将局部地图缝合在一起。
[0018]在一个实施例中，该系统使用客户端设备(例如，手持或佩戴的电子设备)上的图像和全球定位系统(GPS)坐标来生成3D地图。该3D地图是由相机记录模块和惯性测量单元(IMU)(诸如加速计或陀螺仪)构建的。图像和GPS坐标被发送到服务器。服务器和客户端设备一起处理数据以建立对象和几何图形，以及确定潜在交互。潜在交互的示例包括在房间中使用AR动画制作的交互，诸如移动虚拟元素。
[0019]通过将图像和3D地图一起使用，该系统可以使用神经网络或其他类型的模型来完成目标检测和几何图形估计。神经网络的示例是机器学习中使用的计算模型，它使用大量连接的简单单元(人工神经元)的集合。这些单元通过软件连接在一起，并且如果所组合的输入信号足够大，则这些单元就会发出它们自己的输出信号。该系统可以使用深度学习(例如，多层神经网络)来在上下文中理解AR数据。其他类型的模型可以包括其他统计模型或其他机器学习模型。
[0020]该系统聚集局部地图以创建一个或多个全局地图(例如，通过将局部地图联接在一起)。所聚合的地图被组合在一起成为服务器上的单一全局地图，该服务器提供环境的数字地图，或“世界”。例如，由一个或多个设备生成的两个局部地图可以被表示为不同坐标空间中的节点。包括在预定阈值内匹配的局部地图的部分的相似GPS坐标、相似图像和相似传
感器数据的任何组合，可以被确定为包含共同特征(例如，在空间中“重叠”)。因此，该系统可以用表示节点的坐标空间之间的变换的边将两个节点联接在一起。所联接的节点可以包含在表示使用由客户端设备捕获的图像制作的其他局部地图的节点图形中。该图形可以表示单一全局地图，并且可以帮助维护表示给多个客户端设备的虚拟世界之间的一致性。
[0021]此外，在一些实施例中，系统可以基于包含在局部地图内的边或共同特征将局部地图缝合在一起成为世界地图。世界地图可以存储在特定GPS坐标处的虚拟世界的动画，并且还可以通过3D点和视觉图像被索引到世界中的特定位置(例如，以1英尺/30厘米的量级的分辨率)。在另一示例中，该系统可以基于同步数据将局部地图缝合在一起，该同步数据指示当客户端设备遍历环境时生成局部地图的客户端设备的相对位置。
[0022]示意性流程将数据映射到云和从云映射数据。在一个实施例中，地图是空间中的3D点的集合，诸如点云，其以类似于3D像素的方式表示世界。当3D地图可用且有用时，图像数据将与3D地图一起发送。某些示例发送没有图像数据的3D地图数据。
[0023]在各种实施例中，客户端设备使用由处理器执行的3D算法来生成3D地图。客户端设备以高效的方式发送图像、3D地图、GPS数据和任何其他传感器数据(例如，IMU数据、任何其他位置数据)。例如，可以选择性地发送图像，以便不会阻碍传输或处理。在一个示例中，当图像显示环境的新视点时，而不是当图像仅显示环境内先前看到的视点本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种组合来自多个客户端设备的地图数据以生成环境的三维(3
‑
D)地图的方法，所述方法包括：接收由集成在第一客户端设备中的相机捕获的第一组图像数据，所述第一组图像数据表示所述第一客户端设备周围的第一区域的近实时的视图；基于所述第一组图像数据生成第一3D地图，所述3D地图在空间上描述所述第一客户端设备周围的所述第一区域；基于第二组图像数据生成第二3D地图，其中所述第二3D地图在空间上描述第二客户端设备周围的第二区域；分析所述第一3D地图和所述第二3D地图以标识共同特征；以及基于所述共同特征将所述第一3D地图和所述第二3D地图联接在单一3D地图中。2.根据权利要求1所述的方法，其中：所述第一3D地图与图形中的第一节点相关联；所述第二3D地图与所述图形中的第二节点相关联；以及所述第一节点和所述第二节点由基于所述分析而确定的边来联接。3.根据权利要求2所述的方法，其中所述第一节点和所述第二节点中的每个节点与不同的坐标空间相关联，并且所述边包括所述不同的坐标空间之间的变换。4.根据权利要求3所述的方法，其中每个坐标空间表示捕获所述图像数据的时间。5.根据权利要求4所述的方法，其中所述边使用以下中的一项或多项来确定：会话信息、基于点特征的定位、基于线特征的定位、3D云对准、强制重叠、优化或基于QR码的定位。6.根据权利要求2所述的方法，其中所述图形包括与3D地图数据相关联的节点，所述3D地图数据根据由一个或多个客户端设备在一次或多次中所捕获的图像数据生成。7.根据权利要求2所述的方法，其中所述第一3D地图和所述第二3D地图中的每个3D地图与置信度分数相关联，并且所述边是基于每个3D地图的所述置信度分数的。8.根据权利要求1所述的方法，还包括：基于所述单一3D地图确定第三客户端设备在所述环境中的位置。9.根据权利要求1所述的方法，其中所述第一客户端设备和所述第二客户端设备在虚拟现实游戏中被连接。10.一种非瞬态计算机可读存储介质，包括由处理器可执行的指令，所述指令包括：用于接收由集成在第一客户端设备中的相机捕获的第一组图像数据的指令，所述第一组图像数据表示所述第一客户端设备周围的第一区域的近实时的视图；用于基于所述第一组图像数据生成第一3D地图的指令，所述3D地图在空间上描述所述第一客户端设备周围的所述第一区域；用于基于第二组图像数据生成第二3D地图的指令，其中所述第二3D地图在空间上描述第二客户端设备周围的第二区域；用于分析所述第一3D地图和所述第二3D地图以标识共同特征的指令；以及用于基于所述共...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奈安蒂克公司，
类型：发明
国别省市：