在增强现实和虚拟现实环境之间链接和交互的系统和方法技术方案

本公开描述了用于在增强现实(AR)环境和虚拟现实(VR)环境之间链接和交互的系统和方法。AR主机系统可以捕获或检索与第一用户的现实世界环境的AR视图相关联的数据。数据可以包括现实世界视图的视听流、与覆盖在现实世界视图上的数字对象相关联的数字对象数据以及其它数据。AR主机系统将数据发送到VR系统。VR系统可以将第二用户放置到作为AR视图的表示的VR环境中。VR系统还可以生成与AR视图相关联的附加数字对象数据，并将生成的数字对象数据发送到AR主机系统。AR主机系统接收数字对象数据并修改呈现给第一用户的AR视图。

Systems and methods for linking and interacting between augmented reality and virtual reality environments

The present disclosure describes systems and methods for linking and interacting between augmented reality (AR) environments and virtual reality (VR) environments. The AR host system can capture or retrieve data associated with the AR view of the real world environment of the first user. Data can include audio-visual streams of real world views, digital object data associated with digital objects that are covered in the real world view, and other data. The AR host system sends data to the VR system. The VR system can place second users in the VR environment as a representation of the AR view. The VR system can also generate additional digital object data associated with the AR view and send the generated digital object data to the AR host system. The AR host system receives the digital object data and modifies the AR view presented to the first user.

【技术实现步骤摘要】
在增强现实和虚拟现实环境之间链接和交互的系统和方法相关申请的交叉参考本申请要求于2016年4月18日提交的美国临时专利申请号62/324,235的优先权。
本公开总体涉及增强现实和虚拟现实环境，并且更具体地涉及用于在增强现实环境和虚拟现实环境之间链接和交互的系统和方法。
技术实现思路
描述了用于在增强现实环境和虚拟现实环境之间进行链接和交互的系统和方法。在第一实施例中，由与第一用户相关联的增强现实系统实现的方法可以包括：捕获现实世界环境的增强现实视图的数据；向与第二用户相关联的装置发送所述增强现实视图的捕获的数据；从与所述第二用户相关联的所述装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及响应于接收到所述数字对象数据，修改所述增强现实视图。在另一实施方式中，该方法包括：呈现现实世界环境的增强现实视图，增强现实视图包括用现实世界环境注册的数字对象。可以通过显示覆盖在现实世界环境上的数字对象中的一个来呈现增强现实视图。发送的捕获数据可以包括现实世界环境的视频数据和与覆盖在现实世界环境上的一个或多个数字对象相关联的数字对象数据。增强现实系统可以包括头戴式显示器。头戴式显示器可以显示覆盖在现实世界环境上的数字对象，并使用相机记录视场。在第二实施例中，由与第一用户相关联的虚拟现实系统实现的方法可以包括：从与第二用户相关联的第二装置接收视频数据和数字对象数据，其中视频数据和数字对象数据与现实世界环境的增强现实视图的显示相关联；基于所接收的视频数据和数字对象数据，使用所述第一装置呈现虚拟现实视图；通过用户输入装置的物理操纵来接收由所述第一用户生成的数字对象数据，所述数据包括与增强现实视图相关联的数字对象数据；以及将数字对象数据发送到第二装置，其中数字对象数据修改增强现实视图的显示。在另一实施方式中，该方法包括：从与第三用户相关联的第三装置接收视频数据，其中视频数据与现实世界环境的增强现实视图的第二显示相关联；基于从第二和第三装置接收的视频数据，创建现实世界环境的三维表示；以及显示现实世界环境的三维表示。根据结合附图的以下详细描述，所公开的方法的其它特征和方面将变得显而易见，附图通过示例示出了根据本公开的实施例的特征。
技术实现思路
不旨在限制所要求保护的公开的范围，其仅由所附权利要求书限定。附图说明参照以下附图详细描述根据一个或多个各种实施例的本公开。提供附图仅是为了说明的目的，并且仅示出本公开的典型或示例实施例。图1A示出根据本公开的用于在AR和VR环境之间链接和交互的系统。图1B是示出根据本公开的增强现实或虚拟现实装置的部件的示例架构的框图。图2是示出可以使用图1A的增强现实主机系统实现的示例方法的操作流程图。图3是示出可以使用图1A的虚拟现实接收器系统实现的示例方法的操作流程图。图4示出可以用于实现本文公开的方法的各种特征的示例计算模块。附图不是详尽的并且不将本公开限制为所公开的精确形式。具体实施方式根据本文公开的技术的实施例，描述了用于在增强现实(AR)和虚拟现实(VR)环境之间链接和交互的系统和方法。在各种实施例中，这可以通过与体验环境的第一用户相关联的AR主机系统以及与可以允许第二用户与第一用户的视图交互的第二远程连接用户相关联的VR接收器系统来实现。AR主机系统包括用于生成第一用户的环境的增强视图的AR装置，并且VR接收器系统包括允许第二用户远程体验第一用户的环境并与第一用户的视图交互的VR装置。如本文所使用的，术语“增强现实”或“AR”通常是指通过诸如视频、声音和图形的计算机生成的信息或数字信息来增强或补充的物理现实世界环境的视图。数字信息被直接注册在用户的物理现实世界环境中，使得用户可以实时地与数字信息交互。数字信息可以采取图像，声音，触觉反馈，视频，文本等的形式。例如，数字对象的三维表示可以实时地覆盖在现实世界环境的用户视图上。如本文所使用的，术语“虚拟现实”或“VR”通常指的是用户在现实或想象的环境中的存在的模拟，使得用户可以与其交互。图1A示出了根据本公开的示例性系统100的高层次框图。如图所示，与第一用户(即，AR主机)相关联的AR主机系统110通过通信网络130和与第二用户(即VR接收器)相关联的VR接收器系统120通信。在一些实施例中，多个AR主机系统110可以与一个或多个VR接收器系统120通信。可替代地，一个AR主机系统110可以与多个VR接收器系统120通信。通信网络130可以包括适于在AR主机系统110和VR系统120之间交换数据的任何通信网络。AR主机系统110和VR接收器系统120可以连接到网络130的协议的一些非限制性示例包括：蜂窝电信协议，诸如GSM、UMTS、CDMA2000、LTE或WiMAX；有线通信方法，诸如电缆、DSL、拨号或光纤；或无线通信方法，诸如卫星通信或Wi-Fi。在一个实施例中，AR主机系统110和VR系统120可以通过对等网络进行通信。在一些实施例中，可以利用多个网络协议来建立通信。在操作期间，AR主机系统110可以捕获并检索与现实世界环境的AR主机的增强现实视图相关联的数据。在各种实施例中，捕获并检索的数据可以包括例如从AR主机的视角(perspective)的AR主机的现实世界环境的视听馈送、与增强现实世界环境的AR主机视图的对象相关联的数字对象数据、关于对象和视听馈送的元数据以及其它信息。作为示例，数字对象数据可以包括覆盖在现实世界视听馈送上的信息，诸如3D图形(例如，移动动画角色)、可选择标记、声音、交互元素等。另外，数字对象数据可以包括用AR用户的现实世界环境注册的其它数据，诸如例如触觉或嗅觉反馈。由AR主机系统110捕获的其它数据可以包括运动传感器或生理传感器数据(例如，用户随时间推移的运动，用户随时间推移的心率等)以及AR主机的物理空间和现实世界对象在该物理空间中的几何数据。例如，AR头戴式显示器(HMD)可以具有相机和/或传感器以扫描房间的区域。捕获和检索的数据可以被合成或保存在单独的数据流中。例如，来自视听馈送的音频数据、来自视听馈送的视频数据、来自现实世界环境的几何数据，以及不同类型的数字对象数据(例如，3D图形、音频、触觉反馈等)可以被记录为单独的数字文件(或流)或被合成到单个文件(或流)中。在实施方式中，可以使用时间代码来同步分离的数字文件。在实施例中，诸如HMD系统的AR装置111(例如，眼镜、护目镜、头盔、相机、智能手机等)可以捕获数据。HMD可以包括视频透视显示器或光学透视显示器。在一些实施例中，诸如麦克风、全向相机114、传感器112和移动装置113(例如，电话、平板电脑，诸如智能手表的可穿戴装置等)的附加装置可以辅助以下的任何组合：捕获与AR主机的环境相关联的附加数据(例如，环境的附加视图)、补充提供给AR主机的增强现实视图、处理捕获的AR数据，或通过通信网络130将捕获的数据发送到虚拟现实系统120。在各种实施例，所发送的数据可以包括例如AR主机的现实世界视图的视听流、与覆盖在AR主机的增强现实视图上的数字对象相关联的数字对象数据，以及由诸如全向相机114或传感器112的附加装置捕获的附加数据。该数据可以作为单个合成的文件/流或作为单独的数据文件/流发送。在VR系统120接收数据之后，VR接收本文档来自技高网...

【技术保护点】
一种方法，其包括：使用与第一用户相关联的增强现实系统捕获现实世界环境的增强现实视图的数据；从所述增强现实系统向与第二用户相关联的装置发送所述增强现实视图的捕获的数据；从与所述第二用户相关联的所述装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及响应于接收所述数字对象数据，所述增强现实系统修改所述增强现实视图。

【技术特征摘要】
2016.04.18 US 62/324,235;2016.11.17 US 15/354,8391.一种方法，其包括：使用与第一用户相关联的增强现实系统捕获现实世界环境的增强现实视图的数据；从所述增强现实系统向与第二用户相关联的装置发送所述增强现实视图的捕获的数据；从与所述第二用户相关联的所述装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及响应于接收所述数字对象数据，所述增强现实系统修改所述增强现实视图。2.根据权利要求1所述的方法，进一步包括：使用所述增强现实系统呈现现实世界环境的所述增强现实视图，所述增强现实视图包括用所述现实世界环境注册的一个或多个数字对象。3.根据权利要求2所述的方法，其中呈现所述增强现实视图包括显示覆盖在所述现实世界环境上的所述一个或多个数字对象中的一个，并且其中捕获的数据包括所述现实世界环境的视频数据和与覆盖在所述现实世界环境上的一个或多个数字对象相关联的数字对象数据。4.根据权利要求3所述的方法，其中所述增强现实系统包括用于显示覆盖在所述现实世界环境上的数字对象的头戴式显示器。5.根据权利要求4所述的方法，其中捕获呈现的增强现实视图的数据包括记录所述头戴式显示器的视场的所述头戴式显示器的相机。6.根据权利要求3所述的方法，其中发送到与所述第二用户相关联的所述装置的所述视频数据和所述数字对象数据作为单独的数据流被发送。7.根据权利要求3所述的方法，其中修改所述呈现的增强现实视图包括显示覆盖在所述现实世界环境上的新数字对象或者修改覆盖在所述现实世界环境上的数字对象的显示。8.根据权利要求3所述的方法，进一步包括：从所述增强现实系统向与第三用户相关联的第二装置发送呈现的所述增强现实视图的所述捕获的数据；从与所述第三用户相关联的所述第二装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及响应于从所述第二装置接收所述数字对象数据，所述增强现实系统修改所述呈现的增强现实视图。9.根据权利要求3所述的方法，进一步包括：所述增强现实系统使用传感器或全向相机捕获关于所述现实世界环境的附加数据；以及将所述附加数据发送到与所述第二用户相关联的装置。10.一种增强现实系统，其包括：处理器；非暂时性计算机可读介质，其可操作地耦合到所述处理器并且具有贮存在其上的指令，所述指令在由所述处理器执行时使所述系统：呈现现实世界环境的增强现实视图，所述增强现实视图包括用所述现实世界环境注册的一个或多个数字对象；捕获呈现的增强现实视图的数据；向与第二用户相关联的装置发送所述呈现的增强现实视图的捕获的数据；从与所述第二用户相关联的所述装置接收与所述增强现实视图...

【专利技术属性】
技术研发人员：T·R·史密斯，M·阿兰纳，E·德雷克，A·C·陈，
申请(专利权)人：迪斯尼企业公司，
类型：发明
国别省市：美国,US