用于增强型远程协作的系统和方法技术方案

用于增强现实系统的技术。计算机系统从第一设备的摄像头接收场景的图像流。计算机系统从图像流构建场景的三维表示，并将场景中的物体转换为虚拟物体。计算系统在第一显示器上渲染三维表示。计算系统还向第二设备发送三维表示。计算系统在第二设备的第二显示器上渲染三维表示和虚拟物体。计算系统接收对三维表示中的虚拟物体的注释。计算系统在第一显示器上用注释更新虚拟物体。注释更新虚拟物体。注释更新虚拟物体。

【技术实现步骤摘要】
【国外来华专利技术】用于增强型远程协作的系统和方法

技术介绍

[0001]增强现实(augmented reality，AR)将虚拟内容叠加在用户的真实世界的视图之上。使用AR，用户可以使用摄像头扫描环境，计算系统实时执行视觉惯性里程计(visual inertial odometry，VIO)。一旦持续追踪了摄像头姿势，就可以将虚拟物体放置在AR场景中，以产生一种真实物体和虚拟物体融合在一起的错觉。

技术实现思路

[0002]本公开总体上涉及与增强现实应用相关的方法和系统。更具体地，本公开实施例提供了使用增强现实进行远程协作的方法和系统。
[0003]描述了使用增强现实进行远程协作的技术。计算机系统用于远程协作。计算机系统被配置为执行各种操作。这些操作包括从第一设备的摄像头接收场景的图像流。操作还包括从图像流构建场景的三维表示，并将场景中的物体转换为虚拟物体。操作还包括在第一设备的第一显示器上渲染三维表示。该操作还包括向第二设备发送三维表示。操作还包括在第二设备的第二显示器上渲染三维表示和虚拟物体。操作还包括在第二设备上接收对三维表示中的虚拟物体的注释。操作还包括在第一显示器上用注释更新虚拟物体。
[0004]相对于传统技术，通过本公开实现了许多益处。例如，本公开实施例涉及提供基于增强现实的远程协作、远程呈现、以及远程沉浸的方法和系统。用例示例包括制造、医药、通信、设计和娱乐。本公开的这些实施例和其他实施例及其许多优点和特征将结合下面的文字和相应的附图进行更详细的描述。
附图说明
[0005]将参考附图描述根据本公开的各种实施例，在附图中：
[0006]图1示出了根据本公开的至少一个实施例的增强现实远程协作环境的示例。
[0007]图2示出了根据本公开的至少一个实施例的用于增强现实应用的计算机系统的示例。
[0008]图3示出了根据本公开的至少一个实施例的语义物体数据库的示例。
[0009]图4示出了根据本公开的至少一个实施例的基于增强现实的远程协作过程的示例。
[0010]图5示出了根据本公开的至少一个实施例的基于增强现实的远程协作环境中的示例性交互时间线。
[0011]图6示出了根据本公开实施例的示例性计算机系统。
具体实施方式
[0012]在以下描述中，将描述各种实施例。出于解释的目的，阐述了具体配置和细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，实施例也可以在没有具体细节的情况下实施。此外，为了不模糊所描述的实施例，可以省略或简化众所周知
的特征。
[0013]本公开实施例尤其针对基于增强现实的远程协作。远程协作可以为地理上分散的用户提供电子共享工作空间，支持通信、协作和协调。公开的解决方案可以使用增强现实(AR)技术来改善远程协作。例如，公开的解决方案使操作远程计算系统的远程用户能够与操作本地计算系统的本地用户的场景中的物体进行虚拟交互。
[0014]相对于现有解决方案，公开的技术提供了益处。例如，虽然现有解决方案可以使本地用户能够将视频和音频实时流式传输到远程专家，但这种解决方案并不能促进本地用户和远程专家之间有意义的交互。例如，二维视频流无法传达本地用户视图中物体的物理结构，不利于与物体的虚拟交互，而是依赖本地用户和远程专家之间的口头交流。相比之下，本公开实施例使用包括场景理解、物体检测、物体的语义标记、和/或高级用户手势的AR技术来改进本地用户和远程用户之间的交互和协作。
[0015]出于讨论的目的，引入以下简化的示例。本地用户和远程用户均佩戴AR耳机。每个AR耳机与相应的计算系统和相应的用户输入设备连接。两个计算系统通过网络实时连接。本地计算系统处理来自摄像头的输入视频流并重建三维(three
‑
dimensional，3D)场景。本地计算系统将重建的场景(例如，包括识别的物体)发送到远程计算系统。进而，远程计算系统在远程用户的AR耳机中的显示器内显示场景，以便远程用户看到本地用户正在看到和正在做什么。远程用户也可以与虚拟场景交互。例如，可以将远程用户的虚拟的手传达到本地用户，这使本地用户能够更好地理解远程用户，远程用户可以是专家。远程用户还可以添加视觉或音频指令或注释。在一些情况下，可以确定和共享虚拟物体的语义信息。
[0016]现在转向附图，图1示出了根据本公开的至少一个实施例的增强现实远程协作环境的示例。图1描绘了远程协作环境100，远程协作环境100包括本地增强现实系统110、远程增强现实系统120、真实世界物体130、以及网络160。
[0017]在图1描绘的示例中，本地用户操作本地增强现实系统110(即，第一设备)。本地增强现实系统110观察包括真实世界物体130的场景，并将关于场景和真实世界物体130的信息发送到远程增强现实系统120(即，第二设备)，远程增强现实系统120可以可视化场景和真实世界物体130。此外，远程增强现实系统120可以接收来自远程用户的交互并且通过网络160将交互发送回本地增强现实系统110，其中，本地用户可以进一步可视化交互。
[0018]本地增强现实系统110包括本地计算系统112、显示器114(即，第一显示器)、输入设备116、以及摄像头118中的一个或多个。远程增强现实系统120包括远程计算系统122、显示器124(即，第二显示器)、以及输入设备126中的一个或多个。合适的计算系统的示例将参考图2和图6进一步讨论。例如，如关于图2所讨论的，计算系统可以包括AR能力，AR能力包括深度传感器和光学传感器。
[0019]合适的显示器的示例包括液晶显示器(liquid crystal display，LCD)或发光二极管(light emitting diode，LED)屏幕。显示器可以是独立的，可以与诸如手持设备或智能手机等其他设备集成，也可以放置在AR耳机中。在实施例中，显示器可以划分为分屏视图，这允许将注释、文档、或图像流与虚拟环境一起可视化。
[0020]输入设备能够从用户接收例如通过用户的手、手臂、或手指进行的输入。合适的输入设备的示例包括追踪运动的摄像头或可穿戴手臂或手部传感器，或响应触摸、轻敲、滑动、或其他手势的触摸屏或触摸表面。
[0021]摄像头118可用于采集静止图像或图像数据帧或图像数据流。摄像头118的示例包括标准智能手机摄像头(前置或后置)、深度传感器、红外摄像头等。
[0022]输入设备116和126可以各自接收来自相应用户的交互。例如，操作本地增强现实系统110的本地用户可以通过注释、移动、或改变虚拟物体来与虚拟物体交互。此外，操作本地增强现实系统110的本地用户可以将注释添加到重建场景作为虚拟物体。这些改变可以通过网络160发送到远程增强现实系统120。操作远程增强现实系统120的远程用户也可以与从本地增强现实系统110接收的虚拟物体交互。例如，远程用户可以在场景中插入手以说明如何对表示为虚拟物体的物体进行修复。可以将远程用户的手可视化为虚拟物体并包括在更新的场景中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种增强型远程协作的方法，包括：从第一设备的摄像头接收场景的图像流；从所述图像流构建所述场景的三维表示，并将所述场景中的物体转换为虚拟物体；在所述第一设备的第一显示器上渲染所述三维表示；向第二设备发送所述三维表示；在所述第二设备的第二显示器上渲染所述三维表示和所述虚拟物体；在所述第二设备上接收对所述三维表示中的所述虚拟物体的注释；以及在所述第一显示器上用所述注释更新所述虚拟物体。2.根据权利要求1所述的方法，还包括：向所述第二设备发送所述图像流；以及在所述第二显示器上可视化所述图像流。3.根据权利要求1所述的方法，还包括从所述第一设备向所述第二设备发送认证请求，其中，接收所述图像流发生在所述第二设备接受所述认证请求之后。4.根据权利要求1所述的方法，还包括：从所述第二设备上的用户输入设备接收用户输入手势；识别对应于所述用户输入手势的动作；以及对所述虚拟物体执行所述动作。5.根据权利要求1所述的方法，还包括：识别与所述虚拟物体相关联的语义标签；向所述第二设备发送所述语义标签；以及在所述第二显示器上渲染所述语义标签。6.根据权利要求1所述的方法，其中，所述注释包括音频，并且所述方法还包括在所述第一设备上播放所述音频。7.根据权利要求1所述的方法，还包括：在所述第一设备上接收对所述三维表示中的所述虚拟物体的注释；以及向所述第二设备发送所述注释。8.一种增强现实系统，包括：一个或多个处理器；第一设备，包括摄像头和第一显示器；第二设备，包括第二显示器；以及一个或多个存储器，存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时，将所述处理器配置为：从所述摄像头接收场景的图像流；从所述图像流构建所述场景的三维表示，并将所述场景中的物体转换为虚拟物体；在所述第一显示器上渲染所述三维表示；在所述第二显示器上渲染所述三维表示和所述虚拟物体；在所述第二设备上接收对所述三维表示中的所述虚拟物体的注释；以及在所述第一显示器上用所述注释更新所述虚拟物体。9.根据权利要求8所述的增强现实系统，其中，所述一个或多个存储器存储计算机可读
指令，所述计算机可读指令在由所述一个或多个处理器执行时，还将所述处理器配置为：向所述第二设备发送所述图像流；以及在所述第二显示器上可视化所述图像流。10.根据权利要求8所述的增强现实系统，其中，所述一个或多个存储器存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时，还将所述处理器配置为从所述第一设备向所述第二设备发送认证请求，其中，接收所述图像流发生在接受认证请求之后。11.根据权利要求8所述的增强现实系统，其中，所述一个或多个存储器存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时，还将所述处理器配置为：从所述第一设备上的用户输入设备接收用户输入手势；识别对应于所述用户输...

【专利技术属性】
技术研发人员：田原，徐毅，全书学，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：