网络控制的3D视频捕获制造技术

描述了用于控制捕获三维(3D)视频内容的过程的技术。例如控制器可以提供对参与该3D视频内容的捕获和处理的各种组件的集中控制。例如该控制器可以建立与(例如在其他计算设备上运行的)多个组件的连接。控制器可以从该组件接收状态更新消息(例如包括状态改变信息、网络地址信息等)。控制器还可以向该组件广播消息。例如该控制器可以向该组件广播系统状态消息，其中该系统状态消息包括该组件的当前状态信息。该控制器还可以广播其他类型的消息，诸如指示该组件进入开始状态的开始消息。

Network controlled 3D video capture

【技术实现步骤摘要】
【国外来华专利技术】网络控制的3D视频捕获
技术介绍
控制涉及处理信息的多个设备可能是困难的任务。例如如果多个设备涉及处理视频信息(例如视频捕获和处理)，则设备可能需要以特定顺序开始和/或设备可能需要以特定顺序或特定配置来处理视频信息。在设备彼此远离并经由计算机网络进行通信的情况下，设备启动和开始处理的顺序甚至更为重要。在一些解决方案中，可以手动开始这种设备。例如用户可以在物理上打开设备之一的电源、登录并开始特定的软件应用。用户可以按特定顺序并使用特定配置选项来对其他设备重复此过程。但是，此过程可能会出现问题并且容易出错。例如用户可能需要在第一设备上开始软件，切换到第二设备以开始不同的软件应用，切换回第一设备以建立与第二设备的网络连接，等等。如果设备之一发生故障(例如由于软件崩溃)，也会出现问题，这可能导致整个系统出现故障。因此，存在针对与网络控制的视频捕获和处理有关的技术中的改进的充分机会。
技术实现思路
提供本
技术实现思路
以简化形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。描述了用于控制捕获三维(3D)视频内容的过程的技术。例如控制器可以提供对参与3D视频内容的捕获和处理的各种组件的集中控制。例如控制器可以与(例如在其他计算设备上运行的)多个组件建立连接。控制器可以从组件接收状态更新消息(例如包括状态改变信息、网络地址信息等)。控制器还可以将消息广播到组件。例如控制器可以向组件广播系统状态消息，其中系统状态消息包括组件的当前状态信息。控制器还可以广播其他类型的消息，诸如指示组件进入开始状态的开始消息。例如可以提供一种用于控制3D视频捕获的方法。该方法包括从多个组件接收连接，其中多个组件在一个或多个其他计算设备上运行。多个组件可以处理信息以用于从所捕获的现实世界视频输入来生成三维全息视频输出。该方法还包括从多个组件接收状态更新消息，其中状态更新消息包括多个组件处于就绪状态的指示。该方法还包括：在从多个组件接收到状态更新消息之后，向多个组件广播开始命令。多个组件至少部分地基于从计算设备接收的开始命令，开始处理信息以用于从捕获的现实世界视频输入来生成三维全息视频输出。多个组件可以包括多个深度生成器、编码器和分发器。在一些实现中，该方法包括将系统状态消息广播到多个组件。例如系统状态消息可以包括多个组件的当前状态信息。可以响应于状态改变而在多个组件之间广播系统状态消息。在一些实现中，该方法由在计算设备上运行的控制器执行，该计算设备经由到计算机网络的网络连接与多个组件进行通信。如本文所述，可以根据需要将各种其他特征和优点并入技术中。附图说明图1是描绘了用于通过控制面板控制三维视频捕获的示例环境的图。图2是描绘了用于通过控制面板控制三维视频捕获的示例环境的图，该控制面板包括编码器和分发器组件。图3是描绘了在转换到准备状态期间在控制面板和其他组件之间的示例网络通信流的图。图4是描绘了在转换到运行状态期间在控制面板和其他组件之间的示例网络通信流的图。图5是用于控制3D视频捕获的示例方法的流程图。图6是由包括多个深度生成器、编码器和分发器的多个组件执行用于控制3D视频捕获的示例方法的流程图。图7是用于通过控制器来控制3D视频捕获的示例方法的流程图。图8是其中可以实现一些所描述的实施例的示例计算系统的图。图9是可以与本文描述的技术结合使用的示例移动设备。图10是可以与本文描述的技术结合使用的示例云支持环境。具体实施方式概述如本文所述，提供了用于控制捕获三维(3D)视频内容的过程的各种技术。例如控制器(也称为控制面板)可以提供对参与3D视频内容的捕获和处理的各种组件的集中控制。例如控制器可以与(例如在其他计算设备上运行的)多个组件建立连接。控制器可以从组件接收状态更新消息(例如包括状态改变信息、网络地址信息等)。控制器还可以将消息广播到组件。例如控制器可以向组件广播系统状态消息，其中系统状态消息包括组件的当前状态信息。控制器还可以广播其他类型的消息，诸如指示组件进入开始状态的开始消息。本文所述的技术可用于控制捕获用于生成3D全息视频输出的现实世界视频输入的过程。为了提供现实世界的视频输入，使用相机来捕获现实世界的对象或环境(例如人或物)的图像。除了用于应用彩色的图像外，相机还捕获用于产生深度信息的图像。在一些实现中，视频相机被组织成两个单色相机和一个彩色相机的组(也称为盒)。例如单色相机可以使用红外(IR)带通滤波器和IR散斑图案来改进立体声对应匹配。视频输出(例如深度视频流和彩色视频流)可以被传递到其他组件，这些组件处理视频信息，生成3D模型并显示3D全息视频输出。例如视频输出可以通过网络被传输到(例如在不同的计算设备上运行的)深度生成器，该深度生成器从单色图像来创建深度图。然后，可以将深度图通过网络传输到融合组件(例如，与深度生成器在不同的计算设备上运行)，融合组件组合深度图并创建3D模型。然后，可以将3D模型通过网络传输到(例如与融合组件运行在不同的计算设备上的)绘制器，该绘制器接收3D模型并将其绘制为可见格式并应用彩色信息(例如从彩色相机沿着相同路径传递)，以创建彩色3D模型，然后准备将其输出到全息显示设备或另一种类型的显示设备。例如绘制器可以生成左右1080p图像，以在虚拟现实或增强现实头戴式耳机中显示3D全息视频输出。可用作输出设备的全息显示设备的一些示例包括和HTCVIVETM。在此描述的技术可以用于实现整体运输系统。Holoportation是一种3D捕获技术，其允许人和/或环境的高质量3D模型被构建并被实时发送给查看者。在一些实现中，将3D模型被发送到远程位置以供观看。整体传输允许用户看到3D远程参与者并与之交互，就好像他们实际存在于其物理空间中一样。存在一些用于捕获和呈现3D视频内容的解决方案。但是，这样的解决方案面临许多问题。例如现有的解决方案利用互连不良的大量计算设备。例如系统中的某些设备可能需要连接到系统中的其他设备。如果手动建立此类互连，则可能会发生错误(例如设备可能被不正确地配置)。此外，现有解决方案使用手动启动处理。例如在3D视频内容的捕获、处理和显示中使用的设备可能必须手动开始并以特定顺序开始。这种手动启动可能会出现问题。例如如果某些设备未按正确的顺序开始，或者没有足够的时间初始化，则它们可能无法正确运行(例如它们可能产生损坏的数据，它们可能根本不产生数据，或者可能崩溃)。使用本文描述的技术，可以更高效和可靠地捕获和处理3D视频内容。例如可以利用控制器来控制参与3D视频内容的捕获、处理和显示的各种组件(可以在通过本地和/或远程网络分布的多个计算设备上运行)的启动和操作。控制器可以通过接收来自各种组件的连接来控制启动和初始化处理，以便于确保在继续操作之前组件处于就绪状态。控制器还可以控制启动过程，其中组件通过控制各种组件到运行状态的转换(例如控制各种本文档来自技高网...

【技术保护点】
1.一种计算设备，包括：/n处理单元；/n存储器；以及/n网络连接；/n所述计算设备经由计算机可执行指令被编程为执行操作以用于控制三维(3D)视频捕获，所述操作包括：/n经由所述网络连接，从所述多个组件接收连接，其中所述多个组件处理信息以用于从捕获的现实世界视频输入来生成三维全息视频输出，并且其中所述多个组件在一个或多个其他计算设备上运行；/n经由所述网络连接，从所述多个组件接收状态更新消息，其中所述状态更新消息包括所述多个组件处于就绪状态的指示；以及/n在从所述多个组件接收到所述状态更新消息后，经由所述网络连接向所述多个组件广播开始命令；/n其中所述多个组件至少部分地基于从所述计算设备所接收的所述开始命令，开始处理信息以用于从所述捕获的现实世界视频输入来生成所述三维全息视频输出。/n

【技术特征摘要】
【国外来华专利技术】20171030 US 15/797,9091.一种计算设备，包括：
处理单元；
存储器；以及
网络连接；
所述计算设备经由计算机可执行指令被编程为执行操作以用于控制三维(3D)视频捕获，所述操作包括：
经由所述网络连接，从所述多个组件接收连接，其中所述多个组件处理信息以用于从捕获的现实世界视频输入来生成三维全息视频输出，并且其中所述多个组件在一个或多个其他计算设备上运行；
经由所述网络连接，从所述多个组件接收状态更新消息，其中所述状态更新消息包括所述多个组件处于就绪状态的指示；以及
在从所述多个组件接收到所述状态更新消息后，经由所述网络连接向所述多个组件广播开始命令；
其中所述多个组件至少部分地基于从所述计算设备所接收的所述开始命令，开始处理信息以用于从所述捕获的现实世界视频输入来生成所述三维全息视频输出。


2.根据权利要求1所述的计算设备，其中多个组件包括：
多个深度生成器组件。


3.根据权利要求2所述的计算设备，其中多个组件还包括：
编码器组件；以及
分发器组件。


4.根据权利要求3所述的计算设备，其中编码器组件将编码的视频图像从多个视频相机传输到所述分发器组件，并且其中所述分发器组件在距所述编码器组件的远程网络中操作。


5.根据权利要求3所述的计算设备，其中所述分发器组件在向所述计算设备发送报告所述就绪状态的所述状态更新消息之前，建立与所述多个深度生成器组件的直接网络连接，以及
其中所述编码器组件在向所述计算设备发送报告所述就绪状态的所述状态更新消息之前，建立与所述分发器组件的直接网络连接。


6.根据权利要求1所述的计算设备，所述操作还包括：
当状态更新消息从所述多个组件中的一个组件被接收到时，向所述多个组件广播当前系统状态，其中所述当前系统状态包括所述多个组件的状态信息。


7.根据权利要求1所述的计算设备，其中多个组件包括：
融合组件；以及
绘制器组件。


8.一种由包括处理单元和存储器的计算设备实现的方法，所述方法包括：
经由网络连接，从多个组件接收连接，其中所述多个组件处理信息以用于从捕获的现实世界视频输入来生成三维全息视频输出，其中所述多个组件在一个或多个其他计算设备上运行，并且其中所述多个组件包括：
多个深度生成器；
编码器；以及
分发器；
经由所述网络连接，向所述多个组件广播系统状态消息，其中所述系统状态消息包括所述多个组件的当前状态信息，并且其中所述系统状态消息响应于状态改变在所述多个组件之间被广播；
经由所述网络连接，从所述多个组件接收状态更新消息，其中所述状态更新消息包括所述多个组件处于就绪状态的指示；
在从所述多个组件接收到所述状态更新消息后，经由所述网络连接向所述多个组件广播开始命令；
其中所述多个组件根据至少部分基于所述广播系统状态消息的启动顺序，开始处理信息以用于从所述捕...

【专利技术属性】
技术研发人员：S·G·福沃斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US