基于三维(“3D”)场景的二维(“2D”)捕获图像，渲染虚拟现实内容的方法和系统技术方案

一种示例性方法包括虚拟现实内容渲染系统，该虚拟现实内容渲染系统接收由相对于三维(“3D”)场景设置在不同优势点(vantage point)的多个捕获设备捕获的二维(“2D”)颜色数据和深度数据，接收元数据，对与包括在多个捕获设备中的每个捕获设备相关联的每个优势点，并且基于元数据和深度数据，生成投影到虚拟3D空间中的局部3D网格中以在虚拟3D空间中产生3D场景的局部表示，并且基于投影到虚拟3D空间中的局部3D网格，并且从虚拟3D空间内的任意视点生成虚拟3D空间的图像视图。生成图像视图可以包括累积投影到虚拟3D空间中的局部3D网格。

The method and system of capturing image and rendering virtual reality content based on 2D of 3D scene

【技术实现步骤摘要】
【国外来华专利技术】基于三维(“3D”)场景的二维(“2D”)捕获图像，渲染虚拟现实内容的方法和系统相关申请的交叉引用本申请要求2017年5月31日提交的、标题为“METHODSANDSYSTEMSFORRENDERINGVIRTUALREALITYCONTENTBASEDONTWO-DIMENSIONAL("2D")CAPTUREDIMAGERYOFATHREE-DIMENSIONAL("3D")SCENE(基于三维(“3D”)场景的二维(“2D”)捕获图像，渲染虚拟现实内容的方法和系统)”的美国专利申请No.15/610,586的优先权，其全部内容通过引用合并于此。
技术介绍
计算和网络技术的进步使得新形式的媒体内容成为可能。例如，可以使用虚拟现实媒体内容，将观众(或“用户”)沉浸在用户可能通过将他们的注意力集中到此时正在虚拟现实世界中呈现的各种事物中而体验的交互式虚拟现实世界中。在呈现虚拟现实媒体内容期间的任何时间，体验虚拟现实媒体内容的用户都可以在相对于水平维度(例如，向前、向后、向左、向右等)和垂直维度(例如，向上、向下等)的任何方向中，在虚拟现实世界中环顾和/或走动，使用户感觉到他或她实际存在于虚拟现实世界中，并从虚拟现实世界中的特定角度体验了虚拟现实世界。在一些示例中，虚拟现实媒体提供者可以通过经由网络，将表示虚拟现实世界的数据传输到用户正在使用体验虚拟现实世界的客户端计算设备来提供包括虚拟现实世界的虚拟现实内容。附图说明附图示出了各种实施例，并且是说明书的一部分。示出的实施例仅是示例，并且不限制本公开的范围。在所有附图中，相同或相似的附图标记表示相同或相似的元件。图1示出了根据本文所述的原理的示例性虚拟现实内容渲染系统。图2示出了根据本文所述的原理的示例性配置，其中，图1的系统的渲染设备接收并处理与3D场景相关联的数据，以渲染表示3D场景的虚拟现实内容。图3示出了根据本文所述的原理，关于3D场景中的对象的捕获设备的示例性配置。图4示出了根据本文所述的原理的示例性二维(“2D”)输入网格。图5-7示出了根据本文所述的原理的2D输入网格到虚拟3D空间内的深度的示例性投影。图8-10示出了根据本文所述的原理，用于从局部3D网格中识别和去除无关图元的示例性操作。图11-12示出了根据本文所述原理的投影到虚拟3D空间中的多个局部3D网格的截面图。图13示出了根据本文所述的原理，投影到虚拟3D空间中并且被用于由任意视点生成虚拟3D空间的图像视图的局部3D网格的截面图。图14示出根据本文所述的原理的帧缓冲器的示例性配置。图15示出根据本文所述的原理，要从虚拟3D空间内的任意视点渲染的对象的局部表示的示例性深度偏移。图16示出了根据本文所述的原理的图1的虚拟现实内容渲染系统的示例性实施方式。图17示出了根据本文所述的原理，可由图1的虚拟现实内容渲染系统接收的示例性传输流。图18示出了根据本文所述的原理，在特定的时间序列期间，可以由图1的虚拟现实内容渲染系统从特定的捕获设备接收的示例性2D颜色和深度数据。图19示出了根据本文所述原理的元数据的示例性实施方式。图20示出了根据本文所述原理，基于3D场景的2D捕获图像来渲染虚拟现实内容的示例性方法。图21示出了根据本文所述原理，用于基于3D场景的2D捕获图像来渲染虚拟现实内容的另一示例性方法。图22示出根据本文所述的原理的示例性计算设备。具体实施方式本文描述了用于基于3D场景的2D捕获的图像来渲染虚拟现实内容的方法和系统。在某些示例性方法和系统中，虚拟现实内容渲染系统(“渲染系统”)可以接收表示由物理地设置在相对于3D场景的不同优势点(vantagepoints)(例如，相对于3D场景具有不同捕获角度的不同位置)的多个捕获设备(例如，相机、3D深度扫描硬件等)捕获的3D场景(例如，现实世界场景)的2D图像的数据。所捕获的2D图像(可以被称为表面数据)可以包括如由包括在多个捕获设备中的每个捕获设备所捕获的、3D场景中的一个或多个对象的表面的2D颜色数据和深度数据。由每个捕获设备捕获的2D颜色数据和深度数据可以表示来自相对于3D场景的特定优势点的3D场景的不同非网格视图。如本文中所使用的，“不同非网格视图”对应于来自特定捕获设备的3D场景的视图，其中，由特定捕获设备捕获的用于3D场景的表面数据(例如，2D颜色数据和深度数据)不被表示为几何图元的3D网格，并且/或者不与由另一捕获设备捕获的表面数据组合(即不网格化)以形成3D场景的3D模型或3D表示。渲染系统还可以接收元数据，诸如用于2D颜色数据和深度数据的投影元数据。元数据可以包括与3D场景相关联的信息，诸如有关多个捕获设备的信息，其可以由渲染系统使用来将2D颜色数据和深度数据投影到虚拟3D空间中，以产生虚拟3D空间中的3D场景的虚拟表示，使得渲染系统可以使用投影数据来从虚拟3D空间内的任意视点渲染虚拟3D空间的视图(即虚拟3D空间中的3D场景的虚拟表示的视图)。基于接收到的数据(例如，元数据和深度数据)，渲染系统可以对与每个相应捕获设备相关联的每个优势点生成投影到虚拟3D空间中的局部3D网格，以产生虚拟3D空间中的3D场景的局部虚拟表示。在某些示例中，生成每个局部3D网格可以包括渲染系统对与每个相应捕获设备相关联的每个优势点，基于深度数据，沿着透视线，将2D输入网格投影到虚拟3D空间内的深度，以产生虚拟3D空间中的局部3D网格的图元的顶点的3D坐标。在某些示例中，生成每个局部3D网格还可以包括渲染系统对每个局部3D网格，将局部3D网格的一个或多个图元识别为无关图元，并且从每个局部3D网格中去除所识别的无关图元。基于对与捕获设备相关联的优势点投影到虚拟3D空间中的局部3D网格，渲染系统可以从虚拟3D空间内的任意视点生成虚拟3D空间的图像视图。在某些示例中，生成虚拟3D空间的图像视图包括渲染系统累积投影到虚拟3D空间中的局部3D网格，并且基于2D颜色数据，混合局部3D网格的颜色样本以形成虚拟3D空间的图像视图。在某些示例中，累积投影到虚拟3D空间中的局部3D网格可以包括在图形处理单元(“GPU”)的帧缓冲器中累积局部3D网格，并且在GPU的帧缓冲器中加性地混合局部3D网格的颜色样本。在某些示例中，混合颜色样本可以包括渲染系统确定局部3D网格的图元的混合权重，基于对局部3D网格的图元所确定的混合权重，加权局部3D网格的颜色样本，并且确定包括在局部3D网格的重叠分段中的叠加图元的加权颜色样本的加权平均值。在某些示例中，渲染系统可以确定累积区域，并且仅累积和混合位于累积区域内的图元或片段。本文描述了上述原理和操作以及附加和/或替代原理和操作的说明性示例。为了清楚和说明起见，本文中使用简化的数据集(例如，代表简单的3D场景、对象、2D输入网格、局部3D网格等的数据集)来描述和示出某些说明性示例。然而，将理解到，本文所述的原理和操作可以应用于更大和/或更复杂的数据集本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由虚拟现实内容渲染系统接收由相对于三维(“3D”)场景设置在不同优势点的多个捕获设备捕获的二维(“2D”)颜色数据和深度数据；/n通过所述虚拟现实内容渲染系统接收用于所述2D颜色数据和所述深度数据的元数据；/n通过所述虚拟现实内容渲染系统，对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点，并且基于所述元数据和所述深度数据，生成投影到虚拟3D空间中的局部3D网格，以产生所述虚拟3D空间中的所述3D场景的局部表示；以及/n所述虚拟现实内容渲染系统基于投影到所述虚拟3D空间中的所述局部3D网格并且从所述虚拟3D空间内的任意视点生成所述虚拟3D空间的图像视图，生成所述图像视图包括：/n累积投影到所述虚拟3D空间中的所述局部3D网格，以及/n基于所述2D颜色数据，混合用于所述局部3D网格的颜色样本，以形成所述虚拟3D空间的所述图像视图。/n

【技术特征摘要】
【国外来华专利技术】20170531 US 15/610,5861.一种方法，包括：
由虚拟现实内容渲染系统接收由相对于三维(“3D”)场景设置在不同优势点的多个捕获设备捕获的二维(“2D”)颜色数据和深度数据；
通过所述虚拟现实内容渲染系统接收用于所述2D颜色数据和所述深度数据的元数据；
通过所述虚拟现实内容渲染系统，对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点，并且基于所述元数据和所述深度数据，生成投影到虚拟3D空间中的局部3D网格，以产生所述虚拟3D空间中的所述3D场景的局部表示；以及
所述虚拟现实内容渲染系统基于投影到所述虚拟3D空间中的所述局部3D网格并且从所述虚拟3D空间内的任意视点生成所述虚拟3D空间的图像视图，生成所述图像视图包括：
累积投影到所述虚拟3D空间中的所述局部3D网格，以及
基于所述2D颜色数据，混合用于所述局部3D网格的颜色样本，以形成所述虚拟3D空间的所述图像视图。


2.根据权利要求1所述的方法，其中，对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点生成所述局部3D网格包括：
对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点，基于所述深度数据，沿着透视线，将2D输入网格投影到所述虚拟3D空间内的深度，以生成所述虚拟3D空间中的所述局部3D网格的图元顶点的3D坐标。


3.根据权利要求2所述的方法，其中，对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点生成所述局部3D网格进一步包括：
对每个局部3D网格，将所述3D网格的一个或多个图元识别为无关图元；以及
从每个局部3D网格中移除所识别的无关图元。


4.根据权利要求3所述的方法，其中，对每个局部3D网格，将所述局部3D网格的一个或多个图元识别为无关图元包括下述至少一项：
至少部分地基于深度变化超过预定深度变化阈值的第一图元，将所述局部3D网格的所述第一图元识别为第一无关图元；
至少部分地基于具有不面向与所述局部3D网格相关联的相应优势点的表面的第二图元，将所述局部3D网格的所述第二图元识别为第二无关图元；
至少部分地基于在预定的近平面或预定的远平面的范围之外的第三图元，将所述局部3D网格的所述第三图元识别为第三无关图元。


5.根据权利要求2所述的方法，其中，混合所述局部3D网格的所述颜色样本以形成所述虚拟3D空间的所述图像视图包括：
确定用于所述局部3D网格的所述图元的混合权重；
基于对所述局部3D网格的所述图元所确定的混合权重，加权用于所述局部3D网格的所述颜色样本；
确定用于包括在所述局部3D网格的重叠分段中的叠加图元的加权颜色样本的加权平均值。


6.根据权利要求1所述的方法，其中：
累积投影到所述虚拟3D空间中的所述局部3D网格包括在图形处理单元(“GPU”)的帧缓冲器中累积所述局部3D网格的所述颜色样本；以及
混合所述局部3D网格的所述颜色样本以形成所述虚拟3D空间的所述图像视图包括在所述GPU的所述帧缓冲器中加性地混合用于所述局部3D网格的所述颜色样本。


7.根据权利要求1所述的方法，进一步包括：
由所述虚拟现实内容渲染系统基于投影到所述虚拟3D空间中的所述局部3D网格，并且从所述虚拟3D空间内的任意视点确定累积区域；
其中，仅对所述累积区域内的片段执行累积所述局部3D网格并且混合所述局部3D网格的所述颜色样本以形成所述虚拟3D空间的所述图像视图。


8.根据权利要求1所述的方法，其被体现为至少一种非暂时性计算机可读介质上的计算机可执行指令。


9.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时，指示计算设备的至少一个处理器执行下述操作：
接收由相对于三维(“3D”)场景设置在不同优势点的多个捕获设备捕获的二维(“2D”)颜色数据和深度数据；
接收用于所述2D颜色数据和所述深度数据的元数据；
对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点，并且基于所述元数据和所述深度数据，生成投影到虚拟3D空间中的局部3D网格，以产生所述虚拟3D空间中的所述3D场景的局部表示；以及
基于投影到所述虚拟3D空间中的所述局部3D网格并且从所述虚拟3D空间内的任意视点生成所述虚拟3D空间的图像视图，生成所述图像视图包括基于所述2D颜色数据，混合用于所述局部3D网格的颜色样本，以形成所述虚拟3D空间的所述图像视图。


10.根据权利要求9所述的非暂时性计算机可读介质，其中，对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点生成所述局部3D网格包括：
所述指令当被执行时，指示所述至少一个处理器：对与包括在所述多个捕获设备中的每个相应捕获设备相关联的每个优势点，基于所述深度数据，沿着透视线，将2D输入...

【专利技术属性】
技术研发人员：迈克尔·洛达托，勒内·塞普尔韦达，派·穆德拉吉里，丹尼·布赖滕费尔德，
申请(专利权)人：维里逊专利及许可公司，
类型：发明
国别省市：美国;US