使用深度信息来外推出二维图像的系统和方法技术方案

所公开的计算机实现的方法可以包括：(1)接收描绘演进的3D场景和演进的3D场景中的元素的第一2D帧，(2)接收描绘演进的3D场景和元素的第二2D帧，(3)从第一2D帧和第二2D帧导出2D运动向量，每个2D运动向量包括从第一2D帧中的元素的坐标到第二2D帧中的该元素的坐标的估计偏移，(4)接收演进的3D场景的深度信息，(5)使用2D运动向量和深度信息来外推出合成2D帧，以及(6)向用户显示合成2D帧。还公开了各种其他方法、系统和计算机可读介质。

【技术实现步骤摘要】
【国外来华专利技术】使用深度信息来外推出二维图像的系统和方法背景虚拟现实(VR)和增强现实(AR)头戴式装置(headset)在越来越多的活动中使用，越来越受欢迎。这种头戴式装置可以将视觉信息整合到用户的视野中，以增强他们周围的事物，或者允许他们步入沉浸式三维(3D)虚拟环境。虽然VR和AR头戴式装置通常用于游戏和其他娱乐目的，但它们也通常用于娱乐以外的目的——例如，政府可以使用它们进行军事训练模拟，医生可以使用它们练习外科手术，工程师可以使用它们作为可视化辅助工具。VR和AR系统在促进各种情境下人与人之间的人际互动方面的实用性也越来越得到认可。以足够快的速率渲染令人信服、逼真的VR或AR环境以创建存在感，可能对硬件资源有所要求。通常，VR和AR硬件需要是紧凑的、节能的，但同时又是非常强大的。对于VR或AR应用，帧(或静态图像)通常根据用户的移动而生成，并且慢帧速率可能会被视为断断续续或闪烁。因此，许多VR或AR应用理想地以高帧速率(例如，大于每秒90帧)被观看，以产生无断续和无闪烁的视觉效果。出于这个原因，VR和AR应用通常会附带一组推荐的硬件规格，可能会建议这些硬件规格以理想地观看VR或AR应用。不幸的是，满足这些推荐的硬件规格并且能够实现高帧速率的当前VR和AR系统对于许多人和/或组织来说可能是不可访问的或负担不起的。因此，本公开识别并解决了对系统和方法的需求，该系统和方法使得能够以较低的帧速率来观看理想地以高帧速率被观看的VR或AR应用，这可以允许用户在更负担得起的最小规格硬件和系统上观看这些应用。概述如下文将更详细描述的，本公开描述了使用深度信息来外推出二维(2D)图像的系统和方法。在一个示例中，一种用于使用深度信息来外推出2D图像的计算机实现的方法可以包括：(1)接收描绘演进的3D场景和演进的3D场景中的元素的第一2D帧，(2)接收描绘演进的3D场景和元素的第二2D帧，(3)从第一2D帧和第二2D帧导出2D运动向量，每个2D运动向量包括从第一2D帧中的元素的坐标到第二2D帧中的该元素的坐标的估计偏移，(4)接收演进的3D场景的深度信息，(5)使用2D运动向量和深度信息来外推出合成2D帧，以及(6)向用户显示合成2D帧。在一些示例中，第一2D帧和第二2D帧可以以期望的帧速率的一半从演进的3D场景被顺序地渲染，第一2D帧和第二2D帧可以以期望的帧速率的一半被顺序显示给用户，并且显示合成2D帧的步骤可以包括以期望的帧速率显示合成2D帧。在其他示例中，第一2D帧、第二2D帧和第三2D帧可以从演进的3D场景被顺序地渲染；第一2D帧和第二2D帧可以以期望的帧速率被顺序显示给用户；并且显示合成2D帧的步骤可以包括(1)确定第三2D帧未能及时渲染来以期望的帧速率显示给用户，以及(2)以期望的帧速率显示合成2D帧来代替第三2D帧。在一些示例中，使用2D运动向量和深度信息来外推出合成2D帧的步骤可以包括通过对2D运动向量应用加权滤波器来从2D运动向量中去除噪声，并且深度信息可以用于导出加权滤波器的权重。在至少一个示例中，加权滤波器可以是中心加权的中值滤波器。在一些示例中，使用2D运动向量和深度信息来外推出合成2D帧的步骤可以包括(1)使用深度信息来将2D运动向量转换为3D运动向量，以及(2)使用3D运动向量来外推出合成2D帧。在一些示例中，从第一2D帧和第二2D帧导出2D运动向量的步骤可以包括(1)将第一2D帧和第二2D帧作为输入发送到硬件运动估计器，以及(2)接收作为硬件运动估计器的输出的2D运动向量。在一些示例中，第一2D帧和第二2D帧可以从VR应用或AR应用被接收。在一些示例中，使用2D运动向量和深度信息来外推出合成2D帧的步骤可以包括：通过至少部分地基于2D运动向量和深度信息扭曲(warp)第二2D帧来从第二2D帧导出合成2D帧。在一些示例中，该计算机实现的方法还可以包括跟踪用户在物理世界中的平移运动，并且在导出多个二维运动向量之前，使用深度信息来重新投影(reproject)第二二维帧的像素元素，以考虑用户的平移运动。此外，用于使用深度信息来外推出2D图像的相应系统可以包括存储在存储器中的几个模块，包括(1)帧接收模块，其接收(a)描绘演进的3D场景的第一2D帧和(b)描绘演进的3D场景的第二2D帧，(2)导出模块，其从第一2D帧和第二2D帧导出2D运动向量，每个2D运动向量包括从第一2D帧中的元素的坐标到第二2D帧中的该元素的坐标的估计偏移，(3)深度信息接收模块，其接收演进的3D场景的深度信息，(4)外推模块，其使用2D运动向量和深度信息来外推出合成2D帧，以及(5)显示模块，其向用户显示合成2D帧。该系统还可以包括至少一个处理器，该至少一个处理器执行帧接收模块、导出模块、深度信息接收模块、外推模块和显示模块。在一些示例中，第一2D帧和第二2D帧可以以期望的帧速率的一半从演进的3D场景被顺序地渲染，第一2D帧和第二2D帧可以以期望的帧速率的一半被顺序显示给用户，并且显示模块可以以期望的帧速率显示合成2D帧。在其他示例中，第一2D帧、第二2D帧和第三2D帧可以从演进的3D场景被顺序地渲染；显示模块可以以期望的帧速率向用户顺序显示第一2D帧和第二2D帧；并且显示模块可以通过以下方式显示合成2D帧：(1)确定第三2D帧未能及时渲染来以期望的帧速率显示给用户，以及(2)以期望的帧速率显示合成2D帧来代替第三2D帧。在一些示例中，外推模块可以使用2D运动向量和深度信息，通过对2D运动向量应用加权滤波器来从2D运动向量中去除噪声来外推出合成2D帧，并且深度信息可以用于导出加权滤波器的权重。在至少一个示例中，加权滤波器可以是中心加权的中值滤波器。在一些示例中，外推模块可以使用2D运动向量和深度信息，通过以下方式来外推出合成2D帧：(1)使用深度信息将2D运动向量转换为3D运动向量，以及(2)使用3D运动向量来外推出合成2D帧。在一些示例中，导出模块可以通过以下方式从第一2D帧和第二2D帧导出2D运动向量：(1)将第一2D帧和第二2D帧作为输入发送到硬件运动估计器，以及(2)接收作为硬件运动估计器的输出的2D运动向量。在一些示例中，帧接收模块可以从VR应用或AR应用接收第一2D帧和第二2D帧。在一些示例中，外推模块可以使用2D运动向量和深度信息，通过至少部分地基于2D运动向量和深度信息扭曲第二2D帧，来从第二2D帧外推出合成2D帧。在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，一种计算机可读介质可以包括一个或更多个计算机可执行指令，该一个或更多个计算机可执行指令当由计算设备的至少一个处理器执行时，可以使计算设备：(1)接收描绘演进的3D场景和演进的3D场景中的元素的第一2D帧，(2)接收描绘演进的3D场景和元素的第二2D帧，(3)从第一2D帧和第二2D帧导出2D运动向量，每个2D运动向量包括从第一2D帧中的元素的坐标到第二2D帧中的该元素的坐标的估计偏移，(4)接收演进的3D场景的深度信息，(5)使用2D运动向量和深度信息来外推出合成2D帧，以及(6)向用户显示合成2D帧。在一本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n接收描绘演进的三维场景的第一二维帧，所述第一二维帧描绘所述演进的三维场景中的多个元素；/n接收描绘所述演进的三维场景的第二二维帧，所述第二二维帧描绘所述多个元素；/n从所述第一二维帧和所述第二二维帧导出多个二维运动向量，所述多个二维运动向量中的每个二维运动向量包括从所述第一二维帧中的元素的坐标到所述第二二维帧中的该元素的坐标的估计偏移；/n接收所述演进的三维场景的深度信息；/n使用所述多个二维运动向量和所述深度信息来外推出合成二维帧；和/n向用户显示所述合成二维帧。/n

【技术特征摘要】
【国外来华专利技术】20180802 US 16/053,7411.一种计算机实现的方法，包括：
接收描绘演进的三维场景的第一二维帧，所述第一二维帧描绘所述演进的三维场景中的多个元素；
接收描绘所述演进的三维场景的第二二维帧，所述第二二维帧描绘所述多个元素；
从所述第一二维帧和所述第二二维帧导出多个二维运动向量，所述多个二维运动向量中的每个二维运动向量包括从所述第一二维帧中的元素的坐标到所述第二二维帧中的该元素的坐标的估计偏移；
接收所述演进的三维场景的深度信息；
使用所述多个二维运动向量和所述深度信息来外推出合成二维帧；和
向用户显示所述合成二维帧。


2.根据权利要求1所述的计算机实现的方法，其中：
所述第一二维帧和所述第二二维帧是以期望的帧速率的一半从所述演进的三维场景被顺序地渲染的；
所述第一二维帧和所述第二二维帧以所述期望的帧速率的一半被顺序显示给用户；和
显示所述合成二维帧包括以所述期望的帧速率显示所述合成二维帧。


3.根据权利要求1所述的计算机实现的方法，其中：
从所述演进的三维场景顺序地渲染所述第一二维帧、所述第二二维帧和第三二维帧；
以期望的帧速率向用户顺序显示所述第一二维帧和所述第二二维帧；和
显示所述合成二维帧包括：
确定所述第三二维帧未能及时渲染来以所述期望的帧速率显示给用户；和
以所述期望的帧速率显示所述合成二维帧来代替所述第三二维帧。


4.根据权利要求1所述的计算机实现的方法，其中：
使用所述多个二维运动向量和所述深度信息来外推出所述合成二维帧包括：通过对所述多个二维运动向量应用加权滤波器来从所述多个二维运动向量中去除噪声；和
所述深度信息被用于导出所述加权滤波器的权重。


5.根据权利要求4所述的计算机实现的方法，其中所述加权滤波器是中心加权的中值滤波器。


6.根据权利要求1所述的计算机实现的方法，其中使用所述多个二维运动向量和所述深度信息来外推出所述合成二维帧包括：
使用所述深度信息将所述多个二维运动向量转换为多个三维运动向量；和
使用所述多个三维运动向量来外推出所述合成二维帧。


7.根据权利要求1所述的计算机实现的方法，其中从所述第一二维帧和所述第二二维帧导出所述多个二维运动向量包括：
将所述第一二维帧和所述第二二维帧作为输入发送到硬件运动估计器；和
接收作为所述硬件运动估计器的输出的所述多个二维运动向量。


8.根据权利要求1所述的计算机实现的方法，其中所述第一二维帧和所述第二二维帧是从虚拟现实应用或增强现实应用接收的。


9.根据权利要求1所述的计算机实现的方法，其中使用所述多个二维运动向量和所述深度信息来外推出所述合成二维帧包括：通过至少部分地基于所述多个二维运动向量和所述深度信息来扭曲所述第二二维帧，来从所述第二二维帧导出所述合成二维帧。


10.根据权利要求1所述的计算机实现的方法，还包括：
跟踪用户在物理世界中的平移运动；和
在导出所述多个二维运动向量之前，使用所述深度信息来重新投影所述第二二维帧的像素元素，以考虑用户的平移运动。


11.一种系统，包括：
帧接收模块，其存储在存储器中，所述帧接收模块接收：
描绘演进的三维场景的第一二维帧，所述第一二维帧描绘所述演进的三维场景中的多个元素；和
描绘所述演进的三维场景的第二二维帧，所述第二二维帧描绘所述多个元素；
导出模块，其存储在存储器中，所述导出模块从所述第一二维帧和...

【专利技术属性】
技术研发人员：迪安·比勒，保罗·佩德里亚纳，爱德华·哈钦斯，伏尔加·阿克索伊，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US