用于后期渲染处理的显示引擎制造技术

在一个实施例中，一种方法包括访问人工现实场景的一个或更多个表面。该一个或更多个表面是基于以第一速率渲染的人工现实场景的一个或更多个图像并且基于第一观看位置生成的。该方法包括以高于第一速率的第二速率生成子帧。通过确定第二观看位置、确定从第二观看位置看的人工现实场景的一个或更多个表面的可见性、基于所确定的一个或更多个表面的可见性生成对应于显示器的输出位置的子帧的颜色值、以及提供子帧的颜色值用于显示，生成每个子帧。

【技术实现步骤摘要】
【国外来华专利技术】用于后期渲染处理的显示引擎
本公开总体涉及为人工现实场景生成图形。背景人工现实涉及以沉浸式方式向用户显示计算机生成的图形。目标是让用户体验计算机生成的图形，就像它们存在于他们眼前的世界中一样。为人工现实渲染计算机生成的图形是一项计算密集型任务，通常需要昂贵的专用硬件。这至少部分是由于要求向用户显示的图形必须是非常高质量的。为了让用户相信图形表示了他们周围的世界(或者图形是他们周围的世界的一部分)，图形必须具有令人信服的高质量。纱门效应(screen-dooreffect)即图形或用于投影图形的显示器允许用户看到像素之间的线条，会破坏任何沉浸感。此外，人工现实场景的图形通常是交互式的——当用户在虚拟空间中“移动”时，空间会随着他们或响应于他们而移动。在用户的移动(或移动命令)与显示该移动的效果之间的延迟会给用户带来极大的不适，诸如虚拟现实晕动症(virtual-realitysickness)。因为用户的移动通常是不可预测的，所以预先渲染(pre-render)人工现实场景的大多数组成部分是不切实际的。特定实施例的概述描述了一种用于为佩戴头戴式显示器的用户生成人工现实场景的系统和方法。该系统可以包括许多渲染组件，使得至少在头戴式显示器的主渲染组件和显示引擎之间划分渲染责任。主渲染组件可以处理计算量大的图形渲染阶段，诸如图元(primitive)解释和着色(shading)，并且预期的输出在典型交互式图形渲染的范围内。主渲染组件可以输出一个或更多个专用对象图元(在本文中也被称为“表面”)，或者输出由显示引擎制作成这样的表面的图像，该图像包括一个或更多个对象图元在人工现实场景中的定位和纹理数据。显示引擎可以接收对象图元，更新和细化它们的外观以反映观看者视角的变化和/或适应显示设备的特性，完成(finalize)渲染并准备结果以供显示给用户。显示引擎可以包括多级(stage)，具有多个硬件块来处理对将要显示的图像进行渲染的特定步骤。显示引擎可以包括控制块，该控制块接收对象图元和任何伴随的渲染指令。控制块可以准备一个或更多个共享存储器供显示引擎的其他块使用。控制块可以便于将纹理数据加载到一个或更多个存储器中。控制块可以向显示引擎的其他块提供指令，包括初始化图形渲染流水线(pipeline)的指令。显示引擎可以包括变换块，该变换块确定对象图元在人工现实场景中的初始可见性。变换块可以从看向人工现实场景的用户的视点执行光线投射(raycasting)，以对对象图元进行重新采样。变换块可以扭曲(warp)在光线投射中使用的光线，以近似或校正由显示器引起的一个或更多个效果。这些效果可以包括一个或更多个几何失真，这些失真是由显示器中使用的一个或更多个透镜的翘曲效应(warpingeffect)引起的。变换块可以确定场景中是否有任何光线与对象图元相交，并将任何的光线与对象图元相交(anyray-object-primitiveintersections)的定位信息从视图坐标空间转换到对象图元的纹理坐标空间。显示引擎可以包括像素块，该像素块高效地确定显示器的一个或更多个像素的像素颜色值。像素块可以从变换块接收相交信息(例如，投射的光线和对象图元之间的相交)。像素块可以引用与对象图元相关联的纹理数据，以对一个或更多个像素颜色值执行双线性插值。显示引擎可以包括显示块，该显示块接收像素颜色值并最终确定像素颜色值，以供输出到显示器。显示块可以将像素颜色值转换成显示器所要求的格式或对准方式。显示块可以应用一种或更多种亮度校正效果。亮度校正效果可以包括提高图像质量的技术，诸如感知编码或抖动(dithering)。亮度校正效果可以解决和校正显示器中的不规则性，该不规则性是由显示器及其组件的制造方式(或者图像被显示给用户的方式)导致的。本专利技术的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybridreality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且它们中的任何一个都可以在单个通道或多个通道中被呈现(诸如向观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中被使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括本文公开的实施例的组件、元件、特征、功能、操作或步骤中的全部、一些，或不包括这些组件、元件、特征、功能、操作或步骤。根据本专利技术的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被具体公开，其中在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面的权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。根据本专利技术的一个方面，提供了一种方法，该方法包括由计算系统：访问人工现实场景的一个或更多个表面，其中该一个或更多个表面是基于以第一速率渲染的人工现实场景的一个或更多个图像并且基于第一观看位置生成的；以高于第一速率的第二速率生成子帧，其中每个子帧通过以下方式生成：确定第二观看位置；确定从第二观看位置看的人工现实场景的一个或更多个表面的可见性；基于所确定的一个或更多个表面的可见性，生成对应于显示器的输出位置的该子帧的颜色值；以及提供该子帧的颜色值用于显示。确定从第二观看位置看的人工现实场景的一个或更多个表面的可见性优选地包括：基于第二观看位置，生成用于投射到人工现实场景中的光线；对光线应用几何变换，以修改光线进入人工现实场景的相应轨迹；以及基于修改后的光线轨迹，确定光线与人工现实场景中的一个或更多个表面的相交点(pointofintersection)。基于所确定的一个或更多个表面的可见性生成对应于显示器的输本文档来自技高网...

【技术保护点】
1.一种方法，包括由计算系统：/n访问人工现实场景的一个或更多个表面，其中，所述一个或更多个表面是基于以第一速率渲染的所述人工现实场景的一个或更多个图像并且基于第一观看位置生成的；/n以高于所述第一速率的第二速率生成子帧，其中，所述子帧中的每个子帧通过以下方式生成：/n确定第二观看位置；/n确定从所述第二观看位置看的所述人工现实场景的所述一个或更多个表面的可见性；/n基于所确定的所述一个或更多个表面的可见性，生成对应于显示器的输出位置的该子帧的颜色值；以及/n提供该子帧的颜色值用于显示。/n

【技术特征摘要】
【国外来华专利技术】20181102 US 62/755,333;20190927 US 16/586,5981.一种方法，包括由计算系统：
访问人工现实场景的一个或更多个表面，其中，所述一个或更多个表面是基于以第一速率渲染的所述人工现实场景的一个或更多个图像并且基于第一观看位置生成的；
以高于所述第一速率的第二速率生成子帧，其中，所述子帧中的每个子帧通过以下方式生成：
确定第二观看位置；
确定从所述第二观看位置看的所述人工现实场景的所述一个或更多个表面的可见性；
基于所确定的所述一个或更多个表面的可见性，生成对应于显示器的输出位置的该子帧的颜色值；以及
提供该子帧的颜色值用于显示。


2.根据权利要求1所述的方法，其中，确定从所述第二观看位置看的所述人工现实场景的所述一个或更多个表面的可见性包括：
基于所述第二观看位置，生成用于投射到所述人工现实场景中的光线；
对所述光线应用几何变换，以修改所述光线进入所述人工现实场景的相应轨迹；以及
基于所述光线的修改后的轨迹，确定所述光线与所述人工现实场景中的一个或更多个表面的相交点；优选地，其中，基于所确定的所述一个或更多个表面的可见性，生成对应于所述显示器的输出位置的所述子帧的颜色值包括从以下各项中选择的一个或更多个：
将所述相交点的坐标映射到相交表面的表面纹理的表面坐标，从所述相交表面的表面纹理数据中访问在所述表面坐标处的颜色值，基于所述相交点对所访问的颜色值进行插值；以及
对所述颜色值应用一个或更多个图形调整，所述图形调整包括：亮度调整、抖动、凹式渲染或感知压缩渲染。


3.根据权利要求2所述的方法，其中，所述光线对应于从以下各项中选择的一个或更多个：显示系统的像素；显示系统的像素的颜色通道。


4.根据权利要求1、权利要求2或权利要求3所述的方法，其中，所述一个或更多个表面包括所述表面的纹理数据和所述表面在所述人工现实场景中的位置的定位数据。


5.根据权利要求1至4中任一项所述的方法，其中，所述人工现实场景的所述一个或更多个图像由不同于所述计算系统的另一计算系统渲染，并且可选地，其中，所述计算系统与所述另一计算系统无线通信。


6.根据权利要求1至5中任一项所述的方法，其中，所述计算系统被结合到头戴式显示单元中；和/或其中，所述计算系统包括用于生成所述子帧的显示引擎，并且其中，所述显示引擎包括：
变换块，所述变换块用于确定从所述第二观看位置看的所述一个或更多个表面的可见性；
像素块，所述像素块用于执行颜色值的插值；和
显示块，所述显示块用于对颜色值应用图形调整。


7.根据权利要求1至6中任一项所述的方法，其中，基于从以下项接收的数据，确定所述第二观看位置：
眼睛跟踪组件；或者
运动跟踪组件。


8.一个或更多个计算机可读非暂时性存储介质，其体现软件，所述软件在被执行时可操作来：
访问人工现实场景的一个或更多个表面，其中，所述一个或更多个表面是基于以第一速率渲染的所述人工现实场景的一个或更多个图像并且基于第一观看位置生成的；
以高于所述第一速率的第二速率生成子帧，其中，所述子帧中的每个子帧通过以下方式生成：
确定第二观看位置；
确定从所述第二观看位置看的所述人工现实场景的所述一个或更多个表面的可见性；
基于所确定的所述一个或更多个表面的可见性，生成对应于显示器的输出位置的该子帧的颜色值；以及

【专利技术属性】
技术研发人员：拉里·西勒，亚历山大·南克维斯，沃伦·安德鲁·亨特，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US