具有协同数据格式化、重投影、中央凹化、图块装仓和图像扭曲技术的光场显示制造技术

系统、方法和装置可以提供用于减少与光场显示相关联的渲染开销的技术。所述技术可以关于光场显示中的多个显示平面进行数据格式化、重投影、中央凹化、图块装仓和/或图像扭曲操作。

Optical field display with collaborative data formatting, re-projection, central concave, block warehousing and image distortion Technology

【技术实现步骤摘要】
具有协同数据格式化、重投影、中央凹化、图块装仓和图像扭曲技术的光场显示版权声明本专利文献的公开内容的一部分包含受到(版权或掩膜作品)保护的材料。(版权或掩膜作品)所有者不反对任何人对本专利文献或本专利公开内容的复制，由于其出现在专利和商标局专利文件或记录中，但无论如何在其他方面保留所有(版权或掩膜作品)权利。
实施例总体上涉及图形系统。更具体地，实施例涉及具有协同数据格式化、重投影、中央凹化(foveation)、图块装仓(tilebinning)和/或图像扭曲技术的光场显示。
技术介绍
虚拟现实(VR)头戴式显示器(HMD)技术可以使用单个二维(2D)显示平面来向HMD的穿戴者呈现三维(3D)场景。然而，当穿戴者尝试聚焦于3D场景中不同深度处的物品时，由于场景中缺乏聚焦提示，穿戴者可能会经历视觉不适。尽管光场显示可以通过将3D场景合成为被渲染到多个显示平面的光场来减少视觉不适，但是仍然有相当大的改善空间。例如，将场景渲染到多个显示平面可能会增加等待时间、降低性能、增加功耗和/或减少电池寿命。附图说明通过阅读以下说明书和所附权利要求书，并且通过参考以下附图，实施例的各种优点对于本领域技术人员将变得显而易见，在附图中：图1是框图，展示了被配置成实施本文所述实施例的一个或多个方面的计算机系统；图2A至图2D展示了根据实施例的并行处理器组件；图3A至图3B是根据实施例的图形多处理器的框图；图4A至图4F展示了其中多个GPU通信地耦合至多个多核处理器的示例性架构；图5展示了根据实施例的图形处理流水线；图6A是根据实施例的光场显示系统的示例的展示；图6B是根据实施例的半导体封装体装置的示例的展示；图6C是根据实施例的被存储到相邻存储器位置的图像数据的示例的展示；图6D是根据实施例的管理将跨多个显示平面渲染的图像数据的方法的示例的流程图；图6E是根据实施例的进行存储器设置程序的方法的示例的流程图；图6F是根据实施例的管理将跨多个显示平面渲染的图像数据的更详细方法的示例的流程图；图7A是根据实施例的源视图和重投影视图的示例的展示；图7B是根据实施例的增强重投影视图的方法的示例的流程图；图7C是根据实施例的非扩展视场和扩展视场的示例的比较性展示；图7D是根据实施例的基于与源视图相对应的光栅化数据填充视图孔的方法的示例的流程图；图7E是根据实施例的基于与重投影视图相对应的光栅化数据填充视图孔的方法的示例的流程图；图8A是根据实施例的中央凹形视图(foveatedview)布局的示例的展示；图8B是根据实施例的使呈现在多个显示平面上的场景内容中央凹化的方法的示例的流程图；图8C是根据实施例的周边视图仓布局(peripheralviewbinlayout)的示例的展示；图9A是根据实施例的视图视锥体(frustum)图块布局的示例的展示；图9B是根据实施例的光场显示视图视锥体布局的示例的展示；图9C是根据实施例的管理与多个显示平面相关联的图元的方法的示例的流程图；图9D是根据实施例的近平面-远平面确定的示例的展示；图9E是根据实施例的粗糙视锥体拣选确定的示例的展示；图9F和图9G是根据实施例的精细视锥体拣选确定的示例的展示；图9H是根据实施例的进行分层拣选操作序列的方法的示例的流程图；图9I是根据实施例的进行分层拣选操作序列的更详细方法的示例的流程图；图10A是根据实施例的跨多个显示平面扭曲的场景内容的示例的展示；图10B是根据实施例的跨多个显示平面扭曲的场景内容的方法的示例的流程图；图11是根据实施例的具有局部背光能力的显示器的示例的框图；图12A是根据实施例的数据处理设备的示例的框图；图12B是根据实施例的距离确定的示例的展示；图13是根据实施例的分层式显示架构的示例的框图；图14是根据实施例的包括多个显示单元的显示架构的示例的框图；并且图15是根据实施例的云辅助的媒体递送架构的示例的框图；图16至图18是根据实施例的数据处理系统的概况的示例的框图；图19是根据实施例的图形处理引擎的示例的框图；图20至图22是根据实施例的执行单元的示例的框图；图23是根据实施例的图形流水线的示例的框图；图24A至图24B是根据实施例的图形流水线编程的示例的框图；图25是根据实施例的图形软件架构的示例的框图；图26A是根据实施例的知识产权(IP)核开发系统的示例的框图；图26B是根据实施例的集成电路封装体组件的示例的截面侧视图；图27是根据实施例的片上系统集成电路的示例的框图；图28A是根据实施例的头戴式显示器(HMD)系统的示例的展示；图28B是根据实施例的图形处理器的示例的框图；图29A至图29B是根据实施例的图形处理器逻辑的示例的框图；并且图30是根据实施例的头戴式显示器(HMD)系统的示例的展示。具体实施方式在以下描述中，阐述了大量的具体细节以提供对本专利技术的更加透彻的解释。然而，对于本领域技术人员而言将明显的是，可以在不具有这些具体细节中的一个或多个的情况下实践本专利技术。在其他实例中，未描述众所周知的特征以避免使本实施例模糊。系统概述图1是展示了被配置成实现本文所述的实施例的一个或多个方面的计算机系统100的框图。计算系统100包括处理子系统101，所述处理子系统具有一个或多个处理器102和系统存储器104，所述一个或多个处理器和所述系统存储器经由互连路径进行通信，所述互连路径可以包括存储器中枢105。存储器中枢105可以是芯片组部件内的单独的部件，也可以集成在一个或多个处理器102内。存储器中枢105经由通信链路106与I/O子系统111耦合。I/O子系统111包括I/O中枢107，所述I/O中枢可以使得计算系统100能够从一个或多个输入设备108接收输入。另外，I/O中枢107可以使得显示控制器(所述显示控制器可以被包括在一个或多个处理器102中)能够向一个或多个显示设备110A提供输出。在一个实施例中，与I/O中枢107耦合的一个或多个显示设备110A可以包括本地显示设备、内部显示设备或嵌入式显示设备。在一个实施例中，处理子系统101包括一个或多个并行处理器112，所述一个或多个并行处理器经由总线或其他通信链路113耦合至存储器中枢105。通信链路113可以是任意数量的基于标准的通信链路技术或协议(诸如但不限于PCIExpress)中的一个，也可以是供应方特定的通信接口或通信结构。在一个实施例中，一个或多个并行处理器112形成以计算为中心的并行或向量处理系统，所述系统包括大量处理核和/或处理集群诸如集成众核(MIC)处理器。在一个实施例中，一个或多个并行处理器112形成图形处理子系统，所述图形处理子系统可以向经由I/O中枢107耦合的一个或多个显示设备110A中的一个输出像素。一个或多个并行处理器112还可以包括显示控制器和显示接口(未示出)以实现到一个或多个显示设备110B的直接连接。在I/O子系统111内，系统存储单元114可以连接至I/O中枢107来为计算系统100提供存储机制。I/O开关116可以用于提供接口机制以实现I/O中枢107和可以集成到平台中的其他部件诸如网络适配器118和/或无线网络适配器119以及可以经由一个或多个插入式设备120添加的各种其他设备之间的连接。网络适配器118可以是以太本文档来自技高网...

【技术保护点】
1.一种装置，包括：一个或多个衬底；以及逻辑，耦合至所述一个或多个衬底，其中，所述逻辑采用可配置逻辑或固定功能硬件逻辑中的一个或多个来实施，耦合至所述一个或多个衬底的所述逻辑用于：识别相对于多个显示平面的像素位置，将与所述像素位置和所述多个显示平面相关联的图像数据存储到相邻存储器位置，并且跨所述多个显示平面同时渲染来自所述相邻存储器位置的所述图像数据。

【技术特征摘要】
2017.12.29 US 15/858,4861.一种装置，包括：一个或多个衬底；以及逻辑，耦合至所述一个或多个衬底，其中，所述逻辑采用可配置逻辑或固定功能硬件逻辑中的一个或多个来实施，耦合至所述一个或多个衬底的所述逻辑用于：识别相对于多个显示平面的像素位置，将与所述像素位置和所述多个显示平面相关联的图像数据存储到相邻存储器位置，并且跨所述多个显示平面同时渲染来自所述相邻存储器位置的所述图像数据。2.如权利要求1所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于将单指令多数据(SIMD)指令分派给多个图形执行单元以便同时渲染所述图像数据。3.如权利要求1所述的装置，其中，所述图像数据将进一步与包含所述像素位置的像素子跨度相关联。4.如权利要求1所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于将同时渲染的图像数据变换成与所述多个显示平面相关联的表面布局。5.如权利要求1所述的装置，其中，所述相邻存储器位置将处于单个高速缓存行内。6.如权利要求1所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于：渲染与所述多个显示平面中的第一显示平面相关联的源视图，将经渲染源视图重投影到所述多个显示平面中的第二显示平面以便获得重投影视图，并且基于与所述源视图相对应的扩展视场数据、与所述源视图相对应的光栅化数据或与所述重投影视图相对应的光栅化数据中的一项或多项来填充所述重投影视图中的一个或多个孔。7.如权利要求6所述的装置，其中，当基于所述扩展视场数据填充所述一个或多个孔时，所述重投影视图具有非扩展视场。8.如权利要求7所述的装置，其中，当基于与所述源视图相对应的所述光栅化数据填充所述一个或多个孔时，耦合至所述一个或多个衬底的所述逻辑用于：在渲染所述源视图期间禁用深度测试，并且在填充所述重投影视图中的所述一个或多个孔期间进行所述深度测试。9.如权利要求7所述的装置，其中，当基于与所述重投影视图相对应的所述光栅化数据填充所述一个或多个孔时，耦合至所述一个或多个衬底的所述逻辑用于：在对经渲染源视图进行重投影期间预先充填深度缓冲器，并且在填充所述一个或多个孔期间基于所述深度缓冲器中的数据进行深度测试。10.如权利要求1所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于：相对于所述多个显示平面确定焦点，并且基于所述焦点逐显示平面地改变呈现在所述多个显示平面上的场景内容的分辨率。11.如权利要求10所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于基于所述焦点逐显示平面地改变呈现在所述多个显示平面上的所述场景内容的视图密度。12.如权利要求10所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于基于所述焦点逐显示平面地改变呈现在所述多个显示平面上的所述场景内容的视图更新频率。13.如权利要求10所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于将外围视图分入具有不同分辨率、不同视图密度或不同更新频率中的一者或多者的数个仓。14.如权利要求1所述的装置，其中，耦合至所述一个或多个衬底的所述逻辑用于：确定与所述多个显示平面相关联的一组图元，并且对所述一组图元进行分层拣选操作序列。15.如权利要求14所述的装置，其中，所述分层拣选操作序列包括近平面-...

【专利技术属性】
技术研发人员：T·施吕斯列尔，A·凡卡特斯，J·杰拉齐，T·巴昂，D·伯克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US