用于图形处理单元混合渲染的装置和方法制造方法及图纸

本公开涉及用于由图形处理单元对视频/图形内容进行混合渲染的方法和装置。该设备可以配置显示装置的图形处理单元以针对要在显示设备上显示的场景的帧执行多个渲染遍次。此外，该装置可以控制图形处理单元执行多个渲染遍次中的第一渲染遍次，以生成第一渲染目标，该第一渲染目标被存储在GPU的片上图形存储器或显示装置的系统中。该装置还可以控制图形处理单元执行第二渲染遍次，以生成第二渲染目标，该第二渲染目标可替换地存储在显示装置的系统存储器或GPU的片上图形存储器中。系统存储器或GPU的片上图形存储器中。系统存储器或GPU的片上图形存储器中。

【技术实现步骤摘要】
【国外来华专利技术】用于图形处理单元混合渲染的装置和方法
[0001]相关申请的交叉引用
[0002]本专利申请要求于2020年9月30日提交的标题为“用于图形处理单元混合渲染的装置和方法(APPARATUS AND METHOD FOR GRAPHICS PROCESSING UNIT HYBRID RENDERING)”的美国专利申请第17/039,873号的优先权，该申请被转让给本专利技术的受让人，并且出于所有目，通过引用将其明确并入本文。


[0003]本公开通常涉及处理系统，更具体地，涉及一种或多种用于图形或计算机处理的技术。

技术介绍

[0004]计算设备通常利用图形处理单元(GPU)或中央处理单元(CPU)来加速图形数据的渲染以供显示。这种计算设备可以包括例如计算机工作站、移动电话(诸如所谓的智能手机)、嵌入式系统、个人计算机、平板计算机和视频游戏控制台。GPU执行图形处理管线(pipeline)，该图形处理管线包括一个或多个处理阶段，这些处理阶段一起操作以执行图形处理命令并输出帧。CPU可以通过向GPU发出一个或多个图形处理命令来控制GPU的操作。现代的CPU通常能够同时执行多个应用，每个应用可能需要在执行期间利用GPU。为显示器上的视觉呈现提供内容的设备通常包括GPU。
[0005]通常，设备的CPU或GPU被配置成执行计算机或图形处理中的过程。然而，随着渲染内容的日益复杂和GPU存储器的物理限制，对改进的计算机或图形处理的需求日益增长。

技术实现思路

[0006]以下呈现了一个或多个方面的简化概述，以便提供对这些方面的基本理解。本
技术实现思路
不是所有预期方面的广泛概述，并且既不意图标识所有方面的关键元素，也不意图描绘任何或所有方面的范围。其唯一目的是以简化的形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细的描述的序言。
[0007]本公开涉及用于由图形处理单元对视频/图形内容进行混合渲染的方法和装置。该装置可以配置显示装置的图形处理单元以针对要在显示设备上显示的场景的帧执行多个渲染遍次(pass)。此外，该装置可以控制图形处理单元执行多个渲染遍次中的第一渲染遍次，以生成第一渲染目标，该第一渲染目标被存储在GPU的片上(on
‑
chip)图形存储器或显示装置的系统中。该装置还可以控制图形处理单元执行第二渲染遍次以生成第二渲染目标，该第二渲染目标可替换地存储在显示装置的系统存储器或GPU的片上图形存储器中。在一个方面，提供了一种用于对内容进行混合渲染的装置，该装置包括：存储器；以及至少一个处理器，其耦合到存储器，并且被配置成：配置显示装置的图形处理单元(GPU)以针对要在显示设备上显示的场景的至少一个帧执行多个渲染遍次；控制GPU执行多个渲染遍次中的第一渲染遍次，以生成至少一个第一渲染目标，该至少一个第一渲染目标被存储在GPU的
片上图形存储器中；以及控制GPU执行多个渲染遍次中的第二渲染遍次，以生成至少一个第二渲染目标，该至少一个第二渲染目标被存储在显示装置的系统存储器中。在一个方面，该至少一个第二渲染目标在被存储在显示装置的系统存储器中之前不被存储在GPU的片上图形存储器中。在一个方面，该至少一个处理器还被配置成控制GPU执行解析，以将存储在GPU的片上图形存储器中的该至少一个第一渲染目标的内容复制到系统存储器，以供显示装置显示。在一个方面，该至少一个第一渲染目标包括多个渲染遍次的中间缓冲器，其中中间缓冲器包括在第一渲染遍次期间产生并在第二渲染遍次期间消耗的渲染。在一个方面，该至少一个第二渲染目标包括多个渲染遍次的最终缓冲器，其中最终缓冲器包括仅在第二渲染遍次期间产生并且不被后续渲染遍次消耗的渲染。在一个方面，该至少一个第一渲染目标由工作负载生成，该工作负载的复杂性大于生成该至少一个第二渲染目标的工作负载的复杂性。在一个方面，该至少一个处理器还被配置成控制GPU直接将具有较低复杂性工作负载的渲染目标存储在系统存储器中，该渲染目标包括由具有第二复杂性的工作负载生成的至少一个第二渲染目标。在一个方面，工作负载的相应复杂性基于至少一个帧的绘制(draw)的数量、至少一个帧的每个绘制的着色器的数量、以及至少一个帧的每个绘制的图元的数量中的至少一个。在一个方面，该至少一个处理器还被配置成控制GPU生成构成场景的多个图元，并且在多个渲染遍次的至少第一渲染遍次期间将该多个图元分类到图形存储器的多个仓(bin)中。在一个方面，该至少一个处理器还被配置成控制GPU为帧的每个仓生成可见性流，该可见性流指示相应仓中的多个图元中的至少一个图元在最终渲染场景中是否可见。在一个方面，该至少一个处理器还被配置成控制GPU同时执行第一渲染遍次和第二渲染遍次，使得该至少一个第一渲染目标被存储在GPU的片上图形存储器中，并且同时该至少一个第二渲染目标被存储在显示装置的系统存储器中。在一个方面，该至少一个处理器还被配置成控制GPU在第一渲染遍次和第二渲染遍次之后执行第三渲染遍次，使得在该至少一个第一渲染目标被从GPU的片上图形存储器中清除之后，至少一个第三渲染目标被存储在GPU的片上图形存储器中。在一个方面，该至少一个第一渲染目标包括反照率(albedo)渲染目标、位置渲染目标、法线(normal)渲染目标和深度渲染目标。
[0008]本公开的一个或多个示例的细节在附图和以下描述中阐述。从说明书和附图以及从权利要求中，本公开的其他特征、目的和优点将变得显而易见。
附图说明
[0009]图1A是示出根据本公开的一种或多种技术的内容生成系统的示例的框图。
[0010]图1B是示出根据本公开的一种或多种技术的内容生成系统的示例的框图。
[0011]图2示出了根据本公开的一种或多种技术的示例GPU。
[0012]图3是示出根据本公开的各方面的在仓之间划分的图元的概念图。
[0013]图4示出了根据本公开的一种或多种技术的仓渲染的示例图。
[0014]图5示出了根据本公开的一种或多种技术的内容生成处理的示例图。
[0015]图6示出了根据本公开的一种或多种技术的内容生成处理的示例图。
[0016]图7示出了根据本公开的一种或多种技术的内容生成处理的示例图。
[0017]图8示出了根据本公开的一种或多种技术的内容生成的示例方法的示例流程图。
具体实施方式
[0018]以下参考附图更全面地描述了系统、装置、计算机程序产品和方法的各种方面。然而，本公开可以以许多不同的形式体现并且不应当被解释为限于贯穿本公开所呈现的任何特定的结构或功能。相反，提供这些方面使得本公开将是彻底的和完整的，并且将向本领域的技术人员全面地传达本公开的范围。基于本文的教导，本领域的技术人员应当理解，本公开的范围旨在覆盖本文所公开的系统、装置、计算机程序产品和方法的任何方面，无论是独立于本公开的其他方面还是与本公开的其他方面结合实现。例如，可以使用本文阐述的任何数量的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖这样的装置或方法，该装置或方法使用除了本文本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对内容进行混合渲染的方法，所述方法包括：配置显示装置的图形处理单元(GPU)以针对要在显示设备上显示的场景的至少一个帧执行多个渲染遍次；控制所述GPU执行所述多个渲染遍次中的第一渲染遍次，以生成至少一个第一渲染目标，所述至少一个第一渲染目标被存储在所述GPU的片上图形存储器中；以及控制所述GPU执行所述多个渲染遍次中的第二渲染遍次，以生成至少一个第二渲染目标，所述至少一个第二渲染目标被存储在所述显示装置的系统存储器中。2.根据权利要求1所述的方法，其中，所述至少一个第二渲染目标在被存储在所述显示装置的系统存储器中之前不被存储在所述GPU的片上图形存储器中。3.根据权利要求1所述的方法，还包括控制所述GPU执行解析，以将存储在所述GPU的片上图形存储器中的所述至少一个第一渲染目标的内容复制到所述系统存储器，以供所述显示装置显示。4.根据权利要求1所述的方法，其中，所述至少一个第一渲染目标包括所述多个渲染遍次的中间缓冲器，其中所述中间缓冲器包括在所述第一渲染遍次期间产生并在所述第二渲染遍次期间消耗的渲染。5.根据权利要求4所述的方法，其中，所述至少一个第二渲染目标包括所述多个渲染遍次的最终缓冲器，其中所述最终缓冲器包括仅在所述第二渲染遍次期间产生并且不被后续渲染遍次消耗的渲染。6.根据权利要求1所述的方法，其中，所述至少一个第一渲染目标由工作负载生成，所述工作负载的复杂性大于生成所述至少一个第二渲染目标的工作负载的复杂性。7.根据权利要求6所述的方法，还包括控制所述GPU直接将具有较低复杂性工作负载的渲染目标存储在所述系统存储器中，所述渲染目标包括由具有第二复杂性的工作负载生成的至少一个第二渲染目标。8.根据权利要求6所述的方法，其中，所述工作负载的第一复杂性和第二复杂性基于所述至少一个帧的绘制的数量、所述至少一个帧的每一绘制的着色器的数量、以及所述至少一个帧的每一绘制的图元的数量中的至少一个。9.根据权利要求1所述的方法，还包括控制所述GPU生成构成所述场景的多个图元，并且在所述多个渲染遍次的至少第一渲染遍次期间，将所述多个图元分类到所述图形存储器的多个仓中。10.根据权利要求9所述的方法，还包括控制所述GPU为所述帧的每个仓生成可见性流，所述可见性流指示相应仓中的多个图元中的至少一个图元在最终渲染场景中是否可见。11.根据权利要求1所述的方法，还包括控制所述GPU同时执行所述第一渲染遍次和所述第二渲染遍次，使得所述至少一个第一渲染目标被存储在所述GPU的片上图形存储器中，并且同时所述至少一个第二渲染目标被存储在所述显示装置的系统存储器中。12.根据权利要求11所述的方法，还包括控制所述GPU在所述第一渲染遍次和所述第二渲染遍次之后执行第三渲染遍次，使得在所述至少一个第一渲染目标被从所述GPU的片上图形存储器中清除之后，至少一个第三渲染目标被存储在所述GPU的片上图形存储器中。13.根据权利要求1所述的方法，其中，所述至少一个第一渲染目标包括反照率渲染目标、位置渲染目标、法线渲染目标和深度渲染目标。
14.一种用于对内容进行混合渲染的装置，所述装置包括：存储器；以及至少一个处理器，耦合到所述存储器并且被配置成：配置显示装置的图形处理单元(GPU)以针对要在显示设备上显示的场景的至少一个帧执行多个渲染遍次；控制所述GPU执行所述多个渲染遍次中的第一渲染遍次，以生成至少一个第一渲染目标，所述至少一个第一渲染目标被存储在所述GPU的片上图形存储器中；以及控制所述GPU执行所述多个渲染遍次中的第二渲染遍次，以生成至少一个第二渲染目标，所述至少一个第二渲染目标被存储在所述显示装置的系统存储器中。15.根据权利要求14所述的装置，其中，所述至少一个第二渲染目标在被存储在所述显示装置的系统存储器中之前不被存储在所述GPU的片上图形存储器中。16.根据权利要求14所述的装置，其中，所述至少一个处理器还被配置成控制所述GPU执行解析，以将存储在所述GPU的片上图形存储器中的所述至少一个第一渲染目标的内容复...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：