图形处理系统和图形处理器技术方案

本申请公开了图形处理系统和图形处理器。图形处理系统包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线。在初始处理阶段以第一分辨率处理场景的数据并以第二分辨率处理场景的数据。在初始处理阶段以第一分辨率和第二分辨率处理场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据。根据视线跟踪数据识别场景的至少一个子区域。在进一步处理阶段以第一分辨率处理场景的数据并以第二分辨率仅处理与所识别的场景的至少一个子区域相对应的数据。通过组合在进一步处理阶段处理的场景的数据来渲染场景。

Graphic processing system and graphic processor

This application discloses a graphic processing system and a graphic processor. The graphics processing system includes at least an initial processing stage and a further processing phase of the graphics processing line. In the initial processing phase, the data of the scene is processed with the first resolution and the scene is processed with a second resolution. After processing the scene data at the initial processing stage with the first resolution and the second resolution, the gaze tracking data related to the current location of the user at least one eye of the user equipment of the virtual reality is received. At least one subregion of the scene is identified according to the line of sight tracking data. In the further processing stage, the data of the scene are processed with the first resolution, and the data corresponding to the at least one sub area of the identified scene are processed at the second resolution. The scene is rendered by combining the data of the scene processed in the further processing stage.

【技术实现步骤摘要】
图形处理系统和图形处理器
本公开涉及图形处理系统和图形处理器。
技术介绍
注视点渲染(foveatedrendering)是一种渲染技术，其中被显示的图像的一部分以较高的分辨率被渲染，并且该图像的一个或多个其他部分以较低的分辨率被渲染。这是因为用户直接看到的图像的部分可能需要以较高的分辨率被渲染以便视觉上可接受，而用户不直接看到的图像的外围区域可以以较低的分辨率被渲染但仍然看起来是视觉上可接受的。通过以较低分辨率渲染图像的外围区域，而不是以最高分辨率渲染整个图像，注视点渲染可以用于减小图形处理单元(GPU)上的渲染负担。注视点渲染可以包括识别一个或多个注视点(fixationpoint)，其中在该一个或多个注视点处将渲染图像的较高分辨率版本，而远离该一个或多个注视点的区域以较低分辨率被渲染。具有不同的方式来确定图像的最高分辨率区域(即，一个或多个注视点)的位置。例如，可以使用头部跟踪或眼部跟踪系统来尝试识别图像中用户正在观看的地方。注视点渲染的一种使用是当为虚拟现实(VR)显示器渲染图像时，例如为虚拟现实头戴式显示器(VRHMD)渲染图像时。高分辨率VRHMD可能使用具有严重桶形畸变的镜头。这样做的效果是，朝向每只眼睛的显示器的中心的渲染图像被放大，而外围区域都被缩小。因此，外围区域可能以比中央放大区域更低的质量被渲染，但不会对用户的整体视觉效果造成任何显著损失。然而，仍然存在例如在执行注视点渲染时改进图形处理器和图形处理系统的操作的空间。
技术实现思路
根据本公开的第一方面，提供了一种操作图形处理系统的方法，该系统包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线，所述方法包括：在初始处理阶段以第一分辨率处理场景的数据；在初始处理阶段以第二分辨率处理场景的数据；在初始处理阶段以第一分辨率和第二分辨率处理所述场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别场景的至少一个子区域；在进一步处理阶段以第一分辨率处理场景的数据；在进一步处理阶段以第二分辨率仅处理与所识别的场景的至少一个子区域相对应的数据；以及通过组合在进一步处理阶段以第一分辨率处理的场景的数据和在进一步处理阶段以第二分辨率处理的与所识别的所述场景的至少一个子区域相对应的数据来渲染所述场景。根据本公开的第二方面，提供了一种操作包括图形处理流水线的图形处理系统的方法，所述方法包括在图形处理流水线中使用后期锁定的眼部跟踪数据来识别，与场景的一个或多个其他区域的分辨率相比，以相对高的分辨率被渲染的场景的一个或多个区域。根据本公开的第三方面，提供了一种操作图形处理系统的方法，该系统包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线，所述方法包括：在第一时间将用于图形处理工作项的输入数据提供给图形处理流水线；以及当图形处理流水线正在处理图形处理工作项时，在第二稍后时间将与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据提供给图形处理流水线。根据本公开的第四方面，提供了一种操作图形处理器的方法，该图形处理器与至少包含初始处理阶段和进一步处理阶段的图形处理流水线相关联，所述方法包括：在初始处理阶段以第一分辨率处理场景的数据；在初始处理阶段以第二分辨率处理场景的数据；在初始处理阶段以第一分辨率和第二分辨率处理场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别场景的至少一个子区域；在进一步处理阶段以第一分辨率处理所述场景的数据；在进一步处理阶段以第二分辨率仅处理与所识别的所述场景的至少一个子区域相对应的数据；以及通过组合在进一步处理阶段以第一分辨率处理的所述场景的数据和在进一步处理阶段以第二分辨率处理的与所识别的所述场景的至少一个子区域相对应的数据来渲染所述场景。根据本公开的第五方面，提供了一种计算机程序，该计算机程序包括当程序在图形处理系统中运行时适于执行一个或多个此种方法的软件代码。根据本公开的第六方面，提供了一种包括图形处理流水线的图形处理系统，该图形处理流水线至少包括初始处理阶段和进一步处理阶段，所述图形处理系统被布置成：在初始处理阶段以第一分辨率处理场景的数据；在初始处理阶段以第二分辨率处理场景的数据；在初始处理阶段以第一分辨率和第二分辨率处理场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别场景的至少一个子区域；在进一步处理阶段以第一分辨率处理场景的数据；在进一步处理阶段以第二分辨率仅处理与所识别的场景的至少一个子区域相对应的数据；以及通过组合在进一步处理阶段以第一分辨率处理的场景的数据和在进一步处理阶段以第二分辨率处理的与所识别的场景的至少一个子区域相对应的数据来渲染场景。根据本公开的第七方面，提供了一种包括图形处理流水线的图形处理系统，所述图形处理系统被配置成在图形处理流水线中使用后期锁定的眼部跟踪数据来识别，与场景的一个或多个其他区域的分辨率相比，以相对高的分辨率被渲染的场景的一个或多个区域。根据本公开的第八方面，提供了一种包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线的图形处理系统，所述图形处理系统被布置成：在第一时间将用于图形处理工作项的输入数据提供给图形处理流水线；以及当图形处理流水线正在处理图形处理工作项时，在第二稍后时间将与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据提供给图形处理流水线。根据本公开的第九方面，提供了一种包括一个或多个此种图形处理系统的虚拟现实用户设备。根据本公开的第十方面，提供了一种图形处理器，该图形处理器与至少包含初始处理阶段和进一步处理阶段的图形处理流水线相关联，所述图形处理器被布置成：在初始处理阶段以第一分辨率处理场景的数据；在初始处理阶段以第二分辨率处理场景的数据；在初始处理阶段以第一分辨率和第二分辨率处理场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别场景的至少一个子区域；在进一步处理阶段以第一分辨率处理场景的数据；在进一步处理阶段以第二分辨率仅处理与所识别的场景的至少一个子区域相对应的数据；以及通过组合在进一步处理阶段以第一分辨率处理的场景的数据和在进一步处理阶段以第二分辨率处理的与所识别的场景的至少一个子区域相对应的数据来渲染所述场景。根据本公开的第十一方面，提供了一种包括此种图形处理器的虚拟现实用户设备。根据本公开的第十二方面，提供了基于本公开的第一方面的操作图形处理系统的方法，其中图形处理流水线包括在初始处理阶段和进一步处理阶段之间的中间处理阶段，该方法包括：在中间处理阶段以第一分辨率处理场景的数据；以及在中间处理阶段以第二分辨率仅处理与所识别的场景的至少一个子区域相对应的数据；其中视线跟踪数据在中间处理阶段以第一分辨率和第二分辨率处理场景的数据之前被接收，并且与在中间处理阶段以第一分辨率和第二分辨率处理场景的数据之前虚拟现实用户设备的用户的至少一只眼睛的当前定位有关。根据本公开的第十三方面，提供了基于本公开的第一方面的操作图形处理系统的方法，其中图形处理流水线包括在初本文档来自技高网...

【技术保护点】
一种操作图形处理系统的方法，该系统包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线，所述方法包括：在所述初始处理阶段以第一分辨率处理场景的数据；在所述初始处理阶段以第二分辨率处理所述场景的数据；在所述初始处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别所述场景的至少一个子区域；在所述进一步处理阶段以所述第一分辨率处理所述场景的数据；在所述进一步处理阶段以所述第二分辨率仅处理与所识别的所述场景的至少一个子区域相对应的数据；以及通过组合在所述进一步处理阶段以所述第一分辨率处理的所述场景的数据和在所述进一步处理阶段以所述第二分辨率处理的与所识别的所述场景的至少一个子区域相对应的数据来渲染所述场景。

【技术特征摘要】
2016.09.05 GB 1615012.01.一种操作图形处理系统的方法，该系统包括至少包含初始处理阶段和进一步处理阶段的图形处理流水线，所述方法包括：在所述初始处理阶段以第一分辨率处理场景的数据；在所述初始处理阶段以第二分辨率处理所述场景的数据；在所述初始处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之后，接收与虚拟现实用户设备的用户的至少一只眼睛的当前定位有关的视线跟踪数据；根据所接收的视线跟踪数据识别所述场景的至少一个子区域；在所述进一步处理阶段以所述第一分辨率处理所述场景的数据；在所述进一步处理阶段以所述第二分辨率仅处理与所识别的所述场景的至少一个子区域相对应的数据；以及通过组合在所述进一步处理阶段以所述第一分辨率处理的所述场景的数据和在所述进一步处理阶段以所述第二分辨率处理的与所识别的所述场景的至少一个子区域相对应的数据来渲染所述场景。2.如权利要求1所述的方法，其中所述图形处理流水线包括在所述初始处理阶段和所述进一步处理阶段之间的中间处理阶段，所述方法包括：在所述中间处理阶段以所述第一分辨率处理所述场景的数据；以及在所述中间处理阶段以所述第二分辨率仅处理与所识别的所述场景的至少一个子区域相对应的数据；其中所述视线跟踪数据在所述中间处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之前被接收，并且与在所述中间处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之前所述虚拟现实用户设备的用户的至少一只眼睛的当前位置有关。3.如权利要求1所述的方法，其中所述图形处理流水线包括在所述初始处理阶段和所述进一步处理阶段之间的中间处理阶段，所述方法包括：在所述中间处理阶段以所述第一分辨率处理所述场景的数据；以及在所述中间处理阶段以所述第二分辨率处理所述场景的数据；其中所述视线跟踪数据在所述中间处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之后被接收，并且与在所述中间处理阶段以所述第一分辨率和所述第二分辨率处理所述场景的数据之后所述虚拟现实用户设备的用户的至少一只眼睛的当前定位有关。4.如权利要求1所述的方法，其中所述进一步处理阶段的处理具有比所述初始处理阶段的处理更大的计算负担。5.如权利要求1所述的方法，其中所述第一分辨率与所述第二分辨率相比相对较高。6.如权利要求1所述的方法，其中所接收的视线跟踪数据与所述虚拟现实用户设备的用户的至少一只眼睛的中央凹的当前注视点有关；以及其中所识别的所述场景的至少一个子区域与以所述虚拟现实用户设备的用户的至少一只眼睛的中央凹的当前注视点为中心的子区域有关。7.如权利要求1所述的方法，其中所述场景的数据包括与左眼视图相关联的数据和与右眼...

【专利技术属性】
技术研发人员：塞缪尔·马丁，
申请(专利权)人：ARM有限公司，
类型：发明
国别省市：英国,GB