单通柔性屏/刻度光栅化制造技术

诸如头戴式装置(HMD)(300，125)的设备包括一个或多个处理器(335)，所述一个或多个处理器被配置为实现图形流水线(100)，所述图形流水线以非均匀像素间隔呈现窗口空间(405，510)中的像素。所述设备还包括第一失真函数(109，525)，所述第一失真函数将窗口空间中的所述非均匀间隔像素映射到光栅空间(410，520)中的均匀间隔像素。所述设备还包括扫描转换器(110，1225)，所述扫描转换器被配置为通过所述第一失真函数对窗口空间中的所述像素进行采样。所述扫描转换器被配置为基于光栅空间中的所述均匀间隔像素呈现用于生成图像以便显示给用户的显示像素。在一些情况下，所述窗口空间中的所述像素被呈现以使得每个对向区域的像素密度在所述用户的视场中是恒定的。

Single pass flexible screen / scale rasterization

A device such as a headworn device (HMD) (300125) includes one or more processors (335) configured to implement a graphics pipeline (100) that presents pixels in a window space (405510) at non-uniform pixel intervals. The device also includes a first distortion function (109525) that maps the nonuniform spaced pixels in the window space to the evenly spaced pixels in the raster space (410520). The device also includes a scan converter (1101225) configured to sample the pixels in the window space through the first distortion function. The scan converter is configured to present a display pixel for generating an image for display to the user based on the evenly spaced pixels in the raster space. In some cases, the pixels in the window space are rendered such that the pixel density of each opposite region is constant in the user's field of view.

【技术实现步骤摘要】
【国外来华专利技术】单通柔性屏/刻度光栅化
技术介绍
图形处理器使用一系列可编程着色器和固定功能硬件块为增强现实(AR)和虚拟现实(VR)应用中的头戴式显示器(HMD)生成图像。例如，在帧中可见的对象的3-D模型由一组图元(诸如三角形、其他多边形或曲面)表示，所述图元在图形流水线中进行处理以产生像素值以便显示给用户。像素通常在窗口空间中呈现，其中在窗口上具有均匀的像素间隔。因此，每个对向角的像素密度随着与用户中心凝视方向或HMD中的透镜中心相距的像素距离而增加。通过扫描转换器以规则间隔对像素进行采样以产生矩形图像。后处理步骤使矩形图像失真，使得当用户通过一组显示透镜观看图像时，例如当用户佩戴HMD时，图像看起来是规则的。附图说明通过参考附图，本领域技术人员可以更好地理解本公开，并且其众多特征和优势是显而易见的。不同附图中使用的相同参考符号指示相似或相同物品。图1是根据一些实施方案的实现DX12应用编程接口(API)的图形流水线的框图。图2示出根据一些实施方案的包括电子装置的显示系统，所述电子装置被配置为提供沉浸式虚拟现实(VR)或增强现实(AR)功能。图3示出根据一些实施方案的包括电子装置的显示系统，所述电子装置被配置为通过显示器向佩戴电子装置的用户提供AR或VR功能。图4示出根据一些实施方案的窗口空间中的非均匀间隔像素到光栅空间中的均匀间隔像素的映射。图5是示出根据一些实施方案的呈现显示像素以用于向佩戴HMD的用户的眼睛显示的过程的框图。图6是表示根据一些实施方案的用于实现失真函数的水平失真函数和垂直失真函数的一组曲线图。图7是表示根据一些实施方案的水平失真函数或垂直失真函数的失真曲线的图示。图8示出根据一些实施方案的用于形成平滑失真曲线的分段曲线的选择。图9是示出根据一些实施方案的失真曲线的中央凹修改的一组曲线图。图10示出表示根据一些实施方案的在均匀间隔像素的光栅空间和非均匀间隔像素的窗口空间中的图元部分的图块的装仓。图11示出根据一些实施方案的基于图元边界框与失真光栅视图的比较的图元的失真感知路由。图12是根据一些实施方案的图形流水线的一部分的框图，其示出图元的装仓。图13是根据一些实施方案的用于通过失真函数对窗口空间中的非均匀像素进行采样的方法的流程图。具体实施方式在窗口空间中呈现均匀间隔像素时浪费了显著的处理能力，因为在屏幕中心处生成良好质量图像所需的高像素分辨率决定了用于呈现窗口空间中所有像素的分辨率。然而，周边处的图像质量不需要与屏幕中心处的质量一样高，因为对向视角映射到多于一个像素。例如，需要更高分辨率呈现以在围绕中心凝视方向(或HMD显示装置的透镜的中心)的高敏度区域中生成图像，但不必在视觉周边或透镜周边区域中的低敏度区域中生成具有足够质量的图像。高敏度区域通常包括视场的在中心凝视方向的某个角距离内的一部分。与中心凝视方向相距的角距离也称为偏心度。较低敏度区域包括视场的处于较大偏心度的部分。例如，高敏度区域可包括视场的在5-10°的偏心度内的一部分，其对应于视场的投射到人眼中的视网膜区域的一部分(称为中央凹)。通过在窗口空间中呈现具有非均匀像素间隔的像素，生成用于由HMD显示的图像所消耗的功率和计算资源在不损害感知的图像分辨率的情况下减少。在一些实施方案中，非均匀像素间隔对应于跨用户视场的每个对向角的近似恒定像素密度。例如，每个对向角的像素密度在中央凹区域中相对较高并且在视觉周边上相对较低。扫描转换器通过第一失真函数对窗口空间中的像素进行采样，所述第一失真函数将非均匀像素映射到光栅空间中的均匀间隔像素。扫描转换器基于光栅空间中的均匀间隔像素的值呈现显示像素，并且显示像素在显示给用户之前通过第二失真函数。第一失真函数的一些实施方案包括将非均匀像素的第一维度映射到均匀间隔像素的垂直失真函数，以及将非均匀像素的第二维度映射到均匀间隔像素的水平失真函数。第一维度和第二维度彼此正交。垂直失真函数和水平失真函数的一些实施方案由来自线性函数的对应位移集限定，所述线性函数将窗口空间中的均匀间隔像素映射到光栅空间中的均匀间隔像素。例如，垂直失真函数和水平失真函数的位移集限定点集，所述点集由表示第一个失真函数的平滑曲线结合。修改垂直失真函数和水平失真函数的一些实施方案以增加窗口空间的对应于中央凹区域位置的部分中的像素的分辨率。图1是根据一些实施方案的实现DX12应用编程接口(API)的图形流水线100的框图。图形流水线100能够处理高阶几何图元以便以预定分辨率生成三维(3-D)场景的经光栅化的图像。图形流水线100访问诸如一个或多个存储器或高速缓存的层级的存储资源101，所述一个或多个存储器或高速缓存用于实现缓冲器并且存储顶点数据、纹理数据等等。图形流水线100中的着色器的一些实施方案实现单指令多数据(SIMD)处理以使得同时处理多个顶点。因此，图形流水线100实现了统一着色器模型的概念，使得包括在图形流水线100中的着色器在共享SIMD计算单元上具有相同的执行平台。因此，着色器使用包括一个或多个处理器的公共资源集来实现。公共资源集在本文中称为统一着色器池104。在典型的DX12呈现流水线中，输入汇编器102被配置为从存储资源101访问用于限定表示场景模型的部分的对象的信息。在一些实施方案中，以软件实现的顶点着色器103在逻辑上接收图元的单个顶点作为来自输入汇编器102的输入并输出单个顶点。外壳着色器105对输入高阶曲面或用于限定输入曲面的控制点进行操作。外壳着色器105输出曲面细分因子和其他曲面数据。任选地，由外壳着色器105生成的图元可提供给曲面细分器106。曲面细分器106从外壳着色器105接收对象(诸如曲面)，并且生成标识对应于输入对象的图元的信息，例如，通过基于由外壳着色器105提供给曲面细分器106的曲面细分因子对输入对象进行曲面细分。曲面细分将输入的较高阶图元(诸如，曲面)再分成一组较低阶输出图元，所述较低阶输出图元表示指定曲面细分过程产生的图元的粒度的更细致的细节层次，例如，如曲面细分因子所指出的。域着色器107输入域位置和(任选的)其他曲面数据。域着色器107对所提供的信息进行操作，并且基于输入的域位置和其他信息生成单个顶点以供输出。几何着色器108接收输入图元，并且输出由几何着色器108基于输入图元而生成的多达四个图元。然后使用例如窗口到视口变换将图元从包含场景的视图窗口映射到表示将向用户显示的图像的像素网格。术语“窗口空间”是指由图形流水线100在处理中直到此点生成的像素。如本文所讨论的，由图形流水线100生成的窗口空间中的像素是非均匀分布的并且在像素之间具有非均匀间隔。在一些实施方案中，图形流水线100呈现窗口空间中的像素，使得每个对向区域的像素密度在用户的视场中是恒定的。例如，窗口空间中的像素在佩戴HMD的用户的中央凹区域中以相对高的像素密度呈现，所述HMD实现图形流水线100。窗口空间中的像素在视觉周边中以相对低的像素密度呈现。失真函数109用于将窗口空本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n在图形流水线(100)中以非均匀像素间隔呈现窗口空间中的像素；/n利用扫描转换器(110，1225)通过失真函数(109，515)对窗口空间(405，510)中的所述像素进行采样，所述失真函数将窗口空间中的所述非均匀间隔像素映射到光栅空间(410，520)中的均匀间隔像素；以及/n使用由所述扫描转换器基于光栅空间中的所述均匀间隔像素呈现的显示像素来生成图像以便显示给用户。/n

【技术特征摘要】
【国外来华专利技术】20170327 US 62/477,149;20171215 US 15/843,9681.一种方法，其包括：
在图形流水线(100)中以非均匀像素间隔呈现窗口空间中的像素；
利用扫描转换器(110，1225)通过失真函数(109，515)对窗口空间(405，510)中的所述像素进行采样，所述失真函数将窗口空间中的所述非均匀间隔像素映射到光栅空间(410，520)中的均匀间隔像素；以及
使用由所述扫描转换器基于光栅空间中的所述均匀间隔像素呈现的显示像素来生成图像以便显示给用户。


2.如权利要求1所述的方法，其中利用所述非均匀像素间隔呈现所述窗口空间中的所述像素包括：呈现所述窗口空间中的所述像素，使得每个对向区域的像素密度在所述用户的视场中是恒定的。


3.如权利要求2所述的方法，其中呈现所述窗口空间中的所述像素包括：呈现所述窗口空间中的所述像素，使得每个对向角的像素密度在与所述用户相关联的中央凹区域(225，240)中相对较高并且在与所述用户相关联的视觉周边(230，250)上相对较低。


4.如权利要求1所述的方法，其中通过所述失真函数对窗口空间中的所述像素进行采样包括通过以下对窗口空间中的所述像素进行采样：将窗口空间中的非均匀间隔像素的第一维度映射到光栅空间中的均匀间隔像素的垂直失真函数(610)，以及将窗口空间中的所述非均匀间隔像素的第二维度映射到光栅空间中的所述均匀间隔像素的水平失真函数(605)。


5.如权利要求4所述的方法，其中所述垂直失真函数和所述水平失真函数由来自线性函数的对应位移集限定，所述线性函数将窗口空间中的均匀间隔像素映射到光栅空间中的所述均匀间隔像素。


6.如权利要求5所述的方法，其还包括：
确定所述用户的中央凹区域(225，240)；以及
修改所述垂直失真函数和所述水平失真函数以增加所述窗口空间的对应于所述中央凹区域位置的部分中的像素的分辨率。


7.如权利要求1所述的方法，其还包括：
将图元(1000)的边界框(1105)与窗口空间中的所述非均匀间隔像素的边界进行比较；以及
基于所述比较通过所述图形流水线来路由所述图元。


8.如权利要求7所述的方法，其还包括：
基于所述图元与窗口空间中的所述非均匀间隔像素的交叉点来将所述图元的样本装仓。


9.一种设备，其包括：
至少一个处理器(335)，所述至少一个处理器被配置为实现图形流水线，所述图形流水线以非均匀像素间隔呈现窗口空间中的像素；
失真函数(109，515)，所述失真函数将窗口空间(405，510)中的所述非均匀间隔像素映射到光栅空间(410，520)中的均匀间隔像素；以及
扫描转换器(110，1225)，所述扫描转换器被配置为：
通过所述失真函数对窗口空间中的所述像素进行采样；并且
基于光栅空间中的所述均匀间隔像素呈现用于生成图像以便显示给用户的显示像素。


10.如权利要求9所述的设备，其中所述至...

【专利技术属性】
技术研发人员：迈克尔·曼特，劳伦特·列斐伏尔，米卡·托米，基亚·卡利奥，
申请(专利权)人：超威半导体公司，ATI科技无限责任公司，
类型：发明
国别省市：美国;US