用于增强图形渲染真实感的设备和方法技术

一种用于增强图形渲染真实感的设备和方法。例如，图形处理器的一个实施例包括：图形处理流水线，其包括用于渲染图形图像的多个图形处理级；本地存储设备，其用于存储中间渲染数据以生成所述图形图像；以及机器学习硬件逻辑，其用于使用中间渲染数据的至少一部分对图形图像执行精细化操作以生成经转换的图像。形图像执行精细化操作以生成经转换的图像。形图像执行精细化操作以生成经转换的图像。

【技术实现步骤摘要】
用于增强图形渲染真实感的设备和方法
专利

[0001]本专利技术一般涉及图形处理器领域。更特别地，本专利技术涉及用于增强图形应用的真实感（photorealism）的设备和方法，所述图形应用诸如体积视频应用、云游戏应用、计算机游戏和虚拟现实（VR）应用。

技术介绍

[0002]经由实时渲染引擎（如计算机游戏中使用的实时渲染引擎）渲染的图像缺乏真实照片的真实感外观。离线渲染方法模拟图像形成的物理现象。理论上，可以用精确模拟完美地再现照片。离线渲染方法要求几何形状、材料、照明条件等的物理精确的模型。对这些有用的东西进行建模是费力的，并且模拟在计算上要求高。
[0003]实时渲染引擎近似物理现象，使得可以以高帧率渲染图像。实时渲染技术产生较不逼真的图像，因为对于逼真外观至关重要的效果仅能被近似。
[0004]条件图像合成经由卷积神经网络（CNN）从语义标签图（semantic label map）产生逼真图像。条件图像合成忽略了与场景有关的结构信息（例如，几何形状、光照、材料），这通常导致与原始场景不一致的不足的真实度、幻觉的对象和渲染本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图形处理器，包括：图形处理流水线，所述图形处理流水线包括用于渲染图形图像的多个图形处理级；本地存储设备，所述本地存储设备用于存储中间渲染数据以生成所述图形图像；以及机器学习硬件逻辑，所述机器学习硬件逻辑用于使用所述中间渲染数据的至少部分对所述图形图像执行精细化操作以生成经转换的图像。2.如权利要求1所述的图形处理器，其中所述机器学习硬件逻辑包括用于执行所述精细化操作的机器学习网络，所述机器学习网络包括用于生成对应的多个中间残余图像的串联连接的多个中间精细化级，精细化级使用来自所述图形处理流水线的连续较精细分辨率中间图像、来自所述本地存储设备的对应中间渲染数据以及来自先前中间精细化级的中间残余图像来生成下一中间残余图像。3.如权利要求2所述的图形处理器，其中第一中间精细化级要使用最小分辨率的来自所述图形流水线的图像、来自所述本地存储设备的对应中间渲染数据和零初始化的残余图像。4.如权利要求3所述的图形处理器，其中最终精细化级要结合由先前中间精细化级生成的最终中间残余图像来对所述图形图像和所述中间渲染数据的所述部分执行所述精细化操作。5.如权利要求4所述的图形处理器，其中每个中间精细化级基于反馈结合源于来自所述本地存储设备的所述中间渲染数据的结构信息来学习产生对应的中间残余图像。6.如权利要求1至5中任一项所述的图形处理器，其中在通过所述图形流水线的第一遍次中生成所述中间渲染数据，并且其中在通过所述图形流水线的后续遍次中使用所述中间渲染数据来生成所述图形图像。7.如权利要求6所述的图形处理器，其中所述中间渲染数据包括G缓冲器数据。8.如权利要求7所述的图形处理器，其中所述G缓冲器数据包括与所述图形图像的几何形状、材料和/或光照有关的数据。9.一种方法，包括：在包括多个图形处理级的图形处理流水线上渲染图形图像；将中间渲染数据存储在本地存储设备中以生成所述图形图像；以及使用所述中间渲染数据的至少部分对所述图形图像执行包括精细化操作的机器学习操作以生成经转换的图像。10.如权利要求9所述的方法，其中在机器学习网络上执行所述机器学习操作，所述方法还包括：串联执行多个中间精细化操作以生成对应的多个中间残余图像，精细化操作使用来自所述图形处理流水线的连续较精细分辨率中间图像、来自所述本地存储设备的对应中间渲染数据以及来自先前中间精细化操作的中间残余图像来生成下一中间残余图像。11.如权利要求10所述的方法，其中第一中间精细化操作要使用最小分辨率的来自所述图形流水线的图像、来自所述本地存储设备的对应中间渲染数据和零初始化的残余图像。12.如权利要求11所述的方法，其中所述精细化操作包括使用所述中间渲染数据的所述部分结合由先前中间精细化操作生成的最终中间剩余图像的对所述图形图像的最终精
细化操作。13.如权利要求1...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：