图像渲染方法和设备技术

一种用于在视点处渲染像素的图像渲染方法，包括以下步骤：针对在虚拟场景内的位置处具有预定表面的虚拟场景的第一元素：将基于视点的位置和方向提供给先前经训练的机器学习系统以预测因子，当该因子与表征光与预定表面的相互作用的分布函数相结合时，生成对应于在位置处照亮的虚拟场景的第一元素的像素值；将来自上述机器学习系统的预测的因子与分布函数相结合，以生成对应于在位置处虚拟场景的被照亮的第一元素的像素值；以及将像素值合并到渲染图像中以供显示；其中机器学习系统先前使用基于包含多个照明条件的图像的训练集进行训练。训练。训练。

【技术实现步骤摘要】
图像渲染方法和设备


[0001]本专利技术涉及一种图像渲染方法和设备。

技术介绍

[0002]光线追踪是其中在虚拟场景内追踪光的路径的渲染过程。然后，模拟每条光线与场景内的对象或表面的交互。为了实现一定程度的真实性，通常这种模拟会考虑这些物体或表面的材质特性，诸如，它们的颜色和反射率。
[0003]因此，光线追踪是一个计算成本很高的处理。此外，不同的图像帧之间成本也不一样，这取决于什么场景被照亮、由什么光来照亮以及从什么视点来照亮。
[0004]这使得维持用于渲染此类图像的优选帧速率难以实现，对于与平均图像完成时间(即帧速率)对应的平均计算成本以及由光线追踪引起的在所述平均值附近给定的变化量，要么必须将平均图像质量设置得足够低，以使该变化量仅很少地影响帧速率，或者，如果将平均图像质量设置为接近对应于优选帧速率下的最大值，则当变化的光线追踪需求波动超过平均值时，必然牺牲帧速率的一致性。
[0005]这两种结果都不是所期望的，但是却难以避免，同时光线追踪过程的计算负担取决于数据并且不可预测。
[0006]本专利技术试图解决或缓解这个问题。

技术实现思路

[0007]本专利技术的各个方面和特征在所附权利要求书中和所附说明书的正文中定义，并且至少包括：
[0008]‑
第一实例中的根据权利要求1所述的图像渲染方法；和
[0009]‑
另一实例中的根据权利要求15所述的娱乐设备。
附图说明
[0010]当结合附图考虑时，通过参考以下详细描述，将容易获得对本公开及其许多伴随优点的更完整理解，并且本公开及其许多伴随优点变得更好理解，其中：
[0011]图1是根据本文描述的实施例的娱乐设备的示意图；
[0012]图2是根据本文描述的实施例的光线追踪对象的图示；
[0013]图3是根据本文描述的实施例的组成光线追踪对象的分量的示意图；
[0014]图4是根据本文描述的实施例的与各分量相关联的分布函数的示意图；
[0015]图5是根据本文描述的实施例的散射分布示意图；
[0016]图6是根据本文描述的实施例的机器学习系统的训练方案的示意图；
[0017]图7是根据本文描述的实施例的渲染图像的渲染路径的示意图；
[0018]图8A是根据本文描述的实施例的机器学习系统的示意图；
[0019]图8B是根据本文描述的实施例的机器学习系统的一部分的示意图。
[0020]图9是根据本文描述的实施例的图像渲染方法的流程图。
[0021]图10是根据本文描述的实施例的图像渲染方法的流程图。
[0022]图11是根据本文描述的实施例的训练方法的示意图。
具体实施方式
[0023]公开了一种图像渲染方法和设备。在下面的描述中，为了提供对本专利技术的实施例的透彻理解，呈现了一些特定的细节。然而，显而易见的是，对于本领域技术人员来说，不需要使用这些特定的细节来实施本专利技术。相反，在适当的情况下，为了清晰起见，省略本领域技术人员已知的特定细节。
[0024]本说明书的实施例寻求通过使用机器学习系统来解决或减轻上述问题，该机器学习系统学习给定对象或场景的像素表面特性与所渲染的像素之间的关系；通过使用这样的机器学习系统，则可以基于相对一致的计算预算(运行机器学习系统的计算预算)来近似对象或场景的光线追踪渲染。
[0025]如本文稍后所解释的，可以针对不同的场景、位置或其部分，或者针对在一个或多个场景内使用的不同的对象或材质来训练不同的机器学习系统。
[0026]机器学习系统相对较小(通常在100KB到1MB的量级)，因此为了由GPU(30)运行，可以被拉入存储器中并随后像场景的纹理那样被丢弃。系统可以由GPU的着色器运行。还将理解的是，原则上机器学习系统可以可替代地或另外由CPU(20)或由通用或专用协处理器(诸如，神经网络处理器或ASIC)运行。
[0027]现在参考附图，其中在所有的几个示图中，相同的附图标记表示相同或对应的部分，图2
‑
7图示了问题空间，在该问题空间内训练机器学习系统
[0028]图2是示例对象或场景的高质量光线追踪渲染200，在本例中是一辆停在平台上的汽车。
[0029]图3示出了该渲染背后的不同贡献分量。首先，漫射照明(diffuse lighting)分量200
‑
D通常捕捉表面的亚光颜色以及由光和形状的相互作用引起的阴影，而其次，镜面照明(specular lighting)分量200
‑
S捕捉表面的反射，从而产生闪烁和高光。可选地，可以包括一个或多个附加分量，例如光泽或“涂层”(coat)200
‑
C，其是可以包括附加光泽或图案的第二外表面。这种涂层的变体可以允许以类似于例如，皮肤或织物的方式部分透明和/或部分漫射。可以使用相应的光线追踪过程来常规地生成这些分量中的每一者。
[0030]这些分量相加求和以形成先前在图2中看到的整幅图像。将理解的是，虽然通常2或3个这样的分量将有助于渲染，但是在一些情况下，可以有更少(例如，如果仅期望漫射分量)或更多(例如，当对象也是半透明的并且因此需要透射分量时)的分量。
[0031]图4下一步包括产生上述图像贡献分量的对象的材质特性。
[0032]材质特性表示为所谓的双向散射分布函数(BSDF)或双向反射分布函数(BRDF)。
[0033]BRDF定义光如何在不透明表面上反射，而类似地，BSDF定义光线将在特定方向上被反射或散射的概率。因此，BRDF或BSDF是描述表面的照明特性(不包括入射/出射辐照本身)的函数。也可以适当地使用其他函数，例如，双向透射率分布函数(BTDF)，其定义光如何通过材质。
[0034]还参考图5，在典型的光线追踪应用中，对于一组光线(例如，来自紧凑光源)，应用
计算到模型上具有特定BSDF、BRDF和/或BTDF的点上的入射辐照(其本身直接或先前反射)。针对特定贡献分量响应，将传入辐照与BSDF、BRDF或BTDF组合(例如，相乘)，并且将结果与模型上该点处的像素值相加。如图5所示，BSDF中光路ω
i
的典型散射图案将朝向镜面反射方向ω
a
偏置，但是可以在任何方向上散射。精准地对这种行为建模是光线追踪在计算上可能昂贵的一个原因。
[0035]使用模型在各个点处的颜色信息以及该点(即，对于由给定点表示的特定材质)的对应BSDF、BRDF和/或BTDF，可以由此计算对于给定最终视点的光线的行为，其中光线反射或散射例如确定车辆表面上的闪耀和高亮部分的实际分布。
[0036]可以为每个起作用的分量使用单独的BSDF、BRDF或BTDF；因此，作为非限制性的示例，BSDF可以用于漫射分量，BRDF用于镜面反射分量，在该示例中也用于涂层反射分量(尽管BTDF也可以用于这种涂层反射分量)。将理解的是，可以恰当地使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在视点处渲染像素的图像渲染方法，包括以下步骤：针对在虚拟场景内的位置处具有预定表面的所述虚拟场景的第一元素：将基于所述视点的位置和方向提供给先前经训练的机器学习系统以预测因子，当所述因子与表征光与所述预定表面的相互作用的分布函数相结合时，生成对应于在所述位置处被照亮的所述虚拟场景的所述第一元素的像素值；将来自所述机器学习系统的预测的因子与所述分布函数相结合，以生成对应于在所述位置处所述虚拟场景的被照亮的所述第一元素的像素值；以及将所述像素值合并到渲染图像中以供显示；其中所述机器学习系统先前使用基于包括多个照明条件的图像的训练集进行训练。2.根据权利要求1所述的图像渲染方法，其中：所述多个照明条件包括照明位置的一个或多个变化。3.根据权利要求2所述的图像渲染方法，其中：照明位置的变化是从以下列表中选择的一个或多个的函数，所述列表包括：i.所述虚拟场景内的名义时间；和ii.可移动虚拟光源的移动路径。4.根据权利要求1所述的图像渲染方法，其中：所述多个照明条件包括照明方向的一个或多个变化。5.根据权利要求4所述的图像渲染方法，其中：照明方向的变化是从以下列表中选择的一个或多个的函数，所述列表包括：i.光源的轴向变化；和ii.光的角展度的变化。6.根据权利要求1所述的图像渲染方法，其中：所述多个照明条件包括从以下列表中选择的一项或多项的一个或多个变化，所述列表包括。i.照明颜色；ii.照明亮度；和iii.照明漫射。7.根据权利要求1所述的图像渲染方法，其中为所述图像的多个贡献分量中的每一个分量训练相应的机器学习系统；为所述图像的多个贡献分量中的每一个分量使用相应的分布函数；和组合相应生成的像素值以创建最终的组合像素值，所述最终的组合像素被合并到所述渲染图像中以供显示。8.根据权利要求1所述的图像渲染方法，其中所述机器学习系统是神经网络；所述神经网络的第一部分的输入包括所述预定表面的位置；并且所述神经网络的第二部分的输入包括所述第一部分的输出和所述方向。9.根据权利要求1所述的图像渲染方法，其中所述机器学习系统是神经网络；并且所述神经网络的输入包括表示选自以下列表中的一个或多个的数据，所述列表包括：
i.照明位置或偏移；ii.所述虚拟场景内的名义时间；iii.光源的轴向...

【专利技术属性】
技术研发人员：F卡佩洛，M桑德斯，MV巴雷罗，T布拉德利，AJ比戈斯，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：