将离散光衰减转换为光谱数据以用于渲染对象体积制造技术

公开了使用优化的模拟渲染三色渲染方案中的介质的光谱渲染来渲染描绘与具有体积衰减的介质相互作用的光的图像的装置、系统和技术。术。术。

【技术实现步骤摘要】
将离散光衰减转换为光谱数据以用于渲染对象体积


[0001]至少一个实施例涉及用于执行和促进图形应用的计算技术。例如，至少一个实施例涉及在渲染复杂场景的逼真图像中使用的操作，其中复杂场景涉及与吸收和散射介质相互作用的光的透射和反射。

技术介绍

[0002]图像渲染(图像合成)是从场景数据生成图像的过程，它可以涉及各种二维和/或三维模型。场景数据可以包括场景的各种对象的位置和几何形状(形状、大小、方向)、光源的位置、关于光源产生的光的强度、类型和颜色的信息，以及关于对象反射率/吸收率的信息。渲染然后可以确定场景的每个对象应该如何呈现给从特定有利位置观看场景的观看者。成功的渲染算法除了复杂的软件开发和处理硬件的有效利用外，通常还涉及物理定律、颜色感知的生理科学、数学和统计建模等。渲染可以是静态的和/或动态的。在后一种情况下，至少一些对象和/或观看的有利位置可以移动，使得至少一些渲染是实时执行的。
附图说明
[0003]图1A是根据至少一些实施例的使用上采样和有效衰减函数来优化与具有体积衰减的介质相互作用的光的光谱渲染的示例计算机系统的框图；
[0004]图1B是根据至少一个实施例的可以实现与具有体积衰减的介质相互作用的光的上采样和有效光谱渲染的示例计算设备；
[0005]图2示出了根据至少一些实施例的可用于获得有效衰减函数的示例数据流，该衰减函数用于优化与具有体积衰减的介质相互作用的光的光谱渲染；
[0006]图3A和图3B示出了根据至少一些实施例的可用于优化与介质相互作用的光的光谱渲染的衰减函数的可能形式的示例，图3A描绘了光的波长的示例分段常数函数，图3B描绘了光的波长的示例连续函数；
[0007]图4A和图4B示出了根据至少一些实施例的用优化的衰减函数评估光相互作用的渲染准确性的示例评估方案，图4A示出了根据至少一些实施例的使用优化的衰减函数来评估光与体积介质的相互作用的渲染的准确性的示例评估方案，图4B示出了根据至少一些实施例的使用目标空间的原色的衰减函数优化，图4C示出了根据至少一些实施例的使用目标空间的原色的组合的衰减函数优化450；
[0008]图5是根据本公开的一些实施例的与体积介质相互作用的光的有效光谱渲染的示例方法的流程图；
[0009]图6是根据本公开的一些实施例的优化衰减函数以用于与体积介质相互作用的光的光谱渲染的示例方法的流程图；
[0010]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0013]图9是根据至少一个实施例的高级计算管线的示例数据流程图；
[0014]图10是根据至少一个实施例的用于在高级计算管线中训练、调整、实例化和部署机器学习模型的示例系统的系统图。
具体实施方式
[0015]高质量图像渲染是一项计算密集型技术，涉及大量处理和存储器资源。因此，在用户(开发人员)可用的硬件上优化算法和有效实现这些算法是一个重要的技术目标。此外，人类的视觉感知是光传播物理和光与物质对象的相互作用以及人眼中的光感受器感知光的生理和神经学规律、通过视神经传递信号和由人脑进行的神经处理的复杂相互作用。虽然光的物理特性由其光谱分布(描述光中各种波长/频率的表示)决定，但对颜色的感知取决于是否存在三种类型的颜色感受器(视锥细胞)，它们的光谱灵敏度松散地集中在靠近可见光谱(380
–
750nm)的红色、绿色和蓝色部分。结果，光的多个光谱分布可能被人眼感知为具有相同的颜色。
[0016]计算机应用中的颜色渲染(早期的电视技术也是如此)通常使用三原色执行——红色、绿色和蓝色(RGB)——受到与人类感知的近似的启发。RGB渲染方案涉及在某些单元指定每种原色(R、G、B)的数量(通常，每种颜色的范围为[0,255])。而光谱强度I(λ)可以通过投影到三个RGB颜色匹配函数c
j
(λ)上明确地转换为RGB方案(例如，通过计算∫dλI(λ)c
j
(λ)对于每个j＝R,G,B并归一化到范围[0,255])，识别基础光谱强度I(λ)的逆过程R,G,B
→
I(λ)有多个解(实际上是无限的)。存在多种上采样程序，这些程序可以识别可行的解决方案，这些解决方案很好地代表了映射到目标RGB值的特定(例如，自然光)环境中的光谱分布。这种上采样可能有利于生成优于在RGB方案中渲染的那些的图像。例如，光谱渲染方案可能涉及光和光
‑
物质相互作用的真实模型。这样的模型可以对在光谱(波长或等效地，频率)域中指定的光强度I(λ)进行操作(例如，用作输入和输出)。另一方面，用户数据(诸如样本图像)经常以RGB格式提供。
[0017]在生成包括体积介质(例如薄雾、雾、灰尘、水、云、空气的大气深度大)的场景图像时，RGB(或其他三色)渲染可能导致与光谱渲染的输出不同的结果。发生这种情况是因为此类介质的实际粒子在不同程度上散射和吸收不同波长的光。结果，通过体积介质的光的强度随着通过介质的距离L而减小，I(L)＝I(0)e
‑
μ(λ)L
，具有衰减(消光)系数μ(λ)取决于波长λ。在通过实际物理介质传播(或反射)期间，单色光保持具有相同波长的单色光(至少只要发光和各种非线性效应保持较小)。另一方面，在三色方案中渲染的相同单色光确实会改变其颜色外观，因为每个底层三色分量的衰减不同。例如，可见光范围的蓝色部分通常比红色部分经历更强的散射，而对于由介质的原子和分子特性确定的特定波段，吸收可能更明显。因此，使用RGB(或其他三色)方案渲染的单色光在通过体积介质(或在从相同介质反射时)传输期间可能会经历与在光谱表示中渲染的色移不同的色移。
[0018]本公开的方面和实施例通过公开能够对包含体积介质的描绘的图像进行光谱渲染的方法和系统解决了这些和其他技术挑战，这与在利用几个(例如，三个、四个等)原色的渲染方案中的类似介质的渲染紧密匹配，包括但不限于RGB颜色空间(例如CIE RGB方案)、CIE XYZ颜色空间、学院颜色编码系统(ACES)、Rec.2020/BT.2020颜色空间，或任何其他颜色编码空间。所公开的实施例实现了可在广泛的硬件平台上使用的快速且计算效率高的实
时渲染。在至少一个实施例中，可以定义衰减函数，该衰减函数描述在通过特定体积介质传输和/或从特定体积介质反射时的颜色动态，并通过有限数量的拟合参数(例如，两个、五个或任何其他数量)参数化。拟合参数可以通过优化过程来确定，该过程使(i)透射/反射光在光谱颜色渲染方案中渲染的外观与(ii)相同光在目标颜色渲染方案中的外观之间的差异最小化(例如，RGB、XYZ等)。
[0019]尽管在本公开全文中使用医学成像示例来说明各种概念，但基本相同或相似的概念可用于其他上下文中的对象识别，例如驾驶或工业环境中的对象识别、安全应用中的对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染方法，所述方法包括：识别场景中的第一光，所述第一光具有第一颜色渲染方案CRS中的第一表示和第二CRS中的第二表示；识别表征所述第一光与所述场景中介质的相互作用的衰减函数；使用所述衰减函数确定与所述介质相互作用的所述第一光在所述第一CRS中的第三表示；至少部分地基于使所述第一光的所述第三表示与所述第二CRS中与所述介质相互作用的所述第一光的第四表示之间的差最小化来确定所述衰减函数的一个或更多个拟合参数；以及使用所述衰减函数和所确定的一个或更多个拟合参数来渲染包括与所述介质相互作用的所述第一光或与所述介质相互作用的第二光中的至少一个的图像。2.根据权利要求1所述的方法，其中所述第一CRS是光谱渲染方案。3.根据权利要求1所述的方法，其中所述第二CRS是三色渲染方案。4.根据权利要求1所述的方法，其中所述衰减函数是衰减系数与所述介质的深度的乘积的指数函数。5.根据权利要求1所述的方法，其中所述衰减函数是包括多个值的波长的分段常数函数，所述多个值中的每一个与多个波长间隔中的相应一个相关联。6.根据权利要求5所述的方法，其中所述多个值中的一个或更多个值是基于对于所述第二CRS的相应颜色的所述介质的衰减系数。7.根据权利要求5所述的方法，其中所述一个或更多个拟合参数包括所述多个波长间隔的相邻间隔之间的至少一个边界。8.根据权利要求1所述的方法，其中确定所述衰减函数的所述一个或更多个拟合参数包括：识别与所述第一光的所述第三表示相对应的多个色度值；以及确定表示所述多个色度值中的每一个与多个参考色度值中的相应一个之间的距离的度量。9.根据权利要求8所述的方法，其中所述多个参考色度值与所述第二CRS的多个原色相关联。10.根据权利要求1所述的方法，其中所述第二光具有不同于所述第一光的光谱成分的光谱成分。11.根据权利要求1所述的方法，其中所述第一光具有自然室外光源的光谱成分。12.一种系统，包括：存储设备；以及一个或更多个处理设备，通信地耦合到所述存储设备，用于：识别场景中的第一光，所述第一光具有第一颜色渲染方案CRS中的第一表示和第二CRS中的第二表示；识别表征所述第一光与所述场景中介质的相互作用的衰减函数；使用所述衰减函数确定与所述介质相互作用的所述第一光在所述第一CRS中的第三表...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：辉达公司，
类型：发明
国别省市：