光场体积渲染系统和方法技术方案

一种用于对光场进行体积渲染的系统和方法，其中，光场数据经历分层方案，从而引入将hogel划分为子集。对应于层体积的子体积的每个子集对应于层的子区域。新的数据分区与高效的本地内存缓存技术、降低内存带宽要求的全光下采样策略以及生成渲染光场图像的体积渲染算法相结合。在仍旧保持结果图像质量的同时，可以获得减少所需的样本总数。还提供一种方法，用于将内存访问与光线计算对齐，以最大限度地提高访问一致性。实时分层场景分解可以与表面渲染方法相结合，以创建支持渲染包含叠加体积和表面的场景的混合实时渲染方法。体积和表面的场景的混合实时渲染方法。体积和表面的场景的混合实时渲染方法。

【技术实现步骤摘要】
【国外来华专利技术】光场体积渲染系统和方法
[0001]要求优先权
[0002]本申请要求优先于2020年4月27日提交的美国专利申请序列No.63/015,929的优先权，其全部内容通过引用并入本文。


[0003]本专利技术涉及用于渲染图像和光场数据的光场体积渲染，其可以与渲染、数据压缩和解压缩系统以及用于在光场显示器上提供交互式多维内容的方法相结合。

技术介绍

[0004]在光场显示器上进行体积数据可视化的体积渲染光场技术是可取的。光场的体积渲染提供实现令人信服的身临其境体验的新水平的机会。体积渲染在医学成像可视化、地震可视化、流体动力学和工业检测中特别有用。具体而言，在医学领域内，源自诸如磁共振成像(MRI)的扫描来查看三维(3D)成像的能力例如允许深入了解人体解剖结构，并有助于有效诊断。此外，当这种可视化能力能够以实时交互速度执行时，可以使用更大更详细的数据集(也可以引入时间元素)执行更详细、更高效和更准确的诊断。
[0005]就实时计算机图形而言，3D场景通常使用例如多边形、点、样条线表示为一组表面。本领域已知的实时表面渲染技术通常仅合成光线反射的场景的图像。能够表面反射以外建模的一种表示方法包括使用体积表示与体积渲染技术相结合。然而，这通常需要许多光线和体积数据的许多样本。由于体积渲染是计算密集型的，因此对于体积渲染光场，需要使用计算成本较低且保持图像质量的加速方法。
[0006]据说，可用的光场显示器至少需要数十亿像素以达到可接受的质量。因此，与传统的二维(2D)图像渲染相比，光场渲染需要更多数量级的像素或光线。因此，对于光场体积渲染，可以观察到需要更多光线。考虑到光场中许多光线之间的固有相交/重叠，可以观察到光场体积渲染光线中重复加载许多相同的采样。然而，利用这种固有重用的一致性方案并不那么明显。
[0007]Stegmaier等人描述的光线投射方法似乎是优选方法，因为它允许增加采样控制并在现代GPU上以实时速率运行。通常观察到体积渲染的现代GPU实施存在动态随机访问内存(DRAM)内存带宽瓶颈，因为光线投射过程需要对体积数据集进行许多采样。渲染算法多次访问体积数据中的体素。如果所有访问都涉及从DRAM读取，内存带宽和延迟可成为严重的性能瓶颈。
[0008]仍然需要一种能够以可接受的工作速度提供良好分辨率的光场体积渲染系统和方法。
[0009]提供该背景信息的目的是使申请人认为与本专利技术可能相关的已知信息。不一定要承认，也不应解释为，任何上述信息构成反对本专利技术的现有技术。

技术实现思路

[0010]本专利技术一般涉及一种三维图像数据的光场体积渲染方法。本专利技术描述了一种需要较少体积数据样本的算法，它直接有助于减少与3D体积渲染相关的基于带宽的瓶颈，并提供了一种更快速和计算量更小的渲染过程。此外，本专利技术的另一个目的是描述一种方法，该方法说明了如何有效地将缓存用于光场体积渲染，以进一步缓解渲染计算过程中基于缓慢内存的瓶颈。
[0011]根据一方面，提供一种在计算机系统中对场景进行光场体积渲染的方法，包括：将包括体积数据的场景的三维描述划分为多个层，每个层具有关联的光场和至少一个板坯体积，每个板坯体积具有关联的hogel子集，使得与所述hogel子集关联的所有光线与所述板坯体积相交；使用每个层中包括的体积数据体积渲染与每个层关联的光场，使得对所述hogel子集中的光线执行体积渲染计算，以提供渲染的光场；缓存与相应板坯体积相交的体积数据，并将所述体积数据存储在本地存储缓存内存中；和将与每个层关联的渲染的光场混合到单个输出光场图像中。
[0012]实施方案可以包括以下一个或多个特征，这些特征可以以任何排列或组合进行组合。
[0013]在本方法的实施方案中，仅缓存所述体积数据的一部分。
[0014]在另外实施方案中，该方法还包括同步在所述hogel子集中的光线在它们初始进入板坯时执行的体积渲染计算。
[0015]在方法的另外实施方案中，至少一层具有多于一个板坯体积。
[0016]在方法的另外实施方案中，通过从所述本地存储缓存内存选择性地访问一组体积元素，对与所述板坯体积相交的光线执行重建计算，所述光线与沿所述光线路径重新采样点相关联的板坯体积相交。
[0017]在方法的另外实施方案中，所述hogel子集的大小为利用子集中hogel中光线样本的重叠。
[0018]在方法的另外实施方案中，当与每个hogel子集相应的体积渲染计算和相应的板坯体积相交时，它们是同步的。
[0019]在另外实施方案中，该方法用于实时渲染系统。
[0020]在另一方面，提供一种计算机实施的光场图像渲染方法，包括以下步骤：将包括表面数据元素和体积数据的场景的三维描述划分为多个层，每个层具有相关联的光场和采样方案；进一步将所述多个层中的至少一个层划分为多个子段,每个子段具有相关联的光场和采样方案,其中每个子段位置根据所述场景中表示的对象的至少一部分的几何形状确定；对于每个层和每个子段,根据采样方案，使用包括在每个层和每个子段中的表面数据，渲染包括额外像素信息的一组像素以生成采样的光场；使用该组像素重建每个层和子段的采样的光场；使用层中包括的体积数据对与每个层关联的光场进行体积渲染；和将重建的采样光场和与每个层和子段关联的体积渲染光场混合到单个输出光场图像中。
[0021]实施方案可以包括以下一个或多个特征，这些特征可以以任何排列或组合进行组合。
[0022]在本方法的实施方案中，所述采样方案包括与每个层关联的二进制矩阵和映射每个层的映射函数。
[0023]在方法的另外实施方案中，与每个层关联的每个光场由一个或多个hogel子集组成,其中每个hogel子集及其关联的层限定作为层的子体积的板坯体积，并且其中该方法还包括:同步与每个层关联的光线相关的体积渲染计算；缓存与每个相应板坯体积相交的体积数据；和当所述光线与所述板坯体积相交时，体积渲染每个hogel子集中的光线。
[0024]在方法的另外实施方案中，仅缓存所述体积数据的一部分。
[0025]在方法的另外实施方案中，至少一层具有多于一个板坯体积。
[0026]在方法的另外实施方案中，所述hogel子集的大小为利用子集中hogel中光线样本的重叠。
[0027]在方法的另外实施方案中，当与hogel子集相应的所有体积渲染计算和相应的板坯体积相交时，它们是同步的。
[0028]在另外实施方案中，该方法用于实时渲染系统。
[0029]在另一方面，提供一种在计算机系统中对场景进行光场体积渲染的方法,包括：将包括体积数据元素的三维场景划分为多个层,每个层具有关联的光场和采样方案,其中每个光场由一个或多个hogel子集组成，和每个hogel子集和层以及关联的光场限定包括层的子体积的板坯体积；根据所述采样方案，使用层中包括的体积数据对与每个层关联的光场进行体积渲染，以提供多个渲染的光场；和将与每个层关联的渲染的光场上采样并混合到单个输出光场图像中。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在计算机系统中对场景进行光场体积渲染的方法，包括：将包括体积数据的场景的三维描述划分为多个层，每个层具有关联的光场和至少一个板坯体积，每个板坯体积具有关联的hogel子集，使得与所述hogel子集关联的所有光线与所述板坯体积相交；使用每个层中包括的体积数据体积渲染与每个层关联的光场，使得对所述hogel子集中的光线执行体积渲染计算，以提供渲染的光场；缓存与相应板坯体积相交的体积数据，并将所述体积数据存储在本地存储缓存内存中；和将与每个层关联的渲染的光场混合到单个输出光场图像中。2.权利要求1所述的方法，其中仅缓存所述体积数据的一部分。3.权利要求1或2所述的方法，还包括同步在所述hogel子集中的光线在它们初始进入板坯时执行的体积渲染计算。4.权利要求1
‑
3中任一项所述的方法，其中至少一层具有多于一个板坯体积。5.权利要求1
‑
4中任一项所述的方法，其中通过从所述本地存储缓存内存选择性地访问一组体积元素，对与所述板坯体积相交的光线执行重建计算，所述光线与沿所述光线路径重新采样点相关联的板坯体积相交。6.权利要求1
‑
5中任一项所述的方法，其中所述hogel子集的大小为利用子集中hogel中光线样本的重叠。7.权利要求1
‑
6中任一项所述的方法，其中当与每个hogel子集相应的体积渲染计算和相应的板坯体积相交时，它们是同步的。8.权利要求1
‑
7中任一项所述的方法，其中该方法用于实时渲染系统。9.一种光场图像渲染方法，包括以下步骤：将包括表面数据元素和体积数据的场景的三维描述划分为多个层，每个层具有相关联的光场和采样方案；进一步将所述多个层中的至少一个层划分为多个子段，每个子段具有相关联的光场和采样方案，其中每个子段位置根据所述场景中表示的对象的至少一部分的几何形状确定；对于每个层和每个子段，根据采样方案，使用包括在每个层和每个子段中的表面数据，渲染包括额外像素信息的一组像素以生成采样的光场；使用该组像素重建每个层和子段的采样的光场；使用层中包括的体积数据对与每个层关联的光场进行体积渲染；和将重建的采样光场和与每个层和子段关联的体积渲染光场混合到单个输出光场图像中。10.权利要求9所述的方法，其中所述采样方案包括与每个层关联的二进制矩阵和映射每个层的映射函数。11.权利要求9或10所述的方法，其中与每个层关联的每个光场由一个或多个hogel子集组成，其中每个hogel子集及其关联的层限定作为层的子体积的板坯体积，并且其中该方法还包括：同步与每个层关联的光线相关的体积渲染计算；缓存与每个相应板坯体积相交的体积数据；和
当所述光线与所述板坯体积相交时，体积渲染每个hogel子集中的光线。12.权利要求11所述的方法，其中仅缓存所述体积数据的一部分。13.权利要求11或12所述的方法，其中至少一层具有多于一个板坯体积。14.权利要求11
‑
13中任一项所述的方法，其中所述hogel子集的大小为利用子集中hogel中光线样本的重叠。15.权利要求11
‑
14中任一项所述的方法，其中当与hogel子集相应的所有体积渲染计算和相应的板坯体积相交时，它们是同步的。16.权利要求9
‑
15中任一项所述的方法，其中该方法用于实时渲染系统。17.一种在计算机系统中对场景进行光场体积渲染的方法，包括：将包括体积数据元素的三维场景划分为多个层，每个层具有关联的光场和采样方案，其中每个光场由一个或多个hogel子集组成，并且每个hogel子集和层以及关联的光场限定包括层的子体积的板坯体积；根据所述采样方案，使用层中包括的体积数据对与每个层关联的光场进行体积渲染，以提供多个渲染的光场；和将与每个层关联的渲染的光场上采样并混合到单个输出光场图像中。18.权利要求17所述的方法，其中所述采样方案包括与每个层关联的二进制矩阵和映射每个层的映射函数。19.权利要求17或18所述的方法，其中缓存与所述板坯体积相交的体积数据。20.权利要求19所述的方法，其中仅缓存与所述板坯体积相交的一部分体积数据。21.权利要求17
‑
20中任一项所述的方法，其中至少一层具有多于一个板坯体积。22.权利要求17
‑
21中任一项所述的方法，其中所述hogel子集的大小为利用子集中hogel中光线样本的重叠。23.权利要求17
‑
22中任一项所述的方法，其中该方法用于实时渲染系统。24.一种用于在计算机系统中执行场景的加速体积渲染的系统，所述系统包括：用于存储体积数据的系统存储器；与所述系统存储器操作地耦合的处理器设备，被配置为：将包...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：阿瓦龙全息照相技术股份公司，
类型：发明
国别省市：