用于渲染来自3D环境的数据的系统和方法技术方案

公开了用于渲染来自3D环境的数据的系统和方法。本公开的方法和系统利用来自视体的逆射线跟踪在单个渲染遍次中捕获来自3D环境的能量数据，由此能够更有效且更准确地收集数据。

【技术实现步骤摘要】
【国外来华专利技术】用于渲染来自3D环境的数据的系统和方法
本公开大体上涉及将三维环境渲染到数据集中以指示能量场投影装置输出四维能量场。
技术介绍
通过GeneRoddenberry的《星际迷航(StarTrek)》推广的“全息甲板”室内的交互式虚拟世界的梦想最初是在20世纪初由作家AlexanderMoszkowski设想出来的，近一个世纪以来它一直是科幻和技术创新的灵感来源。然而，除了文学、媒体以及儿童和成年人等的集体想象之外，这种体验并不存在令人信服的实施方案。本申请教示了将来自3D环境的信息渲染为一种格式以允许4D能量场投影系统从3D环境输出在场景上建模的4D能量场的系统和方法。
技术实现思路
在一个实施例中，一种用于从三维(3D)环境渲染三维(4D)能量场的方法包括以下步骤：在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；以及在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标。在此实施例中，每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。接下来，从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。在此实施例中，此方法包含使沿着每条射线取样的所述能量数据点与和所述射线相交的所述一个虚拟像素的能量值相关；以及将每条射线的所述一个虚拟像素的所述能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。在实施例中，所述多条射线中的至少一条射线与所述多个虚拟检视位置中的每个虚拟检视位置相交。。在一个实施例中，所述多条射线中的一条射线与所述多个虚拟像素中的每个虚拟像素相交在一些实施例中，所述4D能量场包括光场、触感场(hapticfield)或触觉场(tactilefield)。在一个实施例中，所述能量数据点包含描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。在一个实施例中，所述3D环境可以通过将深度图应用于二维空间中的点来确定的。在另一实施例中，所述虚拟显示平面对应于能量引导装置的波导系统，并且能量可用于根据所述数据集被引导通过所述波导系统，以形成所述场景的至少一部分的可检测4D能量表示。在实施例中，所述多个虚拟像素对应于所述波导系统的第一侧上的多个能量位置。在另一实施例中，所述数据集进一步包含向量化材料特性数据。在操作中，所述方法的至少一部分可以实时进行。在另一种技术中，所述方法可以完全实时地进行。在另一实施例中，所述方法的至少两个部分在不同的时间段中进行。在一些实施例中，所述数据集描述可通过视觉、音频、纹理、感觉或气味传感器感知的信号。在实施例中，沿着所述多条射线中的每条射线取样的所述能量数据点同时与能量值相关。在某些情况下，所述数据集是以二进制文件格式存储。在实施例中，所述多条射线中的每条射线经由所述多个虚拟孔径中的所述一个虚拟孔径延伸到并超出所述多个虚拟像素中的所述一个虚拟像素，且其中所述多个能量数据点中的能量数据点是从所述虚拟检视平面取样的。在一个实施例中，以上步骤可以无限地重复。在另一实施例中，以上步骤可以无限地重复以从3D环境渲染动态4D能量场。在实施例中，渲染所述能量数据进一步包括针对所述能量装置校准所述能量数据。在一个实施例中，射线文件存储3D空间坐标，所述3D空间坐标识别每个虚拟检视位置的所述位置以及与每条射线相交的所述一个虚拟像素的所述2D角坐标。在另一实施例中，所述射线文件使每个虚拟检视位置的所述3D空间坐标与相交于和所述虚拟检视位置相交的每条射线的每个虚拟像素的所述2D角坐标相关联。在又一实施例中，所述射线文件针对每条射线提供指令以用于从和所述射线相交的所述一个虚拟检视位置沿着所述射线对所述多个能量数据点中的能量数据点进行取样，其中所述指令至少由和所述射线相交的所述一个虚拟检视位置的所述3D空间坐标和与所述射线相交的所述一个虚拟像素的所述2D角坐标确定。在一个实施例中，一种用于从动态三维(3D)环境渲染四维(4D)能量场的系统包含：处理子系统，其具有感觉数据引擎和渲染引擎，其中所述感觉数据引擎在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述。在此实施例中，所述感测数据引擎在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标。每个虚拟像素的所述2D角坐标通过所述感觉数据引擎描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标通过所述感觉数据引擎识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。在此实施例中，所述渲染引擎从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。仍然在此实施例中，述渲染引擎使沿着每条射线取样的所述能量数据点与所述多个虚拟像素中的所述一个虚拟像素的能量值相关，并且所述渲染引擎将所述多个虚拟像素中的所述一个虚拟像素的所述能量值和所述多个虚拟像素中的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。在实施例中，所述多条射线中的至少一条射线与所述多个虚拟检视位置中的每个虚拟检视位置相交。在另一实施例中，所述多条射线中的一条射线与所述多个虚拟像素中的每个虚拟像素相交。在一些实施例中，所述4D能量场可以是光场、触感场或触觉场。在实施例中，所述能量数据点包括描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。在操作中，所述3D环境是通过将深度图应用于二维空间中的点来确定的。在一个实施例中，所述虚拟显示平面对应于能量引导装置的波导系统，并且能量可用于根据所述数据集被引导通过所述波导系统，以形成所述场景的至少一部分的可检测4D能量表示。在另一实施例中，所述多个虚拟像素对应于所述波导系统的第一侧上的多个能量位置。在另一实施例中，所述数据集进一步包含向量化材料特性数据。在操作中，所述系统的至少一部分是实时进行的。在另一操作中，所述系统完全实时地进行。在另一实施例中，所述系统的至少两个部分在不同的时间段内进行。<本文档来自技高网...

【技术保护点】
1.一种用于从三维(3D)环境渲染四维(4D)能量场的方法，所述方法包括：/n在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；/n在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标，其中每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置；/n从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交；/n使沿着每条射线取样的所述能量数据点与和所述射线相交的所述一个虚拟像素的能量值相关；以及/n将每条射线的所述一个虚拟像素的所述能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式能用于指示能量装置输出4D能量场。/n...

【技术特征摘要】
【国外来华专利技术】20180114 US 62/617,2861.一种用于从三维(3D)环境渲染四维(4D)能量场的方法，所述方法包括：
在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；
在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标，其中每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置；
从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交；
使沿着每条射线取样的所述能量数据点与和所述射线相交的所述一个虚拟像素的能量值相关；以及
将每条射线的所述一个虚拟像素的所述能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式能用于指示能量装置输出4D能量场。


2.根据权利要求1所述的方法，其中所述多条射线中的至少一条射线与所述多个虚拟检视位置中的每个虚拟检视位置相交。


3.根据权利要求1所述的方法，其中所述多条射线中的一条射线与所述多个虚拟像素中的每个虚拟像素相交。


4.根据权利要求1所述的方法，其中所述4D能量场包括光场。


5.根据权利要求1所述的方法，其中所述4D能量场包括触感场。


6.根据权利要求1所述的方法，其中所述4D能量场包括触觉场。


7.根据权利要求1所述的方法，其中所述能量数据点包括描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。


8.根据权利要求1所述的方法，其中所述3D环境是通过将深度图应用于二维空间中的点来确定的。


9.根据权利要求1所述的方法，其中所述虚拟显示平面对应于能量引导装置的波导系统，并且能量能用于根据所述数据集被引导通过所述波导系统，以形成所述场景的至少一部分的可检测4D能量表示。


10.根据权利要求8所述的方法，其中所述多个虚拟像素对应于所述波导系统的第一侧上的多个能量位置。


11.根据权利要求1所述的方法，其中所述数据集进一步包括向量化材料特性数据。


12.根据权利要求1所述的方法，其中所述方法的至少一部分是实时进行的。


13.根据权利要求1所述的方法，其中所述方法是完全实时进行的。


14.根据权利要求1所述的方法，其中所述方法的至少两个部分是在不同的时间段中进行的。


15.根据权利要求1所述的方法，其中所述数据集描述能通过视觉、音频、纹理、感觉或气味传感器感知的信号。


16.根据权利要求1所述的方法，其中沿着所述多条射线中的每条射线取样的所述能量数据点同时与能量值相关。


17.根据权利要求1所述的方法，其中所述数据集是以二进制文件格式存储。


18.根据权利要求1所述的方法，其中所述多条射线中的每条射线经由所述多个虚拟孔径中的所述一个虚拟孔径延伸到并超出所述多个虚拟像素中的所述一个虚拟像素，且其中所述多个能量数据点中的能量数据点是从所述虚拟检视平面取样的。


19.根据权利要求1所述的方法，其中所述步骤无限地重复。


20.根据权利要求1所述的方法，其中所述步骤无限地重复以从3D环境渲染动态4D能量场。


21.根据权利要求1所述的方法，其中渲染所述能量数据进一步包括针对所述能量装置校准所述能量数据。


22.根据权利要求1所述的方法，其中射线文件存储3D空间坐标，所述3D空间坐标识别每个虚拟检视位置的所述位置以及与每条射线相交的所述一个虚拟像素的所述2D角坐标。


23.根据权利要求21所述的方法，其中所述射线文件使每个虚拟检视位置的所述3D空间坐标与相交于和所述虚拟检视位置相交的每条射线的每个虚拟像素的所述2D角坐标相关联。


24.根据权利要求21所述的方法，其中所述射线文件针对每条射线提供指令以用于从和所述射线相交的所述一个虚拟检视位置沿着所述射线对所述多个能量数据点中的能量数据点进行取样，其中所述指令至少由和所述射线相交的所述一个虚拟检视位置的所述3D空间坐标和与所述射线相交的所述一个虚拟像素的所述2D角坐标确定。


25.一种用于从动态三维(3D)环境渲染四维(4D)能量场的系统，所述系统包括：
处理子系统，其包括感觉数据引擎和渲染引擎；
其中所述感觉数据引擎在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；
其中所述感觉数据引擎在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标，其中每个虚拟像素的所述2D角坐标通过所述感觉数据引擎描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标通过所述感觉数据引擎识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置；
其中所述渲染引擎从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交；
其中所述渲染引擎使沿着每条射线取样的所述能量数据点与所述多个虚拟像素中的所述一个虚拟像素的能量值相关；且

【专利技术属性】
技术研发人员：J·S·卡拉夫，B·E·比弗森，
申请(专利权)人：光场实验室公司，
类型：发明
国别省市：美国;US