一种用于生成像素光束的数据表示的装置和方法制造方法及图纸

有几种类型的全光设备具有其专有的文件格式。目前，没有支持多维信息的采集和传输的标准，以便对光场所依赖的不同参数进行详尽的综述。因此，针对不同相机的所采集的光场数据具有各种各样的格式。因此，引入了像素光束的概念，其表示由相机的光学系统的物空间中的光线组占据的体积。根据本发明专利技术的方法使得能够提供表示描述不可知的第一光学系统的像素光束集合的数据，因为这些数据是通过第二光学系统通过对像素光束的集合进行成像而获得的。表示像素光束集合的这种数据使得能够生成从中进行后处理的参数化输出图像。行后处理的参数化输出图像。行后处理的参数化输出图像。

【技术实现步骤摘要】
一种用于生成像素光束的数据表示的装置和方法
[0001]本分案申请是申请日为2017年7月11日、申请号为201780054065.6、专利技术名称为“一种用于生成像素光束的数据表示的装置和方法”的分案申请。


[0002]本专利技术涉及表示光场的数据的生成，并且在渲染数据中提供真实感。

技术介绍

[0003]可以被视为4D光场的采样(即光线的记录)的四维或4D光场数据的采集是繁忙的研究课题，其在由Anat Levin等人在ECCV 2008会议论文集中发表的文章“通过光场投影的贝叶斯分析来理解相机的取舍(Understanding camera trade
‑
offs through a Bayesiananalysis of light field projections)”中进行了解释。
[0004]与从相机获得的经典二维或2D图像相比，4D光场数据使得用户能够利用更多的后处理特征，这些特征增强了图像的渲染和与用户的交互性。例如，利用4D光场数据，可以以自由选择的聚焦距离执行图像的重新聚焦，这意味着可以后验地指定/选择焦平面的位置，以及在图像的场景中执行稍微改变视点。为了采集4D光场数据，可以使用几种技术。例如，全光相机能够采集4D光场数据。全光相机包括主透镜、包括以二维阵列布置的多个微透镜的微透镜阵列和图像传感器。采集4D光场数据的另一种方式是使用包括透镜阵列和图像传感器的相机阵列。
[0005]在全光相机的示例中，主透镜接收来自主透镜的物场中的物体的光，并将光传递通过主透镜的像场。
[0006]最后，采集4D光场的另一种方式是使用传统相机，该相机被配置为捕获不同焦平面处的相同场景的2D图像序列。例如，J.
‑
H.Park等人在2014年10月在光学快报(OPTICS EXPRESS)的第22版21号上发表的文献“使用焦平面扫描捕获光线场以及使用三维显示的光学重建(Lightray field capture using focal plane sweeping and its optical reconstruction using 3D displays)”中描述的技术可以用于通过借助于传统相机采集4D光场数据。
[0007]有几种方法可以表示4D光场数据。实际上，在2006年7月由Ren Ng发表的题为“数码光场摄影(Digital Light Field Photography)”的博士论文的第3.3章中，描述了表示4D光场数据的三种不同方式。首先，当由全光相机通过一些微透镜图像记录时，可以表示4D光场数据。该表示中的4D光场数据被称为原始图像或原始4D光场数据。其次，4D光场数据可以在由全光相机或相机阵列记录时，通过子孔径图像集来表示。子孔径图像对应于从视点捕获的场景的图像，该视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，4D光场数据可以由极线图像集表示，例如参见由S.Wanner等人在ISVC 2011的会议论文集中发表的题为“使用单镜头聚焦全光相机生成4D光场的EPI表示(Generating EPI Representation of a4D Light Fields with a Single Lens Focused Plenoptic Camera)”的文章。
[0008]光场采集设备极其多样化。光场相机具有不同类型，例如全光或相机阵列。在每种类型中存在许多差异，诸如不同的光学布置或不同焦距的微透镜。每个相机都有自己的专有文件格式。因此，用于不同相机的所采集的光场数据具有各种各样的格式。
[0009]在Ren Ng的“傅里叶切片摄影(Fourier Slice Photography)”中，2005年ACM图形交易(Transactions on Graphics(ToG))的第24版、第3号、第735
‑
744页，作者描述了一个定理：在傅立叶域中，由全孔径形成的照片是4D光场中的2D切片。该定理用于分析数字重聚焦的性能，其中计算从单个光场聚焦在不同深度的照片。此外，该定理服从用于数字重聚焦的傅里叶域算法，其中光场傅立叶变换的适当2D切片并执行逆傅里叶变换。然而，这种解决方案因为涉及在傅里叶域中工作而需要高计算负荷。
[0010]考虑到前述内容，设计了本专利技术。

技术实现思路

[0011]根据本专利技术的第一方面，提供了一种计算机实现的用于生成表示第一光学系统的物空间中的至少一个体积的数据的方法，该体积被通过所述第一光学系统的光瞳的光线组、和在所述第一光学系统的物空间中与所述第一光学系统相关联的传感器的至少一个像素的图像共轭占据，由所述光线组占据的所述体积被称为像素光束，包括：
[0012]‑
计算所述至少一个像素光束通过第二光学系统的共轭，称为成像像素光束，
[0013]‑
计算表示通过所述成像像素光束传输(transmit)的辐射的参数值，该成像像素光束与位于距第二光学系统的距离D投影表面上限定的、且属于所述至少一个成像像素光束和投影表面之间的交截面的至少一个网格的至少一个元素相关联。
[0014]这种方法能够以其共同的限定，即在规则网格上采样的图像元素组，从在光学系统的聚焦体积中成像的像素光束的集合中创建图像。
[0015]实际上，在第二光学系统的聚焦体积中成像的像素光束的集合提供表示所述像素光束集合的数据，所述像素光束集合描述不可知的第一光学系统，即，与嵌入光学系统的相机无关，因为这些数据通过第二光学系统对像素光束的集合进行成像来获得。
[0016]然而，这种成像像素光束的集合根据第二光学系统的结构和参数(诸如其取向、位置和焦距)与聚焦体积重叠。
[0017]通过计算通过第二光学系统的描述第一光学系统的像素光束集合的图像，该第二光学系统提供嵌入在双重和紧凑空间中的各种相机中的若干光学系统的物空间的表示，其对应于光学系统的聚焦体积和与投影表面上的网格的元素相关联的成像像素光束的辐射值，可以对成像的像素光束的集合进行分类，以便获得可以在后处理操作中使用的图像。
[0018]在根据本专利技术的方法的实施例中，投影表面上的网格是像素网格。
[0019]当网格是像素网格时，基于像素网格并因此在图像上直接对像素光束集合进行分类。
[0020]在根据本专利技术的方法的实施例中，在投影表面上限定过采样网格，所述过采样网格的元素小于像素网格的像素。
[0021]这使得能够累积与过采样网格的元素相关联的辐射像素光束的值。因此，更精确地计算辐射的值。
[0022]在根据本专利技术的方法的实施例中，针对与投影表面相交的像素光束计算表示通过
成像像素光束传输的辐射的参数值。
[0023]当执行根据本专利技术方法的该实施例的方法时，减少了计算负荷。
[0024]在根据本专利技术的方法的实施例中，通过选择其截面包括在第二光学系统中限定的恢复光瞳(restitution pup本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收由第一光学系统捕获的内容，其中所述内容包括第一组像素光束，每个像素光束具有至少一个相关联参数；限定具有网格元素和第二光学系统的投影表面；使用所述第二光学系统和所述投影表面重新格式化所述第一组像素光束以确定由所述第一组像素光束的共轭表示的一组成像像素光束；确定所述成像像素束与所述投影表面的交截面；基于所述成像像素束与所述...

【专利技术属性】
技术研发人员：L布龙德，D多延，G博伊森，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：