光场相机制造技术

本发明专利技术提供了一种用于捕获场景的多个视图的光场相机，该多个视图表示光场的采样，该光场相机包括：主相机，配置为捕获场景的主数字二维图像；二维相机阵列，包括多个副相机，其中每个副相机配置为捕获场景的副数字二维图像，以便产生场景的副数字二维图像的至少一个集合；半透反射镜，布置为使得源自场景的入射光束被拆分成第一部分光束和第二部分光束，第一部分光束被引导至主相机，第二部分光束被引导至相机阵列；以及处理单元，配置为接收主数字二维图像和该至少一个副数字二维图像集合，并配置为基于该副数字二维图像集合，计算针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。

【技术实现步骤摘要】

本专利技术涉及光场相机(或摄像机，以下统称“相机”)。
技术介绍
光场图像和视频处理与传统2D图像相比提供了更丰富多样的图像操控可能性。然而，由于需要以极佳图像质量(例如动态范围、颜色保真度以及分辨率)将极大量不同视图相结合，因此对高质量光场的捕获仍未得以解决。传统2D图像表示将三维世界投影到二维平面上。在数字图像中，将该屏面栅格化成所谓像素的网格。对于空间中的每个可见点而言，2D图像记录了一个或多个像素的强度。立体图像通过记录场景的两个不同视图扩展了该原理。通过向左眼示出左捕获图像而向右眼示出右捕获图像，可以向用户提供深度印象。尽管这在理论上显著提高了视觉体验，然而文献报告出了各种缺陷，例如，收敛冲突、难以将内容与变化的屏幕尺寸适配等。数学上，可以通过向空间中的每个点以及每个方向分配对应辐射的五维函数Lλ，t(x，y，z，θ，φ)来描述光场。参数λ和t定义了波长(颜色信息)和时间。光场成像通过捕获场景的更多观看位置而超越了先前提及的技术。这些视图典型地沿诸如平面等表面布置(所谓的4D光场[4]或光流场(Lumigraph)技术[5])。于是，这些视图不仅具有关于立体图像的不同水平位置，而且还具有沿竖直方向的位置。理想地，各视图以任意疏密程度隔开，使得能够捕获从场景横穿所选表面的所有光线。与传统2D技术相比，这种极大量信息实现了对捕获图像的更丰富编辑和操控可能性。这包括了焦点和深度的改变、虚拟观看位置的创建、基于深度的合成和特效(如移动变焦(dolly zoom)[6])。在[7]中描述了可能的处理链。然而，捕获光场使其具有充分质量仍是未解决的问题，该问题在以下专利技术中得以解决。存在用于捕获光场的两种基本技术。一方面，存在各种全光相机[8，9，10]。与传统相机相比，这些全光相机在主透镜与传感器之间引入了所谓微透镜的附加阵列。通过这些手段，确实能够捕获不同的观看位置。然而，这些不同的观看位置仍相当类似。此外，由于微透镜的尺寸较小，因此达到数字影院质量的高质量成像仍未得以解决。另一方面，可以通过多相机阵列来获取光场[11，12，13]。在执行图像操控时需要许多不同视图来避免伪像的情况下，相机的扩展需要相当小。此外，典型地使用降低成本的相机来使得总体系统更实惠。然而，由于尺寸和成本限制，这些相机提供的图像质量不能达到当今技术上可行的最高质量水平。例如，对于小尺寸和廉价相机而言，颜色再现的质量、动态范围和信噪比与数字影院电影制作中使用的专业设备相比差得多。在这些影院相机较大并昂贵的情况下，将这些影院相机组合成大型多相机阵列来进行光场获取是极为昂贵的。因此，尽管获得的编辑可能性极受欢迎，但是光场技术不能服务于具有最高质量需要的应用。同样的缺陷存在于由于成本原因单个2D相机不能由多个2D相机代替来捕获光场的所有应用成立。
技术实现思路
本专利技术的目的在于提供一种光场获取的改进构思。该目的可以通过用于捕获场景的多个视图的光场相机来实现，该多个视图表示光场的采样，其中该光场相机包括：主相机，配置为捕获场景的主数字二维图像；二维相机阵列，包括多个副相机，其中每个副相机配置为捕获场景的副数字二维图像，以便产生场景的副数字二维图像的至少一个集合；半透反射镜，布置为使得源自场景的入射光束被拆分成第一部分光束和第二部分光束，第一部分光束被引导至主相机，第二部分光束被引导至相机阵列；以及处理单元，配置为接收主数字二维图像和该至少一个副数字二维图像集合，并配置为基于该副数字二维图像集合，计算针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。深度信息可以具有视差图(disparity map)或深度图的形式。主相机可以包括主光学物镜和主光电探测器阵列，其中主光学物镜配置为在主光电探测器阵列上产生场景的实像。该多个副相机中的每个副相机可以包括副光学物镜和副光电探测器阵列，其中，副光学物镜配置为在副光电探测器阵列上产生场景的实像。本专利技术实现了给定质量下的较低成本光场相机，换言之，在给定成本下提高了光场相机的质量。数字二维输出图像的质量主要对应于主相机的质量。此外，基于从多个副相机聚集的数据产生深度信息，其中副相机的质量对于数字二维输出图像以及对于产生深度信息而言不那么重要。出于这些原因，本专利技术允许使用副相机，副相机的质量显著低于主相机，使得可以提高质量成本比。半透反射镜的使用使得可以使用包括副相机的相机阵列。这样的相机阵列可以比多个单独副相机更廉价，从而可以进一步提高质量成本比。通过半透反射镜，可以确保即使在主相机与相机阵列彼此间隔开的情况下主相机的视觉角度(angle of vision)或视角(perspective)以及副相机的视觉角度也基本上相同，这在某种程度上是重要的，原因在于高质量相机通常需要相当宽敞的空间。此外，应注意，主相机和副相机的公共视角有助于所捕获图像的处理，这同样导致更好的质量成本比。与主数字二维图像相对应的数字二维图像是通过对主数字二维图像应用数字图像编辑处理(例如图像尺寸改变、剪切、降噪、颜色适配、透镜失真校正、矫正、锐化、柔化、对比度改变、亮化、暗化、伽马校正等)而产生的图像。根据本专利技术的优选实施例，主相机满足以下条件中的至少一个：具有比副相机高的分辨率，具有比副相机好的颜色再现质量、具有比副相机宽的动态范围、具有比副相机大的信噪比、具有比副相机高的位深度(bit depth)。根据本专利技术的优选实施例，主相机的主物镜具有比副相机的副物镜少的失真。通过这些特征，可以进一步提高质量成本比。根据本专利技术的优选实施例，处理单元配置为仅基于副数字二维图像集合和主相机相对于副相机的位置，计算与主数字二维图像相对应的数字二维输出图像的深度信息。在该实施例中，仅根据副数字二维图像集合并基于主相机相对于副相机的位置计算深度信息，可以避免主数字二维图像和副数字二维图像的不同质量引起的问题。根据本专利技术的优选实施例，副相机具有实质上平行的光轴。这些特征导致用于获取深度信息的计算算法复杂度较低。根据本专利技术的优选实施例，副相机具有相同的光和/或电特性。这种光特性的示例是分辨率、颜色再现质量、动态范围、信噪比、副光学物镜的透镜失真以及位深度。这种电特性的示例是供能电压、能耗、输出电压和电子信号处理链。这些特征导致用于获取深度信息的计算算法复杂度较低。根据本专利技术的优选实施例，副相机按照格状方式布置。术语“格状”是指副相机的规则间隔或布置。这些特征导致用于获取深度信息的计算算法复杂度较低。根据本专利技术的优选实施例，主相机、相机阵列和半透反射镜安装到支架(rig)。支架的使用有助于组件位置的适当调整。根据本专利技术的优选实施例，支架包括用于调整主相机的光轴与副相机之一的光轴的交叉点的机械调整装置。根据本专利技术的优选实施例，支架包括用于补偿从场景到主相机的光路长度与从场景到相机阵列的光路长度之间的差异的机械调整装置。根据本专利技术的实施例，支架包括用于相对于相机阵列关于绕与副相机的光轴平行的旋转轴旋转的角取向，调整主相机关于绕与主相机的光轴平行的第一旋转轴旋转的角取向的机械调整装置。根据本专利技术的实施例，支架包括用于补偿从第一部分光束到主相机的光轴的角度与从第二部分光束到副相机之一的光轴的角度之间的差异的机械调整装置。上述机械调本文档来自技高网...

【技术保护点】
一种光场相机，用于捕获场景(SC)的多个视图，所述多个视图表示光场的采样，所述光场相机(1)包括：主相机(2)，配置为捕获场景(SC)的主数字二维图像(PDI)；二维相机阵列(3)，包括多个副相机(4aa...4ce)，其中副相机(4aa...4ce)中的每一个配置为捕获场景(SCI)的副数字二维图像(SDIaa...SDIce)，以便产生场景的副数字二维图像(SDIaa...SDIce)的至少一个集合；半透反射镜(5)，布置为使得源自场景(SC)的入射光束(LB1，LB2，LB3)被拆分成第一部分光束(FLB1，FLB2，FLB3)和第二部分光束(SLB1，SLB2，SLB3)，第一部分光束被引导至主相机(2)，第二部分光束被引导至相机阵列(3)；以及处理单元(6)，配置为接收主数字二维图像(PDI)和该至少一个副数字二维图像(SDIaa...SDIce)集合，并配置为基于该副数字二维图像(SDIaa...SDIce)集合，计算针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。

【技术特征摘要】
2015.02.12 EP 15154934.21.一种光场相机，用于捕获场景(SC)的多个视图，所述多个视图表示光场的采样，所述光场相机(1)包括：主相机(2)，配置为捕获场景(SC)的主数字二维图像(PDI)；二维相机阵列(3)，包括多个副相机(4aa...4ce)，其中副相机(4aa...4ce)中的每一个配置为捕获场景(SCI)的副数字二维图像(SDIaa...SDIce)，以便产生场景的副数字二维图像(SDIaa...SDIce)的至少一个集合；半透反射镜(5)，布置为使得源自场景(SC)的入射光束(LB1，LB2，LB3)被拆分成第一部分光束(FLB1，FLB2，FLB3)和第二部分光束(SLB1，SLB2，SLB3)，第一部分光束被引导至主相机(2)，第二部分光束被引导至相机阵列(3)；以及处理单元(6)，配置为接收主数字二维图像(PDI)和该至少一个副数字二维图像(SDIaa...SDIce)集合，并配置为基于该副数字二维图像(SDIaa...SDIce)集合，计算针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。2.根据权利要求1所述的光场相机，其中主相机(2)满足以下条件中的至少一个：具有比副相机(4aa...4ce)高的分辨率，具有比副相机(4aa...4ce)好的颜色再现质量，具有比副相机(4aa...4ce)宽的动态范围，具有比副相机(4aa...4ce)大的信噪比，具有比副相机(4aa...4ce)高的位深度。3.根据权利要求1所述的光场相机，其中主相机(2)的主物镜具有比副相机(4aa...4ce)的副物镜少的失真。4.根据权利要求1所述的光场相机，其中处理单元(6)配置为仅基于副数字二维图像(SDIaa...SDIce)集合以及主相机(2)相对于副相机(4aa...4ce)的位置，计算针对与主数字二维图像(PDI)相对应的数字二维输出图像(OI)的深度信息(DM)。5.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)具有实质上平行的光轴(OAaa，OAba，OAca)。6.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)具有相同的光和/或电特性。7.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)按照格状方式布置。8.根据权利要求1所述的光场相机，其中主相机(2)、相机阵列(3)和半透反射镜(5)安装到支架。9.根据权利要求7所述的光场相机，其中支架包括用于调整主相机(2)的光轴(OAP)与副相机(4aa...4ce)之一的光轴(OAba)的交叉点的机械调整装置。10.根据权利要求7所述的光场相机，其中支架包括用于补偿从场景(SC)到主相机(2)的光路长度与从场景(SC)到相机阵列(3)的光路长度之间的差异的机械调整装置。11.根据权利要求7所述的光场相机，其中支架包括用于相对于相机阵列(3)关于绕与副相机(4aa...4ce)的光轴(OAaa，OAba，OAca)平行的旋转轴旋转的角取向，调整主相机(2)关于绕与主相机(2)的光轴(OAP)平行的第一旋转轴旋转的角取向的机械调整装置。12.根据权利要求7所述的光场相机，其中支架包括用于补偿从主相机(2)的光轴(OAP)到第一部分光束(FLB1，FLB2，FLB3)的角度与从第二部分光束(SLB1，SLB2，SLB3)到副相机(4aa...4ce)之一的光轴(OAaa，OAba，OAca)的角度之间的差异的机械调整装置。13.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)配置为在主相机(2)捕获一个主数字二维图像(PDI)的同时捕获多个副数字二维图像(SDIaa...SDIce)集合，其中每个副数字二维图像(SDIaa...SDIce)集合具有与其他副数字二维图像(SDIaa...SDIce)集合不同的曝光设置，并且其中处理单元(6)配置为基于该多个副数字二维图像(SDIaa...SDIce)集合，计算深度信息(DM)。14.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)组合成组(7a，7b，7c)，其中每一组(7a，7b，7c)配置为产生场景(SC)的副数字二维图像(SDIaa...SDIce)集合的子集，其中每个副相机(SDIaa...SDIce)具有与相同组(7a，7b，7c)内的其他副相机(SDIaa...SDIce)相同的曝光设置，而具有与其他组(7a，7b，7c)内的副相机(SDIaa...SDIce)不同的曝光设置。15.根据权利要...

【专利技术属性】
技术研发人员：弗雷德里克·杰尼，约阿希姆·凯纳特，马赛厄斯·齐格勒，迈克尔·舍贝尔，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国;DE