3D光场相机和摄影方法技术

提供了用于生成三维(3D)图像的方法和系统、3D光场(LF)相机以及3D相片。代表场景的光被引导穿过与成像传感器耦接的透镜模块。透镜模块包括：具有狭缝形孔径的表面以及沿着成像传感器的光轴安置的柱形透镜阵列。狭缝形孔径的纵向方向被布置成与柱形透镜阵列的柱轴正交。由成像传感器捕获被引导穿过透镜模块的光以形成3D LF图像。3D相片包括场景的3D LF打印图像以及安置在打印图像上的柱形透镜阵列，以使得3D LF打印图像和柱形透镜阵列的组合形成3D立体图像。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请涉及并要求于2013年12月23日提交的题为“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光场相机和摄影方法)”的美国临时申请第61/920,074号以及于2014年1月24日提交的题为“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光场相机和摄影方法)”的美国临时申请第61/931,051号的权益，上述申请的内容通过引用合并到本文中。关于联邦政府赞助研究的声明本专利技术是部分地基于国家科学基金资助号0845268而展开的。美国政府可以拥有本专利技术的某些权利。
本专利技术涉及三维(3D)成像，并且特别地涉及用于捕获和呈现3D图像的3D光场相机、方法以及系统。
技术介绍
越来越多的关注集中于对光场(LF)相机的开发，该LF相机还被称为全光相机。LF相机使用微透镜阵列来捕获关于场景的四维(4D)光场信息。这样的光场信息可以用于提高计算机图形和计算机视觉应用的分辨率。
技术实现思路
本专利技术的各方面涉及一种生成场景的图像的方法。代表场景的光被引导穿过与成像传感器耦接的透镜模块。透镜模块包括：具有狭缝形孔径的表面；以及沿着成像传感器的光轴安置的柱形透镜阵列。狭缝形孔径的纵向方向被布置成与柱形透镜阵列的柱轴正交。由成像传感器捕获被引导穿过透镜模块的光以形成3D LF图像。本专利技术的各方面还涉及一种3D LF相机。3D LF相机包括：具有安装在透镜上的狭缝形孔径的表面；成像传感器；以及安置在成像传感器与透镜之间的柱形透镜阵列。柱形透镜阵列沿着成像传感器的光轴进行布置。狭缝形孔径的纵向方向被布置成与柱形透镜阵列的柱轴正交。成像传感器被配置成捕获场景的至少一个3D LF图像。本专利技术的各方面还涉及一种3D相片。3D相片包括场景的3D光场打印图像以及柱形透镜阵列，该柱形透镜阵列被安置在3D光场打印图像上。3D光场打印图像和柱形透镜阵列的组合形成3D立体图像。附图说明当结合附图阅读下面的详细描述时可以从下面的详细描述理解本专利技术。需要强调的是，根据常见做法，可以不按比例绘制附图的各种特征/要素。相反，为清楚起见，可以任意放大或缩小各种特征/要素的尺寸。此外，在附图中，常见附图标记用来表示相似的特征/要素。本专利或申请文件包含至少一个以彩色显示的附图。根据请求以及在支付必要费用的情况下，将由专利局提供具有彩色附图的本专利或专利申请公开的副本。附图中包括以下图：图1是根据本专利技术的一方面的用于捕获和呈现3D图像的示例系统的功能性框图；图2A是根据本专利技术的一方面的图1所示系统的示例3D LF相机的透视图；图2B是根据本专利技术的一方面的图2A所示的示例3D LF相机的分解透视图，其示出了3D LF透镜模块和相机的部件；图2C是根据本专利技术的一方面的图2B所示的示例3D LF相机的分解透视图，其示出了3D LF相机的光线几何形状；图3是根据本专利技术的一方面的图1所示系统的示例3D相片的分解透视图；图4A是示出根据本专利技术的一方面的通过柱形透镜来使光线锥聚焦的示例图；图4B是示出根据本专利技术的一方面的通过图1所示的示例3D LF相机将一片光线光学地分选到成像传感器上的图；图5A和图5B是根据本专利技术的一个方面的由图1所示的示例3D LF相机捕获的示例原始3D光场图像；图6A是示出根据本专利技术的一个方面的用于渲染重聚焦图像的示例方法的流程图；图6B是示出根据本专利技术的又一方面的用于渲染图像的示例方法的流程图；图6C是示出根据本专利技术的一个方面的用于形成3D相片的示例方法的流程图；图7是示出根据本专利技术的一个方面的用于渲染重聚焦3D图像的光线重新参数化的示例图；图8A、图8B、图8C和图8D是根据本专利技术的一个方面的关于各种聚焦深度的示例渲染3D图像；以及图9A和图9B是示出根据本专利技术的一个方面的图8B和图8D各自所示图像的具有不同视角的立体视图的示例渲染3D图像。具体实施方式当前的光场相机的分辨率不佳。例如，具有10兆像素传感器的光场相机仅产生很低分辨率(例如，大约1兆像素)的图像。低分辨率合成图像是当前所有光场相机的设计所固有的：它们牺牲空间分辨率来换取角分辨率。空间分辨率被定义为空间采样率。在常规的(非光场)相机中，空间分辨率相当于传感器的分辨率。在光场相机中，空间采样点的总数目等于透镜的数目。假定透镜的尺寸通常是像素间距的若干倍，则可以减小空间分辨率。然而，每个透镜下的像素将记录以不同方向穿过其常见采样点的光线。方向特异性限定了相机的角分辨率。假设传感器具有有限的分辨率，则可以在空间分辨率与角分辨率之间进行权衡，这等同于在图像分辨率与视点的数目之间进行权衡。当前的捕获光场的相机包括4D光场相机，其记录所有方向上的角度信息和空间信息二者。例如，当前的一个4D光场相机包括与成像传感器附接的328×328个微透镜阵列，其中，每个微透镜覆盖大约100个像素。在该示例中，可以获得大约328×328的空间分辨率和大约10×10的角分辨率的光场。由光场相机得到的固有权衡以降低空间分辨率为代价而提供较大的角分辨率。尽管该示例中的相机配备有11兆像素传感器，但是它仅提供具有大约700×700的有效分辨率的图像。其他的4D光场相机共享类似的设计和类似的限制。关于3D显示，大多数现有的3D电视机使用快门式眼镜技术来显示立体3D图像。该技术的缺点在于会产生闪烁(除非以很高刷新率显示，否则可能会注意到闪烁)。另外，当前的3D观看技术(诸如通过快门式眼镜)在用于观看3D相片时不便且昂贵。本专利技术的各方面包括3D光场相机，该3D光场相机将相机、与相机的成像传感器附接的柱形透镜阵列与经改进的具有窄缝形孔径的透镜组合。在一些示例中，相机可以包括数码单镜头反光式(DSLR)相机。在一些示例中，3D光场相机使用垂直柱形透镜阵列。垂直柱形透镜阵列可以用于仅在水平分辨率与角分辨率之间进行权衡的同时保持垂直分辨率。为了减小散焦模糊，可以将柱形透镜阵列与狭缝形孔径耦接。随着3D显示技术的快速发展，人们更有可能观看3D内容而不是二维(2D)图像。本专利技术的示例3D光场相机超出了单纯观看3D内容的能力。利用用于捕获和呈现3D图像的示例性3D光场相机和示例性系统，可以直接从场景捕获3D内容并且然后进行显示。通过将柱形透镜阵列附接至传感器并且将窄缝形遮罩附接至孔径，可以将消费型DSLR相机转换成3D光场相机。类似于常规相机，用户可以利用示例性3D光场相机来拍照。本专利技术的各方面还涉及用于渲染来自原始光场图像的3D立体图像的示例性方法和系统。关于所捕获的原始光场图像，可以利用视图相关特征诸如阻挡(occlusion)和反射来从不同的视角渲染3D立体图像。由于3D光场相机可以同时在单次拍摄中从不同视点捕获场景，所获取的视图将表现出视差，即，较近的对象跨视图表现出较大的差异。保留视差的能力使得能够实现场景/对象的裸眼3D可视化。所述保留视差的能力使得能够保留视图相关特征诸如反射，其中每个视图(即，子图像)捕获场景的稍微不同的图像。在一些示例中，系统可以渲染来自原始光场图像的在预定聚焦深度处的重聚焦图像。示例方法使用基于图像的渲染(IBR)技术。具体地，可以将简单几何形状(诸如3D平面)用作本文档来自技高网...

【技术保护点】
一种生成场景的图像的方法，所述方法包括：引导代表所述场景的光穿过与成像传感器耦接的透镜模块，所述透镜模块包括：具有狭缝形孔径的表面以及沿着所述成像传感器的光轴安置的柱形透镜阵列，所述狭缝形孔径的纵向方向被布置成与所述柱形透镜阵列的柱轴正交；以及由所述成像传感器捕获被引导穿过所述透镜模块的光以形成三维(3D)光场(LF)图像。

【技术特征摘要】
【国外来华专利技术】2013.12.23 US 61/920,074;2014.01.24 US 61/931,0511.一种生成场景的图像的方法，所述方法包括：引导代表所述场景的光穿过与成像传感器耦接的透镜模块，所述透镜模块包括：具有狭缝形孔径的表面以及沿着所述成像传感器的光轴安置的柱形透镜阵列，所述狭缝形孔径的纵向方向被布置成与所述柱形透镜阵列的柱轴正交；以及由所述成像传感器捕获被引导穿过所述透镜模块的光以形成三维(3D)光场(LF)图像。2.根据权利要求1所述的方法，其中，所述对光的引导包括：引导光穿过所述狭缝形孔径到达所述透镜模块的透镜上以形成孔形光，并且使来自所述透镜的所述孔形光穿过所述柱形透镜阵列到达所述成像传感器上。3.根据权利要求1所述的方法，所述方法还包括：由处理器处理所述三维光场图像以形成渲染图像，其中，所述处理包括下述中至少之一：将所述三维光场图像重聚焦到预定聚焦深度；基于预定视点调节所述三维光场图像的视角；或者根据所述三维光场图像生成三维立体视图图像。4.根据权利要求3所述的方法，所述方法还包括：在对所述三维光场图像重聚焦之前，基于参考图像对所述柱形透镜阵列中的每个透镜的图像中心进行定位。5.根据权利要求3所述的方法，所述方法还包括：显示所述三维光场图像或者所述渲染图像中的至少一个。6.根据权利要求3所述的方法，所述方法还包括：打印所述三维光场图像或所述渲染图像中的至少一个，以形成打印图像。7.根据权利要求6所述的方法，所述方法还包括：将所述打印图像安置在另一柱形透镜阵列上，以形成三维相片。8.根据权利要求1所述的方法，还包括：重复所述对光的引导，且捕获被引导的光，以捕获所述场景的多个三维光场图像。9.一种三维(3D)光场(LF)相机，包括：具有狭缝形孔径的表面，所述表面安装在透镜上；成像传感器；以及柱形透镜阵列，所述柱形透镜阵列沿着所述成像传感器的光轴...

【专利技术属性】
技术研发人员：于静怡，郭心清，于詹，
申请(专利权)人：特拉华大学，
类型：发明
国别省市：美国;US