混合全光相机制造技术

一种全光相机(100)具有与图像传感器(12)光学配准的可移动微透镜阵列(18)。第一原动机(18)与相机的帧率同步地移动微透镜阵列(18)，以获得场景的多分辨率。第二原动机(20)移动图像传感器以增加颜色采样。

【技术实现步骤摘要】
【国外来华专利技术】交叉引用本申请要求于2014年6月10日提交的欧洲申请No.14305870.9的优先权，该申请通过引用完整地合并于此。
本专利技术涉及全光相机(plenopticcamera)。
技术介绍
全光相机(有时称为光场相机)通常包括位于相机的焦平面附近的微透镜阵列。全光相机的这个特征允许它捕获场景的光场。在计算机的辅助下，用户可以对由全光相机捕获的光场进行后处理，以从不同视角重建场景的图像。此外，用户还可以改变由全光相机捕获的图像的焦点。与常规相机相比，全光相机包括额外的光学部件(即，微透镜阵列)，其使相机能够实现上述目的。目前存在至少两种不同类型的全光相机。第一种类型的全光相机，例如由美国加利福尼亚山景城的Lytro公司制造的全光相机，具有被定位为距相机图像传感器一个焦距的微透镜阵列。阵列中的所有微透镜具有相同的焦距。这种微透镜配置提供了最大角分辨率，但是提供了低空间分辨率。第二种类型的全光相机，例如由德国基尔的RaytrixGmbH制造的全光相机，具有含有三种类型的微透镜的微透镜阵列。这种类型的全光相机的特征在于，主透镜的图像不形成到微透镜上，而是形成到空中的表面上。然后，将该表面设置为对象，其随后通过微透镜阵列成像在传感器上。与具有相同种类的微透镜的微透镜阵列相比，三种不同类型的微透镜提供更大的景深。这种类型的全光相机牺牲角分辨率以获得更好的空间分辨率，这是因为微透镜聚焦在主图像上，从而获得更大的空间分辨率和更小的角分辨率。许多现今的全光相机选择将阵列中的微透镜排列为六边形布置，但是笛卡尔网格也可以工作。拜耳图案滤色器对入射在相机图像传感器的各个光发送元件上的光进行滤波，从而使相机图像传感器能够捕获粗略采样图像中的颜色信息。该采样图像包含在每个微透镜下形成的小的子图像。在每个微透镜下形成的子图像实际上变为由该微透镜看到的主相机透镜的出瞳的采样图像。该子图像包含光场的角度信息。级联从每个微透镜下方的固定位置(即，子图像中的相同像素位置)获得的像素产生了从特定视角捕获的场景的图像。在下文中，术语“视图解复用”将表示提取像素以形成从特定视角捕获的场景的图像的处理。在拜耳滤色器位于相机图像传感器前方的情况下，所得到的捕获图像可以在解复用视图之后经历去马赛克。考虑到每个微透镜下的像素包含来自场景的不同位置的信息的事实，对这种图像(原始数据)的去马赛克产生很少的有用信息并且遭受视图串扰。微透镜的六边形布置导致遭受不规则性和严重单色性的图案，即，场景的颜色采样受到样本之间的大的空间间隙的影响。为了对解复用后的视图执行去马赛克，处理器将对捕获的图像进行预处理以获得视图的每个邻域中的三个通道的信息。该预处理包括计算指导去马赛克算法的视差图。然而，在实践中，与对原始数据的去马赛克相比，这种预处理的结果产生低得多的质量。因此，需要一种不遭受上述缺点中的至少一个的改进的全光相机。
技术实现思路
本专利技术的目的是提供一种具有高空间分辨率和角分辨率的全光相机。本专利技术的另一目的是提供一种减少对预处理的需要的全光相机。本专利技术的又一目的是提供一种具有改进的颜色分辨率的全光相机。这些和其他益处通过根据本原理的一个方面的全光相机而获得。本原理的全光相机的特征在于与图像传感器光学配准的可移动微透镜阵列。第一原动机与相机的帧率同步地移动微透镜阵列，以获得场景的多分辨率。根据本原理的另一方面，全光相机的特征在于与图像传感器光学配准的可移动微透镜阵列。第一原动机与相机的帧率同步地移动微透镜阵列，以获得场景的多分辨率。第二原动机移动图像传感器以增加颜色采样。附图说明图1描绘了现有全光相机的简化示意图，其示出了相机形成图像的方式；图2描绘了由图1的全光相机捕获的场景的颜色采样，示出了全光相机中的微透镜的六边形布置；图3描绘了在对与一个视图相关联的像素进行马赛克化之后图2的图像；以及图4A和图4B描绘了示出不同位置的微透镜阵列的本原理的全光相机的方框示意图。具体实施方式图1描绘了现有全光相机10的简化示意图，其包括与主透镜14间隔开的图像传感器12。图像传感器12包括以n1×n2的阵列布置的多个单独的光感测元件16，其中n1和n2是整数。图像传感器12的每个光感测元件捕获与主透镜14的焦点处的图像中的对应像素相关联的光。图1的全光相机10包括由各个微透镜20构成的微透镜阵列18。微透镜阵列18位于图像传感器12和主透镜14之间。根据全光相机的性质，微透镜阵列18将位于距图像传感器12一个焦距或更长的距离处。如上所述，微透镜阵列18中的微透镜20具有六边形布置。拜耳图案滤色器(未示出)对入射在相机图像传感器的各个光发送元件上的光进行滤波，从而使图像传感器12能够捕获粗略采样图像中的颜色信息。该采样图像包含在每个微透镜下形成的小的子图像，如图2所示。图3描绘了通过对图2的子图像的各个像素进行马赛克化而创建的图案。在拜耳滤色器位于图像传感器12前方的情况下，所得到的捕获图像可以在解复用视图之后经历去马赛克。如所述的，图1的微透镜阵列18中的微透镜20的六边形布置产生遭受不规则性和严重单色性的拜耳图案，即，场景的颜色采样受到如图3所示样本之间的大的空间间隙的影响。图4A和图4B描绘了根据本原理的特定和非具体实施例的全光相机100的示意图，其克服了现有全光相机的上述缺点中的至少一个。图4A和图4B的全光相机100(类似于图1的全光相机10)包括图像传感器12、主透镜14和在图像传感器和主透镜之间的微透镜阵列18。与微透镜阵列18位于距图像传感器12固定距离处(通常在焦距或更长距离处，取决于全光相机的类型)的现有全光相机10相比，根据本原理的一个方面，图4A和图4B的全光相机100具有可移动微透镜阵列18。本原理的全光相机100包括电机形式的第一原动机20，其以与相机的帧率同步的方式移动可移动的微透镜阵列18，以获得场景的多(空间/角度/色彩)分辨率金字塔。实际上，电机20可以将微透镜阵列18从图4A所示的起始位置0(pos0)移动到如图4B所示的距图像传感器12的距离为f的位置1(pos1)，其中，起始位置0(pos0)距图像传感器12的距离为f+d，其中f表示阵列18中具有最高f数的微透镜的焦平面。可以理解的是，通过将微透镜阵列18从图4A中的pos0移动到图4B中的pos1，电机20为本原理的相机100提供了从第二类型的全光相机(“类型2”)切换到第一类型的全光相机(“类型1”)的能力。对于具有56fps的帧率的类型2全光相机，例如Raytrix相机，连续帧之间的间隔等于18ms。使电机20在帧之间的时间段期间移动微透镜18确保了基本上没有由于运动模糊而引起的图像劣化。为了理解本原理的全光相机100的操作，分别考虑当电机20在图4A和图4B的pos0和pos1之间以五个增量移动全光相机100的微透镜阵列18时的情况。图像传感器12将以11.2fps的帧率捕获图像堆栈。该图像堆栈具有有趣的属性。知道移动的量产生了堆栈，其呈现具有增加的空间分辨率和减小的角分辨率的图像的金字塔。由于图像传感器12上的固定拜耳图案，这种多分辨率图像的金字塔提供了场景的丰富的色彩信息。在如图4B所示的微透镜阵列18的pos1处捕获的图像(其中相机100对应于“类型1”全光相本文档来自技高网...

【技术保护点】
一种全光相机(100)，具有与图像传感器(12)光学配准的微透镜阵列(18)，其特征在于：所述微透镜阵列(18)能够相对于所述图像传感器(12)移动；以及第一原动机用于与所述相机的帧率同步地移动所述微透镜阵列。

【技术特征摘要】
【国外来华专利技术】2014.06.10 EP 14305870.91.一种全光相机(100)，具有与图像传感器(12)光学配准的微透镜阵列(18)，其特征在于：所述微透镜阵列(18)能够相对于所述图像传感器(12)移动；以及第一原动机用于与所述相机的帧率同步地移动所述微透镜阵列。2.根据权利要求1所述的全光相机，还包括：第二原动机，用于移动所述图像传感器。3.根据权利要求1所述的全光相机，其中，所述第一原动机包括电机。4.根据权利要求2所述的全光相机，其中，所述第二原动机包括电机。5.根据权利要求1所述的全光相机，其中，所述第一原动机逐步地移动所述微透镜阵列。6.根据权利要求1所述的全光相机，其中，所述第一原动机从大于f的第一位置和等于f的第二位置移动所述微透镜阵列，其中f表示所述阵列中具有最高f数的微透镜的焦平面。7.根据权利要求2所述的全光相机，其中，所述第二原动机使所述图像传感器移动一...

【专利技术属性】
技术研发人员：莫扎德·赛菲，诺伊斯·萨瓦特尔，瓦尔特·德拉日奇，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR