具有自动聚焦的纤薄多孔径成像系统及其使用方法技术方案

本发明专利技术提供了具有自动聚焦(AF)的双孔径数字摄影机以及有关的方法，其用于获得对象或场景的聚焦的并且可选地经过光学稳定的彩色图像。双孔径摄影机包括：具有第一光学元件模块以及用于提供彩色图像的彩色图像传感器的第一子摄影机，具有第二光学元件模块以及用于提供辉度图像的透明图像传感器的第二子摄影机，其中第一和第二子摄影机具有基本上相同的视场；机械地耦合到至少第一光学元件模块的AF机制；以及耦合到AF机制并且耦合到两个图像传感器的摄影机控制器，其被配置成控制AF机制，计算彩色与辉度图像之间的由于AF机制所造成的缩放差异和锐度差异，并且利用所计算出的差异把彩色和辉度图像处理成融合彩色图像。

Thin multi-aperture imaging system with automatic focusing and its application

The present invention provides a dual-aperture digital camera with automatic focusing (AF) and related methods for obtaining focused and optically stable color images of objects or scenes. A dual-aperture camera includes a first sub-camera with a first optical element module and a color image sensor for providing color images, a second optical element module and a second sub-camera with a transparent image sensor for providing a glow image, in which the first and second sub-cameras have substantially the same field of view, and are mechanically coupled to at least the first optical element. The AF mechanism of the component module and the camera controller coupled to the AF mechanism and two image sensors are configured to control the AF mechanism, calculate the difference of scale and sharpness caused by the AF mechanism between the color and brightness images, and use the calculated difference to process the color and brightness images into a fusion color image.

【技术实现步骤摘要】
具有自动聚焦的纤薄多孔径成像系统及其使用方法分案申请本申请是申请号为201480043316.7的、专利技术名称为“具有自动聚焦的纤薄多孔径成像系统及其使用方法”的、申请人为“核心光电有限公司”的、国际申请日为2014年7月24日的专利申请的分案申请。该分案申请的母案申请201480043316.7系国际申请号为PCT/IB2014/063393的中国国家阶段申请。相关申请的交叉引用本申请涉及2013年8月1日提交的具有相同标题的美国临时专利申请号61/861,185并且要求其优先权，该申请被全文合并在此以作参考。
这里所公开的实施例总体上涉及数字摄影机，并且特别涉及具有自动聚焦的纤薄多孔径数字摄影机。
技术介绍
近年来，例如蜂窝电话、平板器件和膝上型计算机之类的移动器件已经变得无所不在。这些器件当中的大多数包括一个或两个紧凑型摄影机——即朝向后方的主要摄影机(即处于器件的背面的摄影机，其朝向离开用户的方向并且常常被用于随意的摄影)和朝向前方的次要摄影机(即位于器件的正面的摄影机，其常常被用于视频会议)。虽然其性质是相对紧凑的，但是这些摄影机当中的大多数的设计仍然非常类似于数字静止摄影机的传统结构，也就是说其包括放置在图像传感器之上的光学组件(或者一串几个光学元件和主要孔径)。所述光学组件(其也被称作“光学元件(optics)”)对进入的光线进行折射，并且将其弯曲以在传感器上产生场景的图像。这些摄影机的规格在很大程度上由传感器的尺寸以及由光学元件的高度决定。这些因素通常通过透镜的焦距(“f”)及其视场(FOV)而关联在一起——必须把特定FOV成像在特定尺寸的传感器上的透镜具有特定的焦距。通过把FOV保持恒定，传感器的规格越大(例如在X-Y平面中)，焦距和光学元件高度就越大。随着移动器件的规格缩小，紧凑型摄影机规格越来越成为限制器件厚度的关键因素。已经提出了几种方法来减小紧凑型摄影机厚度以便减轻这一约束。近来，为此目的已经提出了多孔径系统。在这样的系统中，取代具有一串光学元件的一个孔径，摄影机被划分成几个孔径，每一个孔径具有专用的光学元件，并且所有孔径共享类似的视场。后面把每一个这样的孔径连同光学元件以及在其上形成图像的传感器区域定义成一个“子摄影机”。通常来说，在多孔径摄影机设计中，与由参考单孔径摄影机产生的图像相比，每一个子摄影机在图像传感器上产生较小的图像。因此，每一个子摄影机的高度可以小于单孔径摄影机的高度，从而可以减小摄影机的总高度并且允许更加纤细的移动器件设计。图1A和1B分别示出了传统摄影机和具有两个子摄影机的双孔径摄影机的示意性设计。图1A中的传统摄影机100’包括放置在基板104上的图像传感器102和透镜106。“摄影机高度”被定义成从基板104到透镜106的顶部的摄影机模块的高度。图1B中的双孔径摄影机100”包括两个子摄影机，即具有图像传感器112a和具有光轴118a的透镜116a的子摄影机1，以及具有图像传感器112b和具有光轴118b的透镜116b的子摄影机2。两个传感器分别被放置在基板114a和114b上。为了比较起见，假设参考单孔径摄影机和双孔径摄影机具有相同的视场(FOV)，并且其传感器具有相同的像素尺寸。但是图像传感器102与图像传感器112a或图像传感器112b相比具有更高的分辨率(像素数目)，因此尺寸也更大。可以认识到双孔径摄影机的摄影机高度方面的潜在优点(也就是从基板114a到透镜116a的顶部以及从基板114b到透镜116b的顶部的厚度)。在多孔径摄影机设计中涉及几方面的重大挑战。首先，每一个子摄影机的传感器区域与单孔径摄影机的传感器区域相比更小。如果把每一个子摄影机传感器中的像素尺寸与单孔径摄影机传感器中的像素尺寸保持相同，则由每一个子摄影机捕获的图像的分辨率小于由单孔径摄影机捕获的分辨率。如果将把输出图像的分辨率保持相同，则需要把来自不同子摄影机的图像组合成更高分辨率的图像。这通常是通过专用算法在数字域内进行的。已经提出了用于组合较低分辨率图像以产生更高分辨率图像的几种方法。这样的方法中的一些算法需要低分辨率图像的集合之间的配准步骤，以便解决视差(其由于子摄影机之间的视点的偏移而存在于多孔径摄影机系统中)。在标题为“Dualaperturezoomdigitalcamera(双孔径变焦数字摄影机)”的共同转让的PCT专利申请PCT/IB2014/062180中描述了这样的一种算法，其被全文合并在此以作参考。另一项挑战涉及要求摄影机对于较宽的物距范围(在紧凑型摄影机模块中通常是从几厘米到无限远)提供焦点对准的图像。为了满足这一要求，单孔径摄影机可以包括自动聚焦(AF)机制，其通过沿着光轴移动光学元件从而改变其在传感器上方的高度来控制光学元件的聚焦位置。在多孔径摄影机中，为了对于较宽的物距范围支持焦点对准图像，一种直接明了的方法将是在每一个子摄影机中提供专用的AF机制。这种方法存在几个缺陷，其中包括摄影机的尺寸和成本的增加、更高的操作功率以及更加复杂的控制，这是因为每一个子摄影机的AF机制需要被同步以便确保所有的子摄影机都被聚焦到相同的位置。在多孔径摄影机中使用AF机制时可能出现的另一个难题与组合较低分辨率子摄影机图像以产生更高分辨率图像的算法有关。由于AF机制在传感器上方沿着光轴移动光学元件，因此其在某种程度上对形成在传感器上的图像进行缩放。每一个子摄影机中的不同AF机制的聚焦位置之间的微小差异可能导致不同的尺度被应用于较低分辨率子摄影机图像。这样的尺度差异可能会降低算法中的图像配准步骤的性能。由于所述尺度的动态性质，针对不同尺度的校正并非是轻而易举的——被应用在图像上的尺度取决于光学元件的聚焦位置，而光学元件的聚焦位置又会随着物距改变。这意味着无法通过校准多孔径摄影机以及应用固定的校正来轻易地校正尺度，相反，必须在每一幅图像处估计正确的尺度。在有视差存在的情况下(其中不同的对象出现在作为其与摄影机的距离的函数的不同位置处)以及在一个孔径中存在对象的可能遮挡而在另一个孔径中不存在的情况下，从图像估计将要应用的正确尺度并非是轻而易举的。因此，需要一种可以在每幅图像的基础上准确地估计并且校正缩放差异的方法。作为针对使用AF的一种替换方案，已经提出了完全不具有AF机制的多孔径摄影机设计。这样的设计依赖于每一个子摄影机的较小焦距来提供与支持更大传感器的相应的单孔径摄影机相比增大的聚焦深度(DOF)。由于更大的DOF意味着更宽的物距范围在焦点对准的情况下被成像到传感器上，因此可以去除AF机制。虽然这种方法在成本、尺寸和系统复杂度方面是有利的，但是从多孔径摄影机的较短焦距导致的更大DOF常常不足以对于其范围从几厘米到无限远的物距支持焦点对准的图像。在这些情况中，满足于具有固定聚焦光学元件的多孔径摄影机导致近物距处的较差成像性能。在使用多个AF机制与仅使用固定聚焦光学元件之间，需要一种组合了AF机制的益处而不会对摄影机系统添加附加的复杂度和成本的多孔径摄影机系统。
技术实现思路
这里所公开的实施例提供了具有AF机制的多孔径摄影机的设计，描述了一种动态地校正子摄影机图像之间的尺度差异的算法，并且提出了一种与标准彩色滤光器阵列(CFA)相比在组合子摄影机图像时可以得到更高本文档来自技高网...

【技术保护点】
1.一种用于对对象或场景进行成像的双孔径数字摄影机，其包括：a)第一子摄影机,包括第一光学元件模块、具有第一像素数目的彩色图像传感器和阻止IR波长进入彩色图像传感器的红外(IR)滤光器，其中第一子摄影机被配置成提供对象或场景的彩色图像；b)第二子摄影机，包括第二光学元件模块以及具有第二像素数目的透明图像传感器，其中第二子摄影机被配置成允许至少一些IR波长进入透明图像传感器以及提供对象或场景的辉度图像；c)耦合到彩色图像传感器和透明图像传感器的摄影机控制器，其中所述摄影机控制器被配置成基于通过校准步骤获取的校准数据，预处理彩色和辉度图像来获得相应的矫正彩色和辉度图像，匹配矫正彩色和辉度图像中的像素以获得相应的匹配彩色和辉度图像，以及组合来自匹配彩色和辉度图像的数据来输出输出彩色图像。

【技术特征摘要】
2013.08.01 US 61/861,1851.一种用于对对象或场景进行成像的双孔径数字摄影机，其包括：a)第一子摄影机,包括第一光学元件模块、具有第一像素数目的彩色图像传感器和阻止IR波长进入彩色图像传感器的红外(IR)滤光器，其中第一子摄影机被配置成提供对象或场景的彩色图像；b)第二子摄影机，包括第二光学元件模块以及具有第二像素数目的透明图像传感器，其中第二子摄影机被配置成允许至少一些IR波长进入透明图像传感器以及提供对象或场景的辉度图像；c)耦合到彩色图像传感器和透明图像传感器的摄影机控制器，其中所述摄影机控制器被配置成基于通过校准步骤获取的校准数据，预处理彩色和辉度图像来获得...

【专利技术属性】
技术研发人员：G·沙布岱，N·科恩，E·戈登堡，N·吉瓦，O·吉古因斯基，
申请(专利权)人：核心光电有限公司，
类型：发明
国别省市：以色列,IL