双孔径摄影机系统中的帧同步技术方案

本发明专利技术涉及一种双孔径摄影机，包括：具有第一传感器和第一图像信号处理器(ISP)的第一摄影机，所述第一摄影机适于输出第一帧流；具有第二传感器和第二ISP的第二摄影机，所述第二摄影机适于输出第二帧流；以及同步和操作控制模块，其可以被配置成控制一个摄影级在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作，并且输出完全可操作摄影机的输出以作为双孔径摄影机输出，其中与另一个摄影机的完全可操作模式相比，另一个摄影机的部分可操作模式降低了双孔径摄影机功率消耗。

【技术实现步骤摘要】
【国外来华专利技术】双孔径摄影机系统中的帧同步相关申请的交叉引用本申请要求2016年6月19日提交的美国临时专利申请号62/351,990的优先权，该申请通过引用的方式被全文合并在本文中。
本文中所公开的实施例总体上涉及包括两个或更多摄影机(也被称作“双摄影机”或“双孔径摄影机”)的摄影机系统，所述摄影机系统连接到处理摄影机数据的寄主设备并且需要由两个或更多摄影机输出的帧之间的同步以便降低功率消耗。
技术介绍
数字摄影机模块当前正被合并到多种寄主设备中。这样的寄主设备包括蜂窝电话、个人数字助理(PDA)、计算机等等。针对寄主设备中的数字摄影机模块的消费者需求正在持续增长。寄主设备制造商针对包括具有更好的能力(比如光学变焦、改进的低光性能和更高的图像质量)的更高性能摄影机的需求正不断增加。为了应对这一需求，近来已提出了新的摄影机系统。这样的摄影机系统包括被对准成看向相同的方向并且具有部分地或完全重叠的视场(FOV)的两个摄影机，并且在本文中被称作“双摄影机”系统(或者具有两个孔径A和B的“双孔径摄影机”系统)，例如参见国际专利申请PCT/IB2014/062180、PCT/IB2014/063393和PCT/IB2016/050844。取决于使用在每一个摄影机中的透镜，两个摄影机可以具有类似的FOV或者非常不同的FOV。已经证明(例如参见PCT/IB2014/062180和PCT/IB2014/063393)，可以根据专用的算法将来自两个摄影机的图像“缝合”或“融合”在一起，从而形成具有改进的分辨率、改进的噪声性能和改进的图像质量的复合图像(至少对于复合图像视场的某一部分)。所述图像缝合或图像融合算法可以用软件实施、运行在应用处理器(AP)上或者用硬件实施(硬件实现方式)。此外已经证明(例如参见共同所有的美国专利9185291)，一些双摄影机系统(比如在预览或视频记录提供高质量变焦的双摄影机系统或者提供增强的低光性能的双摄影机系统)可以包括一个摄影机流到另一个摄影机流之间的过渡，以便生成随后被用来示出预览或记录视频的输出帧流。当焦距拉近和拉远时，这一过渡在特定变焦因数(ZF)下发生。在某些情况下，将两个摄影机之间的过渡保持得尽可能平滑是有益的——例如在双摄影机系统中的两个摄影机具有不同的FOV并且双摄影机系统实施两个摄影机之间的连续变焦的情况下。平滑过渡是其中用户不会注意到两个摄影机之间的过渡点的过渡。平滑过渡在时间和空间方面都应当是平滑的，也就是说在全部两个方面都是连续的。此外还知道，一些双摄影机系统可以包括对于来自两个摄影机帧的深度映射图的计算。深度映射图是帧中的像素的映射图，其中每一个对象在场景中的相对距离是从该对象的图像在两帧之间的空间偏移确定的。在一些实施例中，深度映射图需要来自两个摄影机的帧之间的配准步骤。配准步骤是这样一个步骤：其中在对应于场景中的相同对象的两幅图像中的像素之间找到匹配，并且为每一对匹配的像素指派表示两个相应像素在传感器上的位置之间的偏移量的视差数值，从而形成“稠密视差映射图”。或者，配准步骤可以包括：从两帧中提取特征，在对应于场景中的相同对象的特征之间找到匹配，并且从匹配的特征计算“稀疏深度映射图”。可以在预览或视频流上或者在快照图像上计算深度映射图。对于前面所提到的三项应用(两幅捕获图像的融合、两个帧流之间的过渡以及从两个摄影机帧产生深度映射图)，帧采集时间的同步是重要的要求和通常的实践。举例来说，当在来自两个摄影机的两帧之间配准信息时，如果帧采集时间没有被同步在特定时间段内(例如小于3-5msec)，则场景中的任何对象运动或者双孔径摄影机的运动可能会导致配准误差。在计算深度映射图时，配准误差可能会导致错误的深度估计。在平滑过渡中，如果在来自两个摄影机的帧对之间缺少时间同步，则在从一个摄影机切换到另一个摄影机时可能会导致明显的不连续。本领域内已知的两个摄影机传感器之间的一种同步方法包括对于每一帧从一个传感器(其被标示成“主导传感器”)向第二传感器(其被标示成“从属传感器”)发送同步信号。这种方法要求两个摄影机以近似相同的速率输出帧流从而保持同步(举例来说，全部两个传感器将以30fps的速率输出帧)。除了保持同步之外，将两个摄影机的流送在所有时间都保持并行(即使当仅有一个摄影机实际被用来生成输出图像或帧时)还有其他的好处：首先，即使当一个摄影机未被使用时，仍然希望保持关于全部两个摄影机的对焦、白平衡和光增益水平的信息(被称作“3A信息”)，以便能够以尽可能小的等待时间使用来自未被使用的一个摄影机的信息。如果一个摄影机被设定成处于“待机”模式并且不流送帧，则在配置该摄影机开始流送帧时，可能要花费几秒钟才能使得白平衡、曝光和对焦收敛到与场景相匹配的数值。这一时间可能会妨碍用户体验，并且例如在焦距拉近或焦距拉远时或者例如在从常规光模式切换到低光模式时可能会妨碍从一个摄影机到另一个摄影机的平滑过渡。其次，例如出于从两幅图像计算场景的深度映射图的目的，可能要求在所有时间都保持配准。但是并行地运行两个摄影机传感器所带来的代价是功率消耗加倍。总而言之，为了在双摄影机中实现一个孔径(摄影机)与另一个孔径(摄影机)之间的快速输出切换，全部两个摄影机都需要是可操作并且是同步的。这就产生了功率消耗问题，因为保持两个摄影机完全可操作导致组合摄影机功率消耗与单摄影机系统相比加倍。当前针对这一功率消耗问题没有令人满意的解决方案。
技术实现思路
在示例性实施例中，提供一种包括双孔径摄影机的系统，所述双孔径摄影机包括适于输出对应的第一摄影机输出的第一摄影机和适于输出对应的第二摄影机输出的第二摄影机，所述系统还包括可以被配置成控制一个摄影机在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作的同步和操作控制模块，其中与全部两个摄影机都操作在完全可操作模式下时的系统功率消耗相比，一个摄影机处于部分可操作模式并且另一个摄影机处于完全可操作模式的双孔径摄影机的操作降低了系统功率消耗。在一个示例性实施例中，同步和操作控制模块还可以被配置成输出完全可操作摄影机的输出以作为双孔径摄影机输出。在一个示例性实施例中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在完全可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在部分可操作模式下的操作。在一个示例性实施例中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在部分可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在完全可操作模式下的操作。在一个示例性实施例中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对。在一个示例性实施例中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对本文档来自技高网...

【技术保护点】
一种系统，包括：a)包括适于输出对应的第一摄影机输出的第一摄影机和适于输出对应的第二摄影机输出的第二摄影机的双孔径摄影机；以及b)可以被配置成控制一个摄影机在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作的同步和操作控制模块，其中与全部两个摄影机都操作在完全可操作模式下时的系统功率消耗相比，一个摄影机处于部分可操作模式并且另一个摄影机处于完全可操作模式的双孔径摄影机的操作降低了系统功率消耗。

【技术特征摘要】
【国外来华专利技术】2016.06.19 US 62/351,9901.一种系统，包括：a)包括适于输出对应的第一摄影机输出的第一摄影机和适于输出对应的第二摄影机输出的第二摄影机的双孔径摄影机；以及b)可以被配置成控制一个摄影机在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作的同步和操作控制模块，其中与全部两个摄影机都操作在完全可操作模式下时的系统功率消耗相比，一个摄影机处于部分可操作模式并且另一个摄影机处于完全可操作模式的双孔径摄影机的操作降低了系统功率消耗。2.根据权利要求1所述的系统，其中，同步和操作控制模块还可以被配置成输出完全可操作摄影机的输出以作为双孔径摄影机输出。3.根据权利要求1所述的系统，其中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在完全可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在部分可操作模式下的操作。4.根据权利要求1所述的系统，其中，第一摄影机包括与相关联的第一图像信号处理器(ISP)进行通信并且适于输出第一帧流的第一摄影机图像传感器，第二摄影机包括与相关联的第二ISP进行通信并且适于输出第二帧流的第二摄影机图像传感器，并且同步和操作控制模块还可以被配置成控制第一摄影机图像传感器和/或第一ISP在部分可操作模式下的操作以及第二摄影机图像传感器和/或第二ISP在完全可操作模式下的操作。5.根据权利要求3所述的系统，其中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对。6.根据权利要求4所述的系统，其中，同步和操作控制模块还可以被配置成同步由第一ISP和第二ISP处理的帧对。7.根据权利要求3所述的系统，其中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二摄影机图像传感器当中的每一个的对应的帧尺寸。8.根据权利要求3所述的系统，其中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二摄影机图像传感器当中的每一个的对应的帧率。9.根据权利要求3所述的系统，其中，控制第一摄影机图像传感器在完全可操作模式下的操作以及控制第二摄影机图像传感器在部分可操作模式下的操作包括控制第一和第二ISP当中的每一个的对应的处理速率。10.根据权利要求4所述的系统，其中，控制第一摄影机图像传感器在部分可操作模式下的操作以及控制第二摄影机图像传感器在完全可操作模式下的操作包括控制第一和第二摄影机图像传感器当中的每一个的对应的帧尺寸。11.根据权利要求4所述的系统，其中，控制第一摄影机图像传感器在部分可操作模式下的操作以及控制第二摄影机图像传感...

【专利技术属性】
技术研发人员：N·科恩，G·沙布岱，O·吉古辛斯基，N·吉瓦，A·勒森，G·巴查尔，
申请(专利权)人：核心光电有限公司，
类型：发明
国别省市：以色列,IL