多相机系统中的图像传感器的自动对准技术方案

基于由相机的对的图像传感器捕获的图像，来将具有交叠的视场的相机的对进行对准。识别在图像之间的像素偏移。基于所识别的像素偏移，应用对相机的对中的一个或两者的校准。为了确定像素偏移，相机应用包括边缘匹配的相关方法。对相机的对进行校准可以包括调节图像传感器上的读取窗口。像素偏移还可以被用于确定时间迟滞，其可以被用于使后续图像捕获同步。

【技术实现步骤摘要】
【国外来华专利技术】
本公开内容大体涉及数字相机的领域，并且更具体地涉及捕获来自多个相机的同步图像。
技术介绍
数字相机使用电子图像传感器捕获图像。示例图像传感器使用CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)技术。CMOS图像传感器包含与所捕获的图像的像素相对应的光电二极管。在一个配置中，光电二极管按行和列来布置。为了捕获图像，光电二极管的连续的行随时间被暴露并被读取。光电二极管的行随时间被暴露的方向是滚动快门方向。例如，如果图像传感器在读取光电二极管的一行之上的光电二极管的行之后读取光电二极管的该行，则图像传感器具有向下滚动快门方向。图像的沿滚动快门方向的部分在稍后的时间处被暴露。当捕获其中对象正在移动的场景的图像时或当捕获其中相机相对于图像内的一个或多个对象正在移动的图像时，如果对象相对于在不同时间处被暴露的不同的图像传感器行在图像帧中移动，对象可能出现模糊。类似地，对象的复本可能出现(例如，利用CMOS传感器捕获的旋转的飞机螺旋桨的图像)。这样的图像伪影被称为“滚动快门伪影”。三维(3D)图像展示所捕获的场景中的深度信息。用于形成3D图像的一种方法涉及从不同视角捕获的两幅或更多幅二维(2D)图像的组合。对象的深度可以基于对象在2D图像内的位置和基于2D图像从其被捕获的相对视角来推断。当捕获移动的场景时，同时地获取2D图像。否则，相对于图像帧移动的捕获对象可以出现在结果3D图像中的不正确的深度处。当两个相机的滚动快门未对准时，即使同时地捕获2D图像也可以导致滚动快门伪影和不正确的对象深度确定，因为在不同的时间处捕获场景的不同部分。如果相机没有在相同的时间处捕获场景的相同部分，则场景的任何移动的元素可以出现模糊。为了使图像捕获同步，可以使用六轴云台相机支架来将包含图像传感器的相机沿滚动快门的方向对准，但是通过该方法来将相机对准即使对于有经验的摄影师也是耗时的任务。附图说明所公开的实施例具有其他优点和特征，其将从具体实施方式、随附权利要求和随附附图(或附图)中更加容易显而易见。下面是对各图的简单介绍。图(图)1A图示了根据一个实施例的被配置具有交叠的视场的相机的示例对。图1B和1C图示了根据一个实施例的以用于捕获图像的示例配置布置的两个相机。图1D图示了根据一个实施例的由具有未对准的滚动快门的相机的对获取的示例图像。图2图示了根据一个实施例的针对相机的对中的每个相机的示例架构。图3图示了根据一个实施例的用于使图像传感器的对同步的系统的示例高级框图。图4A图示了根据一个实施例的通过使图像传感器的示例对中的图像传感器上的读取窗口偏移对该对的对准。图4B图示了根据一个实施例的通过应用时间迟滞对图像传感器的示例对的对准。图5A-5D图示了图示根据一个实施例的用于确定像素偏移的边缘检测的示例图像。图6A图示了根据一个实施例的用于将多相机系统中的图像传感器对准的过程的流程图。图6B图示了根据一个实施例的用于确定在具有交叠的视场的图像之间的像素偏移的过程的流程图。具体实施方式各图(图)和下面的描述涉及仅仅通过说明的方式的优选实施例。应当指出，从下面的讨论中，本文公开的结构和方法的备选实施例将被容易地认为是可以在不脱离要求保护的内容的原理的情况下采用的可行的备选方案。现在将对若干实施例详细进行参考，若干实施例的示例被图示在附图中。要指出，只要可行，相似或类似的附图标记可以在附图中被使用并且可以指示相似或类似的功能。各图仅仅出于说明的目的来描绘所公开的系统(或方法)的实施例。本领域技术人员从下文描述将容易意识到，可以在不脱离本文中描述的原理的情况下采用本文中图示的结构和方法的备选实施例。配置概述在一个实施例中，计算机实现的过程使图像传感器的对同步。在基本上相同的时间处利用图像传感器的对捕获图像。图像传感器具有交叠的视场。基于表示交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移。基于所识别的像素偏移来确定在图像传感器之间的时间迟滞。基于所确定的时间迟滞或所识别的像素偏移来校准图像传感器的对，以使由图像传感器捕获的后续图像同步。在一个实施例中，计算机实现的过程确定在图像的对之间的像素偏移。获得在基本上相同的时间处捕获的图像对。图像包括表示交叠的视场的图像数据。识别图像数据中的一个或多个边缘。一个或多个边缘与图像的对中的第一图像和第二图像中的边缘相对应。将来自第一图像的一个或多个所识别的边缘与第二图像中的一个或多个所识别的边缘进行匹配。至少部分基于在一个或多个边缘之间的匹配来确定在图像的对之间的像素偏移。应当指出，尽管本文描述的示例包括在两个相机之间的图像传感器的对准，但是在实践中本文描述的原理可以适用于任何数量的相机的阵列。例如，平均的像素偏移或读取窗口偏移可以被确定并被应用到三个或更多个相机的线性阵列以便将相机的阵列对准。另外，可以确定针对水平相邻的相机或垂直相邻的相机两者的像素偏移或读取窗口偏移。例如，在2x2相机阵列中，通过确定在阵列中的顶部的相机的对与底部的相机的对之间的水平像素偏移或读取窗口偏移，并且通过确定在阵列中的左边的相机的对与右边的相机的对之间的垂直像素偏移或读取窗口偏移，可以将图像传感器对准。利用相机的对的图像捕获图1A图示了根据一个实施例的被配置具有交叠的视场的相机的示例对。在一个实施例中，相邻的相机100A和100B属于相机对并且被配置为捕获经同步的图像数据。来自相机对的图像数据可以被拼接在一起，以形成其可以是二维(2D)或三维(3D)的全景图像或视频。如所示出的，每个相机100包括透镜组件102、快门按钮104、功能按钮106、指示灯108、控制显示屏110和包含于相机主体中的存储器卡槽112。相机的主体使相机的部件固定。透镜组件102包括被设计为将光聚焦、指引、会聚和/或发散到(未图示在图1A的实施例中的)内部图像传感器上的一个或多个透镜和/或其他光学部件。透镜组件可以包括用于改变透镜组件的配置(例如，以修改相机的焦点和/或视场)的电部件和/或机械部件。未具体图示或描述的其他常规相机特征也可以被包含于一个或两个相机中。例如，相机100可以包括各种光学部件、图像传感器(例如互补金属氧化物半导体(CMOS)传感器)、麦克风、扬声器、图像和/或音频处理器、控制器、内部存储、图像预览显示屏、输入/输出端口、通信模块和/或其他常规部件。相机可以包括用于将相机固定到支架的一个或多个部件。在一个实施例中，相机100被固定到共同的支架。支架可以包括用于将相机100中的全部或部分包围在各种位置和/或定向中的壳体。在备选实施例中，相邻的相机100A和100B被组合到具有用于从至少两个不同的视角捕获图像数据的至少两个透镜102和其他部件的单个相机主体中。相机100可以包括除了图1A中图示的那些之外的不同的或附加的控制输入，用于捕获图像和/或视频、用于查看先前捕获的图像和/或视频、或用于管理各种相机设置。所图示的部件可以被省略和/或被修改，而基本上不会抑制本文功描述的功能。每个相机100可以具有各种外形规格中的一个。在一个实施例中，相机系统中的每个个体相机100具有小的外形规格(例如，大约4到6厘米的高度、大约5到7厘米的宽度和大约2到4厘米的深度)，并且是轻量级的(例如本文档来自技高网...

【技术保护点】
一种用于使图像传感器对同步的计算机实现的方法，所述方法包括：在基本上相同的时间处利用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及基于所识别的像素偏移，通过在所述滚动快门方向上调节至少一个图像传感器的读取窗口，来校准所述至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步，所述读取窗口包括所述图像传感器的一部分，所述图像传感器的所述部分被配置为在图像捕获期间捕获入射在所述部分上的光以产生所捕获的图像数据。

【技术特征摘要】
【国外来华专利技术】2014.03.20 US 14/221,254;2014.03.20 US 14/221,2561.一种用于使图像传感器对同步的计算机实现的方法，所述方法包括：在基本上相同的时间处利用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及基于所识别的像素偏移，通过在所述滚动快门方向上调节至少一个图像传感器的读取窗口，来校准所述至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步，所述读取窗口包括所述图像传感器的一部分，所述图像传感器的所述部分被配置为在图像捕获期间捕获入射在所述部分上的光以产生所捕获的图像数据。2.根据权利要求1所述的方法，其中识别所述像素偏移包括：通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；其中所述第一数量的像素包括所识别的像素偏移。3.根据权利要求2所述的方法，其中使表示所述交叠的视场的所捕获的图像数据相关包括：针对每幅图像压缩表示所述交叠的视场的所捕获的图像数据中的像素；以及使每幅图像的经压缩的像素相关。4.根据权利要求2所述的方法，还包括：响应于确定所捕获的图像包括少于表示所述交叠的视场、用于使所捕获的图像数据相关所需要的图像数据的阈值量，利用所述图像传感器捕获具有交叠的视场的附加图像对。5.根据权利要求1所述的方法，还包括：基于所识别的像素偏移来确定在所述图像传感器之间的时间迟滞。6.根据权利要求5所述的方法，其中确定在所述图像传感器之间的所述时间迟滞包括确定所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量。7.根据权利要求5所述的方法，其中所述图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器包括：启动在所述第一图像传感器处的图像捕获；以及在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。8.根据权利要求1所述的方法，其中所述图像传感器对由控制从相机的主相机控制。9.根据权利要求1所述的方法，被重复以使多个图像传感器对同步。10.一种包括相机对的系统，每个相机具有图像传感器，所述系统还包括至少一个处理器和包括用于使所述图像传感器同步的指令的非瞬态计算机可读介质，所述指令能由所述至少一个处理器执行，所述指令包括用于以下的指令：在基本上相同的时间处利用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及基于所识别的像素偏移，通过在所述滚动快门方向上调节至少一个图像传感器的读取窗口，来校准所述至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步，所述读取窗口包括所述图像传感器的一部分，所述图像传感器的所述部分被配置为在图像捕获期间捕获入射在所述部分上的光以产生所捕获的图像数据。11.根据权利要求10所述的系统，其中用于识别所述像素偏移的指令包括用于以下的指令：通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；其中所述第一数量的像素包括所识别的像素偏移。12.根据权利要求10所述的系统，还包括用于以下的指令：至少部分地基于所识别的像素偏移和所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量，来确定在所述图像传感器之间的时间迟滞。13.根据权利要求12所述的系统，其中图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器包括：启动在所述第一图像传感器处的图像捕获；以及在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。14.根据权利要求10所述的系统，还包括包围所述相机对的壳体。15.根据权利要求10所述的系统，还包括具有附加的图像传感器的第三相机，所述指令还包括用于使所述附加的图像传感器与所述图像传感器同步的指令。16.一种非瞬态计算机可读介质，包括用于使图像传感器对同步的指令，所述指令能由至少一个处理器执行，所述指令包括用于以下的指令：在基本上相同的时间处使用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及基于所识别的像素偏移，通过在所述滚动快门方向上调节至少一个图像传感器的读取窗口，来校准所述至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步，所述读取窗口包括所述图像传感器的一部分，所述图像传感器的所述部分被配置为在图像捕获期间捕获入射在所述部分上的光以产生所捕获的图像数据。17.根据权利要求16所述的计算机可读介质，其中用于识别所述像素偏移的指令包括用于以下的指令：通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；其中所述第一数量的像素包括所识别的像素偏移。18.根据权利要求16所述的计算机可读介质，还包括用于以下的指令：至少部分地基于所识别的像素偏移和所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量，来确定在所述图像传感器之间的时间迟滞。19.根据权利要求16所述的计算机可读介质，其中所述图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器包括：启动在所述第一图像传感器处的图像捕获；以及在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。20.根据权利要求16所述的计算机可读介质，所述指令还包括用于使附加的图像传感器与所述图像传感器对同步的指令。21.一种用于确定在图像对之间的像素偏移的计算机实现的方法，所述方法包括：访问在基本上相同的时间处捕获的所述图像对中的第一图像和第二图像，所述图像包括表示在图像传感器之间的交叠的视场的图像数据；由一个或多个处理器识别与所述第一图像和所述第二图像相对应...

【专利技术属性】
技术研发人员：T·麦克米伦，S·P·坎贝尔，D·A·纽曼，孙亚杰，
申请(专利权)人：高途乐公司，
类型：发明
国别省市：美国;US