用于异构相机阵列的图像处理的装置、方法及系统制造方法及图纸

描述了用于异构相机阵列的校正技术。例如，在一个实施例中，一种装置可以包括：逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。对其他实施例进行了描述并要求保护。

【技术实现步骤摘要】
【国外来华专利技术】优先权本申请要求于2014年5月6日提交的题为“Rectification Techniques for Heterogeneous Camera Arrays(用于异构相机阵列的校正技术)”的美国专利申请号14/270,687的优先权，该申请的主题通过引用以其全文结合在此。
技术介绍
在图像采集和处理领域中，使用相机阵列来捕捉场景的多个图像可以使得能够实现用于例如差异和深度估计、视图插值和三维重构的技术。这类技术可能要求确定在由在阵列中的各相机捕捉的对应图像中的像素位置之间的图像间对应关系。可以采用图像校正以便简化这些确定。然而，常规的图像校正技术并不适应在其中各相机的分辨率、视场和/或像素大小可能彼此不同的异构相机阵列。附图说明图1展示了相机阵列的实施例。图2A展示了第一捕捉图像阵列的实施例。图2B展示了第二捕捉图像阵列的实施例。图3展示了成像管理程序的实施例。图4展示了装置的实施例以及第一系统的实施例。图5展示了外部参数确定的实施例。图6展示了归一化校正过程的实施例。图7展示了第一逻辑流程的实施例。图8展示了第二逻辑流程的实施例。图9展示了第三逻辑流程的实施例。图10展示了存储介质的实施例。图11展示第二系统的实施例。图12展示了第三系统的实施例。图13展示了设备的实施例。具体实施方式各实施例可以总体上涉及用于异构相机阵列的校正技术。例如，在一个实施例中，一种装置可以包括：逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于捕捉图像阵列、针对所选的校正过程标识校正映射集并且将所述经标识的校正映射集应用于捕捉图像阵列以获得校正图像阵列。对其他实施例进行了描述并要求保护。各实施例可以包括一个或多个元件。元件可包括被安排成用于执行特定操作的任意结构。如给定设计参数或性能约束集所需的，每个元件可以被实现为硬件、软件或其任意组合。尽管实施例可以通过示例的方式以特定布局用有限数目的元件来描述，但是实施例可以如对于给定的执行方案所期待的那样以替换的布局而包括或多或少的元件。值得注意的是，对“一个实施例(one embodiment)”或“实施例(an embodiment)”的任何参考意指结合实施例所描述的特定特征、结构或特点包含在至少一个实施例中。短语“在一个实施例中”、“在一些实施例中”和“在各实施例中”在本说明书中各地方的出现不一定全都引用相同的实施例。各实施例可以涉及将校正技术应用于由在平面直线式相机阵列中的相机所捕捉的图像。平面直线式相机阵列通常包括在其中相机的对应光学中心全部近似位于平面的直线式栅格上的相机阵列。图1展示了如可以表示平面直线式相机阵列的示例相机阵列100，结合所述平面直线式相机阵列可以在各实施例中实现校正技术。如图1所示，相机阵列100包括标号为102-1至102-9的九个相机，所述九个相机如包括在其中的虚线箭头所展示的定向。每个相机102包括对应的光学中心104。例如，相机102-1包括光学中心104-1。实施例并不局限于此示例。如图1所示，各相机102的光学中心104全部近似地位于公共平面106上。此外，光学中心104被安排为使得每个光学中心近似留在公共平面106内的三行之一和三列之一内。例如，光学中心104-1、104-4和104-7全部近似位于定义列C1的线108-4上，并因此可以被说成留在列C1中，并且光学中心104-7、104-8和104-9全部近似位于定义行R3的线108-3上，并因此可以被说成留在行R3上。一些平面直线式相机阵列(如示例相机阵列100)以多行和多列的相机为特征。在下文中，这种平面直线式相机阵列将被称为“二维(2D)”相机阵列。其他平面直线式相机阵列可以仅包括单行或单列的相机。在下文中，这种平面直线式相机阵列将被称为“线性”相机阵列。例如，在图1中，线性相机阵列110包括相机102-4、102-5和102-6，其中每个相机留在公共平面106的行R2中。将认识到，因为相机在这种阵列中的光学中心可以近似地位于(但不必精确地位于)平面直线式栅格上，所以光学中心在特定的2D相机阵列中的实际安排可以实际是三维的，并且光学中心在特定的线性相机阵列中的实际安排可以实际是二维或三维的。实施例并不局限于本上下文中。图2A展示了如可以表示由异构相机阵列所捕捉的图像集的捕捉图像阵列200。捕捉图像阵列200包括图像202-1、202-2和202-3。图像202-1、202-2和202-3中的每个图像包括相同的分辨率，表明捕捉那些图像的相机具有相等的分辨率。图像202-1、202-2和202-3中的每个图像描绘相同的视场(FOV)，表明捕捉那些图像的相机以相等的FOV为特征。实施例并不局限于本上下文中。图2B展示了如在一些实施例中的可以表示由异构相机阵列所捕捉的图像集的捕捉图像阵列250。在此，术语“异构相机阵列”被定义为在其中至少一个相机的分辨率和/或FOV不同于至少一个其他相机的分辨率和/或FOV的相机阵列。捕捉图像阵列250包括图像252-1、252-2和252-3。图像252-1和252-2包括相同的分辨率，但是图像252-2相比图像252-1描绘了更广的视场。这表明相机捕捉图像252-2相比相机捕捉图像252-1以更广的视场为特征。图像252-2和252-3包括相同的视场，但是图像252-3相比图像252-2包括更小的分辨率。这表明捕捉图像252-3的相机相比捕捉图像252-2的相机具有更小的分辨率。实施例并不局限于本上下文中。在各实施例中，可以令人期望的是，确定在捕捉图像阵列(如图2A的捕捉图像阵列200和/或图2B的捕捉图像阵列250)中的对应图像中的像素位置之间的图像间对应关系。例如，在一些实施例中，可以令人期望的是，确定这种图像间对应关系以便使能够实现用于差异和深度估计、视图插值和/或三维重构的技术。在各实施例中，为了帮助和/或简化这些确定，可令人期望的是对捕捉图像阵列进行校正。图3展示了在某些实施例中的如可以表示接下来的为了使能够对捕捉图像阵列(如图2A的捕捉图像阵列200和/或图2B的捕捉图像阵列250)的图像进行校正的程序的成像管理程序300。更具体地，图3展示了可以被包括在这种成像管理程序300内的各阶段。如图3所示，成像管理程序300可以包括校准阶段302、映射阶段304和校正阶段306。在校准阶段302过程中，可以针对相机阵列执行校准过程，根据所述校准过程可以确定相机阵列的内部参数和/或外部参数。内部参数的示例可以包括但不限于焦距、主点、以及相机在相机阵列内的偏移。外部参数的示例可以包括但不限于旋转矩阵、平移向量、以及相机在相机阵列内的光学中心。在各实施例中，校准过程可以另外地涉及确定整体地表征相机阵列的一个或多个复合内部参数和/或外部参数。在映射阶段304过程中，可以生成映射信息以用于对由相机阵列采所集的图像进行校正。在一些实施例中，可以基于在校准阶段302过程中确定的内部参数和/或外部参数生成此映射信息。在校正阶段306过程中，可以对由相机阵列捕捉的捕捉图像阵列的图像进行校正。在各实施例中，可以使用在映射阶段304过程中生成的映射信息来进行此校正。实施例并本文档来自技高网...

【技术保护点】
一种装置，包括逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列生成的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。

【技术特征摘要】
【国外来华专利技术】2014.05.06 US 14/270,6871.一种装置，包括逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列生成的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。2.如权利要求1所述的装置，所述逻辑用于响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。3.如权利要求1所述的装置，所述逻辑用于执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的相应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。4.如权利要求3所述的装置，所选择的校正过程包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的对应图像的分辨率和视场相匹配。5.如权利要求4所述的装置，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵生成的。6.如权利要求3所述的装置，所选择的校正过程包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一分辨率和统一视场。7.如权利要求6所述的装置，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵生成的。8.如权利要求7所述的装置，所述校准过程包括基于在所述异构相机阵列中的以所述归一化校正过程的目标分辨率和目标视场为特征的一个或多个相机的相应内部参数矩阵确定所述复合内部参数矩阵。9.一种系统，包括：根据权利要求1至8中的任一项所述的装置；显示器；射频(RF)收发器；以及一根或多根RF天线。10.至少一种非瞬态计算机可读存储介质，包括指令集，所述指令集响应于在计算设备上被执行而使所述计算设备：接收由异构相机阵列生成的捕捉图像阵列；选择校正过程以应用于所述捕捉图像阵列；针对所述选择的校正过程标识校正映射集；以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。11.如权利要求10所述的至少一种非瞬态计算机可读存储介质，包括指令，所述指令响应于在所述计算设备上被执行而使所述计算设备响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。12.如权利要求10所述的至少一种非瞬态计算机可读存储介质，包括指令，所述指令响应于在所述计算设备上被执行而使所述计算设备执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的相应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。13.如权利要求12所述...

【专利技术属性】
技术研发人员：K·瑟莎杜里娜瑟，O·奈斯塔尔司，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US