用于阵列相机的动态校准的系统和方法技术方案

公开了用于阵列相机的动态校准的系统和方法。本发明专利技术公开了用于动态地校准阵列相机的系统和方法，以便适应可在其整个使用寿命中发生的几何形状变化。所述动态校准方法可包括获取场景的一组图像，并且识别所述图像内的对应特征。可使用几何校准数据来校正所述图像，并且确定在观察到对应特征的位置处的所述几何校准数据的残差向量。然后可使用所述残差向量来确定所述相机阵列的更新的几何校准数据。在若干实施方案中，使用所述残差向量来生成更新所述几何校准数据的残差向量校准数据场。在许多实施方案中，使用所述残差向量，从对于所述相机阵列的当前几何形状呈最佳拟合的多个不同组几何校准数据之中选择一组几何校准。

【技术实现步骤摘要】
用于阵列相机的动态校准的系统和方法本申请是申请号为201580056436.5，申请日为2015年9月29日，题为“用于阵列相机的动态校准的系统和方法”的中国专利技术专利申请的分案申请。
本申请整体涉及相机阵列，并且更具体地讲，涉及相机阵列的动态校准。
技术介绍
由于每只眼睛的视野不同，对场景的双眼观察会产生场景的两个略微不同的图像。这些差异(称为双眼差异(或视差))所提供的信息可用于计算视景的深度，提供深度感知的主要手段。与立体深度感知相关的深度印象还可在其他条件下获得，诸如当观察者在运动的同时仅用一只眼观察场景时。可利用所观察到的视差获得场景中的对象的深度信息。可使用机器视觉中类似的原理来搜集深度信息。隔开一距离的两个相机可拍摄相同场景的图片，并且可通过移位两个或更多个图像的像素对所捕获的图像进行比较以发现图像中匹配的部分。在两个不同相机视图之间对象的移位量称为差异，其与到对象的距离成反比。可使用检测多个图像中的对象的移位并得到最佳匹配的差异搜索来计算到对象的距离，所述计算是基于相机之间的基线距离和所涉及的相机的焦距(以及相机的附加特性的知识)。在大多数相机构型中，找到两个或更多个图像之间的对应性需要在两个维度中搜索。然而，可使用校正来简化差异搜索。校正是可用于将两个或更多个图像投影到公共图像平面上的变换方法。当使用校正将一组图像投影到同一平面上时，差异搜索变成沿着对极线的一维搜索。最近，研究人员已使用跨较宽合成孔径的多个相机来捕获光场图像(例如，斯坦福多相机阵列)。光场通常被定义为表征来自场景中所有点处的所有方向的光的4D函数，可被理解为场景的二维(2D)图像的二维集合。由于实际约束，通常难以同时捕获形成光场的场景2D图像的集合。然而，这些相机各自捕获图像数据时的时间越接近，光强度的变化(例如，荧光灯的另外无法感知的闪烁)或对象运动就越不可能导致所捕获的图像之间的时间相关的变化。可利用涉及光场捕获和重采样的方法模拟具有大孔径的相机。例如，指向场景的MxN相机阵列可模拟视野与该阵列一样大的透镜的聚焦效果。在许多实施方案中，相机不必布置成矩形图案，并且可具有包括以下的构型：圆形构型和/或适合具体应用的要求的任何任意构型。以这种方式使用相机阵列可称为合成孔径成像法。
技术实现思路
根据本专利技术的各种实施方案的系统和方法执行相机阵列的动态校准。一个实施方案包括：使用多个相机获取场景的一组图像，其中该组图像包括参考图像和备选视图图像；使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征；使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征；使用由图像处理应用程序所指令的处理器，基于一组几何校准数据来校正所述一组图像；使用由图像处理应用程序所指令的处理器，基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位，来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量；使用由图像处理应用程序所指令的处理器，基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据；以及使用图像处理应用程序所指令的处理器，基于更新的几何校准数据来校正捕获了备选视图图像的相机所捕获的图像。在进一步的实施方案中，确定在备选视图图像内观察到特征的位置处的几何校准数据的残差向量包括：基于被识别为参考图像和备选视图图像中沿着对极线相对应的特征的所观察到的位置移位的分量，来估计被识别为与在参考图像内检测到的特征相对应的备选视图图像内的特征的深度；基于相对应特征的所估计的深度来确定场景相关几何校正，以应用于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位；以及将场景相关几何校正应用于被识别为参考图像和备选视图图像中相对应的特征的所观察到的位置移位，以获得在备选视图图像内观察到特征的位置处的几何校准数据的残差向量。在另一个实施方案中，基于残差向量来确定捕获了备选视图图像的相机的更新的几何校准数据，包括使用至少一个内插方法由残差向量生成残差向量校准场。在更进一步的实施方案中，基于残差向量来确定捕获了备选视图图像的相机的更新的几何校准数据，还包括使用外推方法由残差向量生成残差向量校准场。又一个实施方案还包括将残差向量校准场应用于关于捕获了备选视图图像的相机的该组几何校准数据。还进一步的实施方案还包括：将残差向量校准场映射到一组基向量；以及使用少于完整组的基向量的线性组合来生成降噪残差向量校准场。在又一个实施方案中，从残差向量校准场的训练数据组获知该组基向量。在再次进一步的实施方案中，使用主分量分析从残差向量校准场的训练数据组获知该组基向量。在再次另一个实施方案中，确定捕获了备选视图图像的相机的更新的几何校准数据，还包括基于至少在备选视图图像内观察到特征的位置处的几何校准数据的残差向量，从多组几何校准数据之中选择更新的一组几何校准数据。进一步的附加实施方案还包括：使用所述多个相机获取场景的附加一组图像；以及使用附加一组图像确定几何校准数据的残差向量。另外，基于残差向量来确定捕获了备选视图图像的相机的更新的几何校准数据，还包括利用由附加一组图像所确定的几何校准数据的残差向量。另一个附加实施方案还包括检测相机的视野内至少一个区域不满足特征密度阈值。另外，响应于检测到相机的视野内的至少一个区域不满足特征密度阈值，而获取场景的附加一组图像。在又进一步的实施方案中，利用由附加一组图像所确定的残差向量，还包括利用使用附加一组图像所确定的残差向量来确定相机的视野内关于不满足密度阈值的所述至少一个区域的更新的几何校准数据。再一个实施方案还包括使用图像处理应用程序所指令的处理器，经由用户界面提供提示，其中所述提示指令相机阵列的取向，以使被识别为参考图像和备选视图图像中相对应的特征的位置移位到在获取附加一组图像期间相机的视野内不满足特征密度阈值的所述至少一个区域中。再次更进一步的实施方案包括：使用多个相机获取场景的一组图像，其中该组图像包括参考图像和备选视图图像；使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征；使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征；使用由图像处理应用程序所指令的处理器，基于一组几何校准数据来校正所述一组图像；以及使用图像处理应用程序所指令的处理器，基于被识别为参考图像和备选视图图像中相对应的特征的所观察到的位置移位来确定几何校准数据的有效性。在再次又一个实施方案中，基于被识别为参考图像和备选视图图像中相对应的特征的所观察到的位置移位来确定几何校准数据的有效性，包括确定所观察到的移位对于远离对极线的位置所达到的程度。再次还进一步的实施方案还包括通过以下方式动态地生成更新的几何校准数据：使用图像处理应用程序所指令的处理器，基于被识别为参考图像和备选视图图像中相对应的特征的所观察到的位置移位，来确定在备选视图图像内观察到特征的位置处的几何校准数据本文档来自技高网...

【技术保护点】
1.一种动态地生成相机阵列的几何校准数据的方法，包括：/n使用多个相机获取场景的一组图像，其中所述一组图像包括参考图像和备选视图图像；/n使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征；/n使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征；/n使用由图像处理应用程序所指令的处理器，基于一组几何校准数据来校正所述一组图像；/n使用由图像处理应用程序所指令的处理器，基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位，来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量；/n使用由图像处理应用程序所指令的处理器，基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据；以及/n使用由图像处理应用程序所指令的处理器，基于所述更新的几何校准数据来校正捕获了所述备选视图图像的所述相机所捕获的图像。/n

【技术特征摘要】
20140929 US 62/057,196;20150121 US 62/106,1681.一种动态地生成相机阵列的几何校准数据的方法，包括：
使用多个相机获取场景的一组图像，其中所述一组图像包括参考图像和备选视图图像；
使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征；
使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征；
使用由图像处理应用程序所指令的处理器，基于一组几何校准数据来校正所述一组图像；
使用由图像处理应用程序所指令的处理器，基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位，来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量；
使用由图像处理应用程序所指令的处理器，基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据；以及
使用由图像处理应用程序所指令的处理器，基于所述更新的几何校准数据来校正捕获了所述备选视图图像的所述相机所捕获的图像。


2.根据权利要求1所述的方法，其中确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量包括：
基于被识别为所述参考图像和所述备选视图图像中沿着对极线相对应的特征的位置中所观察到的移位的分量，来估计被识别为与在所述参考图像内检测到的特征相对应的所述备选视图图像内的特征的深度；
基于相对应特征的所估计的深度来确定场景相关几何校正，以应用于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位；以及
将所述场景相关几何校正应用于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置...

【专利技术属性】
技术研发人员：F·休瑞亚，D·勒勒斯卡，P·查特杰，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰;IE