【技术实现步骤摘要】
【国外来华专利技术】用于阵列相机的动态校准的系统和方法
本申请整体涉及相机阵列,并且更具体地讲,涉及相机阵列的动态校准。
技术介绍
由于每只眼睛的视野不同,对场景的双眼观察会产生场景的两个略微不同的图像。这些差异(称为双眼差异(或视差))所提供的信息可用于计算视景的深度,提供深度感知的主要手段。与立体深度感知相关的深度印象还可在其他条件下获得,诸如当观察者在运动的同时仅用一只眼观察场景时。可利用所观察到的视差获得场景中的对象的深度信息。可使用机器视觉中类似的原理来搜集深度信息。隔开一距离的两个相机可拍摄相同场景的图片,并且可通过移位两个或更多个图像的像素对所捕获的图像进行比较以发现图像中匹配的部分。在两个不同相机视图之间对象的移位量称为差异,其与到对象的距离成反比。可使用检测多个图像中的对象的移位并得到最佳匹配的差异搜索来计算到对象的距离,所述计算是基于相机之间的基线距离和所涉及的相机的焦距(以及相机的附加特性的知识)。在大多数相机构型中,找到两个或更多个图像之间的对应性需要在两个维度中搜索。然而,可使用校正来简化差异搜索。校正是可用于将两个或更多个图像投影到公共图像平面上的变换方法。当使用校正将一组图像投影到同一平面上时,差异搜索变成沿着对极线的一维搜索。最近,研究人员已使用跨较宽合成孔径的多个相机来捕获光场图像(例如,斯坦福多相机阵列)。光场通常被定义为表征来自场景中所有点处的所有方向的光的4D函数,可被理解为场景的二维(2D)图像的二维集合。由于实际约束,通常难以同时捕获形成光场的场景2D图像的集合。然而,这些相机各自捕获图像数据时的时间越接近,光强度的变化(例如,荧光 ...
【技术保护点】
一种动态地生成相机阵列的几何校准数据的方法,包括:使用多个相机获取场景的一组图像,其中所述一组图像包括参考图像和备选视图图像;使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征;使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征;使用由图像处理应用程序所指令的处理器,基于一组几何校准数据来校正所述一组图像;使用由图像处理应用程序所指令的处理器,基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位,来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量;使用由图像处理应用程序所指令的处理器,基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据;以及使用由图像处理应用程序所指令的处理器,基于所述更新的几何校准数据来校正捕获了所述备选视图图像的所述相机所捕获的图像。
【技术特征摘要】
【国外来华专利技术】2014.09.29 US 62/057,196;2015.01.21 US 62/106,1681.一种动态地生成相机阵列的几何校准数据的方法,包括:使用多个相机获取场景的一组图像,其中所述一组图像包括参考图像和备选视图图像;使用由图像处理应用程序所指令的处理器检测所述一组图像中的特征;使用由图像处理应用程序所指令的处理器在所述备选视图图像内识别与在所述参考图像内检测到的特征相对应的特征;使用由图像处理应用程序所指令的处理器,基于一组几何校准数据来校正所述一组图像;使用由图像处理应用程序所指令的处理器,基于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位,来确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量;使用由图像处理应用程序所指令的处理器,基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据;以及使用由图像处理应用程序所指令的处理器,基于所述更新的几何校准数据来校正捕获了所述备选视图图像的所述相机所捕获的图像。2.根据权利要求1所述的方法,其中确定在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量包括:基于被识别为所述参考图像和所述备选视图图像中沿着对极线相对应的特征的位置中所观察到的移位的分量,来估计被识别为与在所述参考图像内检测到的特征相对应的所述备选视图图像内的特征的深度;基于相对应特征的所估计的深度来确定场景相关几何校正,以应用于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位;以及将所述场景相关几何校正应用于被识别为所述参考图像和所述备选视图图像中相对应的特征的所观察到的位置移位,以获得在所述备选视图图像内观察到特征的位置处的几何校准数据的残差向量。3.根据权利要求1所述的方法,其中基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据,包括使用至少一个内插方法由所述残差向量生成残差向量校准场。4.根据权利要求3所述的方法,其中基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据,还包括使用外推方法由所述残差向量生成所述残差向量校准场。5.根据权利要求3所述的方法,还包括将所述残差向量校准场应用到所述一组几何校准数据,所述一组几何校准数据是关于捕获了所述备选视图图像的所述相机。6.根据权利要求3所述的方法,还包括:将所述残差向量校准场映射到一组基向量;以及使用少于完整组的基向量的线性组合来生成降噪的残差向量校准场。7.根据权利要求6所述的方法,其中从残差向量校准场的训练数据组获知所述一组基向量。8.根据权利要求7所述的方法,其中使用主分量分析从残差向量校准场的训练数据组获知所述一组基向量。9.根据权利要求1所述的方法,其中确定捕获了所述备选视图图像的相机的更新的几何校准数据,还包括基于至少在所述备选视图图像内观察到特征的位置处的几何校准数据的所述残差向量,从多组几何校准数据之中选择更新的一组几何校准数据。10.根据权利要求1所述的方法,还包括:使用所述多个相机获取场景的附加一组图像;以及使用所述附加一组图像确定所述几何校准数据的残差向量;其中基于所述残差向量来确定捕获了所述备选视图图像的相机的更新的几何校准数据,还包括利用由所述附加一组图像所确定的所述几何校准数据的所述残差向量。11.根据权利要求10所述的方法,还包括:检测相机的视野内至少一个区域不满足特征密度阈值;其中响应于检测到相机的视野内至少一个区域不满足所述特征密度阈值,而获取场景的所述附加一组图像。12.根据权利要求11所述的方法,其中利用由所述附加一组图像所确定的所述残差向量,还包括利用由所述附加一组图像所确定的所述残差向量来确定关于所述相机的所述视野内不满足所述密度阈值的所述至少一个区域的更新的几何校准数据。13.根据权利要求12所...
【专利技术属性】
技术研发人员:F·休瑞亚,D·勒勒斯卡,P·查特杰,
申请(专利权)人:快图凯曼有限公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。