相机校准制造技术

本公开涉及相机校准。一种校准相机的方法，包括：针对由相机捕获的序列中的帧执行第一校准以计算这些帧的针对一组一个或多个相机参数的第一校准数据；针对序列中的所选帧执行第二校准以根据这些帧的第一校准数据来计算所选帧的第二校准数据；以及在针对序列中的后续帧执行的第一校准中使用第二校准数据。

【技术实现步骤摘要】
相机校准
本专利技术涉及用于计算相机的校准参数的方法和装置。
技术介绍
相机校准通常涉及对与相机相关联的可能影响图像处理的参数进行估计或计算的过程。这些参数可以被称为校准参数。校准参数可以包括相机的镜头和图像传感器的参数，和/或与相机相对于场景的物理位置和/或方位相关的参数。这些参数的知识可用于成像过程的各个方面。例如，校准参数的知识可以用于校正镜头失真，测量世界坐标中物体的大小，以及确定相机相对于场景的位置和/或方位。因此，一组相机校准参数的知识在各种应用中是有用的，包括例如导航系统、增强现实场景构建、3-D场景重建或机器人技术。校准参数可大致分为两组：外在(extrinsic)参数和固有(intrinsic)参数。外在参数定义了相机相对于场景的位置和方位。更具体地，外在参数可以定义相机参考系相对于世界参考系的位置和方位。也就是说，外在参数可以将相机坐标映射到世界坐标。相机坐标系或参考系的原点可方便地取在相机的光学中心。外在参数可以包括平移和旋转分量。固有参数可以将相机坐标映射到相机的成像平面(imageplane)。固有参数可以表示从相机的3D坐标到2D图像坐标的转换。固有参数可以另外将成像平面中的坐标映射到图像的像素坐标。因此，固有参数可以将相机参考系中的坐标映射到图像点的像素坐标。固有参数可以包括相机的焦距、光学中心(也被称为主点)、以及像素偏斜(skew)系数中的一者或多者。图1中示出了固有参数和外在参数之间关系的示意图。三角形物体101是具有在相对于三维世界坐标系或世界系(Xw，YW，ZW).指定的场景中的位置的场景中的物体。三角形105的顶点是场景点Pw，其具有由Pw＝(xw，yw，zw)给出的世界坐标系中的位置。相机(未示出)定义了三维相机坐标系或相机系(Xc，Yc，Zc)。相机系的原点是相机的光学中心或透视投影中心。相机具有与光学中心的距离为f的相关联的成像平面103，其中f是相机的焦距。成像平面内的点可以相对于被标记为(Xi，Yi)的二维成像平面坐标系(或成像平面系)来定义。成像平面系的原点可能与成像平面的质心一致。场景点Pw对应于具有由Pi＝(xi，yi)给出的成像平面系中的位置的相关联的图像点Pi。外在参数可以是定义了已知世界参考系(Xw，YW，ZW)和未知相机系(Xc，Yc，Zc)之间的转换的那些参数。在相机参考系中的场景点的位置被标记为Pc。因此，在该示例中，外在参数可以定义世界参考系中的场景点的位置(Pw＝(xw，yw，zw))与其在相机系中的位置(Pc＝(xc，yc，zc))之间的转换。固有参数可以定义相机参考系和成像平面参考系之间的转换(即，在相机参考系中定义的点的位置(Pc＝(xc，yc，zc))与其在成像平面系中的相关联位置(Pi＝(xi，yi))之间的映射)。因此可以理解的是，关于必要的外在参数和固有参数两者的知识可以定义点Pw与Pi之间的映射或转换。固有参数还可以定义成像平面坐标和像素坐标之间的转换。可以相对于位于成像平面中的像素系来定义像素坐标。成像平面参考系和像素系之间的转换可能会导致伪像，例如，镜头失真和像素偏斜。获得校准参数值的一种方式是使用已知的校准图案(pattern)来执行校准。在该方法中，获取位于空间中的已知位置并具有已知几何形状的校准图案的一个或多个图像。然后使用这些图像以及校准图案的已知位置和几何形状来估计校准参数。这种方法存在这样的缺点：需要使用专用物理组件(即，校准图案)。此外，在校准过程中，相机不能用于其预期用途，因为它被限制为仅对校准图案进行成像。获得校准参数值的替代方法是根据由相机捕获的“真实”图像序列(即，相机在其预期使用期间捕获的图像序列)来估计校准参数值。在这方面，算法已被开发用于执行实时或每帧的相机校准。一个这样的算法的示例是即时定位与建图(SLAM)算法。
技术实现思路
根据本公开的一个方面，提供了一种校准相机的方法，包括：针对由相机捕获的序列中的帧执行第一校准，以计算这些帧的针对一组一个或多个相机参数的第一校准数据；针对序列中的所选帧执行第二校准，以根据这些帧的第一校准数据来计算所选帧的第二校准数据；以及在针对序列中的后续帧执行的第一校准中使用第二校准数据。第一校准可以是对序列中的帧执行的实时校准。第一校准可以对序列中的帧中的每一者执行。第二校准可以是非实时校准。该方法还可以包括选择用于第二校准的帧的步骤。可以根据这些帧的第一校准数据来选择用于第二校准的帧。还可以根据与这些帧相关联的图像元数据来选择用于第二校准的帧。可以通过周期性地选择帧来选择用于第二校准的帧。针对序列中的帧执行第一校准的步骤可以包括基于针对序列中的先前帧计算出的第一校准数据来执行增量校准。针对所选帧进行的第二校准可以使用序列中的多个历史帧的校准数据来确定该所选帧的第二校准数据。第二校准数据可被用于将校正施加到作为针对序列中的后续帧进行的第一校准的一部分而计算出的对校准数据的估计。可以根据所选帧的第二校准数据与该所选帧的第一校准数据的比较来确定校正的每一者。所选帧的第二校准数据可被用于将校正施加到作为针对序列中在该所选帧之后的一个或多个帧进行的第一校准的一部分而计算出的对校准数据的估计。针对序列中在该所选帧之后的所述一个或多个帧中的每一者，第一校准数据可以根据以下各项来确定：i)根据增量校准确定的对一组相机参数的估计；以及ii)根据所选帧的第二校准数据与该所选帧的第一校准数据的比较而确定的校正。校正可以被整体施加到对序列中在该所选帧之后的单个帧的校准数据的估计。校正可以被递增地施加到对序列中在该所选帧之后的多个帧的校准数据的估计。一组一个或多个校准参数可以包括相机的固有参数和/或外在参数。固有参数可以包括以下各项中的至少一者：焦距、相机的光学中心、径向失真参数、和像素偏斜系数。外在参数可以包括以下各项中的至少一者：相机的位置、相机的方位、和相机的姿势(pose)。根据本公开的另一方面，提供了一种用于对捕获帧序列的相机进行校准的装置，该装置包括：第一校准单元，该第一校准单元被配置为针对序列中的帧执行第一校准，以计算这些帧的针对一组一个或多个相机参数的第一校准数据；以及第二校准单元，被配置为针对序列中的所选帧执行第二校准，以根据这些帧的第一校准数据来计算所选帧的第二校准数据；其中，第一校准单元被配置为使用第二校准数据来针对序列中的后续帧执行第一校准。第一校准单元可以包括被配置为选择用于第二校准的帧的选择器单元。选择器单元可以被配置为根据这些帧的第一校准数据来选择用于第二校准的帧。选择器单元可以被配置为还根据与这些帧相关联的图像元数据来选择用于第二校准的帧。选择器单元可以被配置为通过周期性地选择帧来选择用于第二校准的帧。第一校准单元可以被配置为作为针对序列中的帧进行的第一校准的一部分来基于针对序列中的先前帧计算出的第一校准数据而执行针对该帧的增量校准。第二校准单元可以被配置为使用序列中的多个历史帧的校准数据来计算序列中的所选帧的第二校准数据。第一校准单元可以包括：校正单元，该校正单元被配置为使用所选帧的第二校准数据来计算校正；以及校准计算单元，该校准计算单元被配置为作为针对序列中的后续帧进行的第一校准的一部分而计算估计的校准数据，并对这些估计施加校正。本文档来自技高网...

【技术保护点】
1.一种用于对捕获帧序列的相机进行校准的装置，所述装置包括：第一校准单元，该第一校准单元被配置为针对所述序列中的帧执行第一校准，以计算这些帧的针对一组一个或多个相机参数的第一校准数据；以及第二校准单元，该第二校准单元被配置为针对所述序列中的所选帧执行第二校准，以根据这些帧的所述第一校准数据来计算这些帧的针对所述一组一个或多个相机参数的第二校准数据；其中，所述第一校准单元被配置为使用所述第二校准数据来针对所述序列中的后续帧执行所述第一校准。

【技术特征摘要】
2017.03.29 GB 1705045.11.一种用于对捕获帧序列的相机进行校准的装置，所述装置包括：第一校准单元，该第一校准单元被配置为针对所述序列中的帧执行第一校准，以计算这些帧的针对一组一个或多个相机参数的第一校准数据；以及第二校准单元，该第二校准单元被配置为针对所述序列中的所选帧执行第二校准，以根据这些帧的所述第一校准数据来计算这些帧的针对所述一组一个或多个相机参数的第二校准数据；其中，所述第一校准单元被配置为使用所述第二校准数据来针对所述序列中的后续帧执行所述第一校准。2.根据权利要求1所述的装置，其中，所述第一校准是对所述序列中的帧执行的实时校准。3.根据权利要求1或2所述的装置，其中，所述第一校准是对所述序列中的所述帧中的每一者执行的。4.根据权利要求1或2所述的装置，其中，所述第二校准是非实时校准。5.根据权利要求1或2所述的装置，其中，所述第一校准单元包括选择器单元，该选择器单元被配置为选择用于所述第二校准的帧。6.根据权利要求5所述的装置，其中，所述选择器单元被配置为根据这些帧的所述第一校准数据来选择用于所述第二校准的帧。7.根据权利要求6所述的装置，其中，所述选择器单元被配置为还根据与这些帧相关联的图像元数据来选择用于所述第二校准的帧。8.根据权利要求5所述的装置，其中，所述选择器单元被配置为通过周期性地选择帧来选择用于所述第二校准的帧。9.根据权利要求1或2所述的装置，其中，所述第一校准单元被配置为，作为针对所述序列中的帧进行的所述第一校准的一部分来基于针对所述序列中的先前帧计算出的所述第一校准数据而执行针对所述帧的增量校准。10.根据权利要求1或2所述的装置，其中，所述第二校准单元被配置为使用所述序列中的多个先前帧的校准数据来计算所述序列中的所选帧的所述第二校准数据。11.根据权利要求1或2所述的装置，其中，所述第一校准单元包括：校正单元，被配置为使用所选帧的所述第二校准数据来计算校正；以及校准计算单元，被配置为作为针对所述序列中的后续帧进行的所述第一校准的一部分而计...

【专利技术属性】
技术研发人员：狄默思·史密斯，
申请(专利权)人：畅想科技有限公司，
类型：发明
国别省市：英国,GB