使用平面镜校准立体成像系统的方法和计算机程序产品技术方案

一种通过使用至少一个相机和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，该方法包括以下步骤：‑通过所述至少一个相机获取至少两个图像(S200)，每个图像从不同的相机位置拍摄并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获取物体的多个视图，‑在每个图像中找到图像拍摄相机的镜像视图的影像的中心(S202)，‑获取所述至少一个相机的像素焦距(S204)，‑从图像拍摄相机的镜像视图的中心确定平面镜的法向量的方向(S206)‑对于每个图像，通过使用(i)相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)相机设备的镜像视图的对应点的坐标，确定相机和平面镜之间的距离(S208)，‑通过使用镜平面的法线的方向和距离以及相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程(S210)，‑定义镜平面的向上向量(S212)，‑在镜平面中选择参考点(S214)，‑定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴(S216)，‑对于每个图像，分别确定从图像拍摄相机的坐标系到镜坐标系的坐标变换(S218)，‑对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换(S219)，和‑对于任何一对图像，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换(S220)。

【技术实现步骤摘要】
【国外来华专利技术】使用平面镜校准立体成像系统的方法和计算机程序产品
本专利技术总体上涉及经校准的立体图像的生成。尤其是，本专利技术涉及通过使用平面镜来生成经校准的立体图像的方法和执行上述方法的计算机程序产品。
技术介绍
相机与一场景中一空间点之间的距离，可以根据示出了该同一点的两个或更多个相关图像中该点的位置来确定或较好地估计出，其中，该场景是静止的或者这些相关图像是同时拍摄的。如果该场景中布置有一个或多个平面镜，且上述图像中的一些是对着平面镜拍摄的，则仍然可以进行距离计算。当图像记录装置的空间位置与反射表面(例如镜子)的空间位置和特定参数之间的关系已知时，可以根据基本几何关系计算出一点的三维(threedimensional，3D)位置。利用反射表面从多个图像计算未知距离的挑战称为折反射立体视觉。在J·格卢克曼(J.Gluckman)和S·K·纳亚(S.K.Nayar)所著的：使用平面镜的折反射立体(CatadioptricStereoUsingPlanarMirrors)(国际计算机视觉杂志(InternationalJournalonComputerVision)，44(1)，65-79页，2001年8月)中，详细描述了折反射立体图像生成的基本理论。在该文中介绍了包括一个相机和一个平面镜的图像拍摄设置，其中相机和平面镜的相对位置是已知的，因此不需要校准。该方法得出一物体在真实相机视图中的体3D(volumetric3D)表示。在胡(Hu)等人的文章“使用镜子的多视图3D重建(‘Multiple-view3-DReconstructionUsingaMirror’)”(ftp：//ftp.cs.rochester.edu/pub/papers/robotics/05.tr863.Multiple-view_3-d_reconstruction_using_a_mirror.pdf)中，一静止的相机和一平面镜用于多视图三维物体重建。该平面镜与相机之间的距离是通过单个物点、以及物体的镜像视图的一对点来获得的。在拍摄的图像中搜索该相机的镜像，然后使用该虚拟相机的核点来确定虚拟相机与真实相机之间的空间关系。然而，如果真实物体在拍摄的图像中不可见，则该方法不能用于3D物体重建。库默(Kumar)等人的文章“利用镜子的非重叠相机的简易校准”(‘Simplecalibrationofnon-overlappingcameraswithamirror)(http：//frahm.web.unc.edu/files/2014/01/Simple-Calibration-of-Non-overlapping-Cameras-with-a-Mirror.pdf)，介绍了相机组的校准方法。尽管该方法也使用这些相机的镜像，但它不使用真实物体的图像，因此需要至少五个图像以便恢复真实相机的位置和朝向。对立体(或多视图)相机系统进行校准是一项复杂的任务。通常，它需要在拍摄的图像中找到几个对应点，然后解决具有六到八个参数(取决于相机的焦距是否已知)的非线性优化问题。在我们提出的方法中，可以通过将上述优化问题简化成两个独立的、更简单的优化问题来实现校准，每个优化问题具有三个或四个参数(取决于焦距是否已知)。由于将一个复杂的计算分解为了两个更简单的计算，因此本专利技术的方法比已知的校准方法更快、更可靠且更稳固。文献EP2866466被认为是最接近的现有技术。该文献公开了一种包括镜子的多相机设置，用于生成经校准的立体图像。在该解决方案中，假设不同相机的坐标系之间的变换是已知的，且这些相机中只有一个面向镜子。面向镜子的主相机拍摄一图像，该图像也示出了该相机本身。然后使用拍摄的图像中该主相机的位置来确定该主相机的实际位置。一旦确定了该主相机的实际位置，就可以进行该主相机和其他相机之间的已知坐标变换。在此设置中，使用静止的相机来拍摄图像。该解决方案具有以下缺陷：-对于立体图像生成和系统的校准过程，其需要至少两个相机，其中一个相机面向镜子并对物体的镜像视图和该相机本身的镜像视图进行观测，以及-必须预先知道每对相机之间的坐标变换。本专利技术的一个目的是提供一种用于校准立体成像系统的改进方法，其至少部分地消除了已知校准过程的缺陷。本专利技术的校准方法的核心思想是，通过使用一个或多个拍摄的图像内的至少一个相机的镜像视图以及一物体的多个(不同)镜像视图，即使预先不知道镜坐标系，也可以容易地确定真实空间中一点相对于镜坐标系的3D坐标。另外，通过选择均出现在一个或多个拍摄的图像中的两个空间点，可以基于所选的这两个点对应的图像点确定这两个点之间的实际距离。这些或其他目的通过提供根据本专利技术的方法来实现。根据本专利技术的校准方法的关键特征包括以下步骤：通过使用拍摄的图像找到参考坐标系，然后确定参考坐标系和相机坐标系之间的变换。选择参考坐标系，使得其原点和两个轴位于镜平面中，所述两个轴中的一个是竖直的。由相机自身拍摄的图像中示出的其镜像视图，可以容易地由示出该相机的单个图像确定该镜平面。利用相机的重力传感器，可以在该镜平面中定义竖直方向，从而获得镜坐标系的垂直轴y。因此，可以为每个图像获得适当定向的镜坐标系。然后可以根据任意图像对，容易地计算出参考坐标系与多个镜坐标系(根据不同图像确定)之间的变换。在本专利技术的第一种校准方法中，在镜平面中任意选择参考坐标系的原点(它可以是任何镜坐标系的原点或平面镜本身上的任何用户选择的点)。在本专利技术的第二种校准方法中，其中使用单个相机，参考点是立体图像的核点。
技术实现思路
本专利技术的第一方面，提供了一种通过使用至少一个相机和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，该方法包括以下步骤：-通过所述至少一个相机获得至少两个图像，每个图像从不同的相机位置拍摄并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获得该物体的多个视图，-在每个图像中找到图像拍摄相机的镜像视图的影像的中心，-获得至少一个相机的像素焦距，-根据图像拍摄相机的镜像视图的中心确定所述平面镜的法向量的方向，-对于每个图像，通过使用(i)相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)所述相机设备的镜像视图的对应点的坐标，确定相机和平面镜之间的距离，-通过使用镜平面的法线的方向和距离以及相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程，-定义所述平面镜的平面的向上向量，-在所述平面镜的平面中选择参考点，-定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴，-对于每个图像，分别确定从图像拍摄相机的坐标系到镜坐标系的坐标变换，-对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换，和-对于任何一对图，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换。本专利技术的第二方面，提供了一种通过使用由相机设备承载的一个相机、以及平面镜来校准立体成像系统的方法，所述方法包括以下步骤：-获得由所述相机拍摄的一个图像，所述图像包含一物体的影像，所述物体的镜像视图的影像和用于拍摄所述图像的相机的镜像视图的影像，从而获得所述物体的多个视图，-在所述图像中找到所述相机的镜像视图的影像的中心，-获取所述相机的本文档来自技高网...

【技术保护点】
1.一种通过使用至少一个相机、和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，所述方法包括以下步骤：‑通过所述至少一个相机获取至少两个图像(S200)，每个图像从不同的相机位置拍摄，并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获得所述物体的多个视图，‑在所述至少两个图像中的每个中找到图像拍摄相机的镜像视图的影像的中心(S202)，‑获取所述至少一个相机的像素焦距(S204)，‑根据所述图像拍摄相机的镜像视图的中心确定所述平面镜的法向量的方向(S206)‑对于所述至少两个图像中的每个，通过使用(i)所述相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)所述相机设备的镜像视图的对应点的坐标，确定所述相机和所述平面镜之间的距离(S208)，‑通过使用所述平面镜的平面法线的方向和距离以及所述相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程(S210)，‑定义所述平面镜的平面的向上向量(S212)，‑在所述平面镜的平面中选择参考点(S214)，‑定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴(S216)，‑对于每个图像，分别确定从所述图像拍摄相机的坐标系到镜坐标系的坐标变换(S218)，‑对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换(S219)，和‑对于任意一对图像，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换(S220)。...

【技术特征摘要】
【国外来华专利技术】2016.03.07 EP 16462003.11.一种通过使用至少一个相机、和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，所述方法包括以下步骤：-通过所述至少一个相机获取至少两个图像(S200)，每个图像从不同的相机位置拍摄，并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获得所述物体的多个视图，-在所述至少两个图像中的每个中找到图像拍摄相机的镜像视图的影像的中心(S202)，-获取所述至少一个相机的像素焦距(S204)，-根据所述图像拍摄相机的镜像视图的中心确定所述平面镜的法向量的方向(S206)-对于所述至少两个图像中的每个，通过使用(i)所述相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)所述相机设备的镜像视图的对应点的坐标，确定所述相机和所述平面镜之间的距离(S208)，-通过使用所述平面镜的平面法线的方向和距离以及所述相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程(S210)，-定义所述平面镜的平面的向上向量(S212)，-在所述平面镜的平面中选择参考点(S214)，-定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴(S216)，-对于每个图像，分别确定从所述图像拍摄相机的坐标系到镜坐标系的坐标变换(S218)，-对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换(S219)，和-对于任意一对图像，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换(S220)。2.如权利要求1所述的方法，其中，所述向上向量是通过将重力向量在所述平面镜的平面上进行投影获得的。3.如权利要求1所述的方法，其中，所述向上向量是通过在所述至少一个图像中选择相应的点对来获得的。4.如权利要求1-3中所述的方法，其中，所述相机设备是移动电话、智能电话、平板手机、平板电脑、笔记本电脑、数码相机或类似物中的任意一种。5.一种通过使用由相机设备承载的一个相机、以及平面镜来校准立体成像系统的方法，所述方法包括以下步骤：-获取所述相机拍摄的一个图像(S300)，所述图像包含一物体的影像，所述物体的镜像视图的影像和用于拍摄所述图像的相...

【专利技术属性】
技术研发人员：彼得·托马，
申请(专利权)人：勒特奥瑞恩利迪有限公司，
类型：发明
国别省市：匈牙利,HU