用于相机校准的方法、系统和计算机可读介质技术方案

本发明专利技术提供了一种用于通过使用多图案校准台架来校准相机的方法、系统和计算机可读介质，每个图案(123)是重复的并且包括校准形状(124)，该方法包括以下步骤：‑利用相机捕捉多图案校准台架的图像(126)，‑分割经成像的校准形状(124)的轮廓，‑基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓的编组，以及‑基于轮廓编组标识图像(126)中的每个图案(123)的位置。

Methods, systems and computer-readable media for camera calibration

【技术实现步骤摘要】
【国外来华专利技术】用于相机校准的方法、系统和计算机可读介质
本公开涉及一种用于通过使用多图案(multi-pattern)校准台架(rig)进行相机校准的方法、系统和计算机可读介质。应用相机校准的非限制性示例是车辆的相机校准，并且更具体地，是在组装期间校准自动驾驶车辆的相机。
技术介绍
近年来，基于相机的应用已在诸如安全系统、交通监视、机器人技术、自动驾驶车辆等众多领域中日益普及。在运行基于机器视觉的应用时进行相机校准是不可避免的。相机校准是一种获得相机参数以(在数学上且准确地)确定如何将三维(3D)环境投影到相机的二维(2D)图像平面上而不受任何透镜失真影响的过程。相机参数可以是例如焦距、偏斜、失真等。通常，相机参数是通过从不同视图捕捉校准图案的多个图像来被确定的。然后在所捕捉的图像上检测校准图案中某些关键点的投影(诸如，棋盘格图案情形中的内部拐角)。接着，所投影的校准图案的关键点被常规相机校准算法用于校准相机。存在各种数学模型，例如，用于具有窄视场的相机的OpenCV针孔相机模型(OpenCV开发团队，2016年，相机校准和3D重建；可在以下找到http://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html)、用于折反射和鱼眼(fisheye)相机的OCam-Calib模型(DavideScaramuzza，2006年，OCamCalib：Matlab全向相机校准工具箱；可在以下找到：https://sites.google.com/site/scarabotix/ocamcalib-toolbox)等等，这些数学模型使用不同种类的相机参数以供相机校准。如上面提到的，最广泛使用的相机校准方法对从校准图案的多个视图获取的图像进行处理。然而，捕捉此类图像的序列可能花费过长时间，并且可能过于复杂而无法适用于量产工厂。相机校准算法通常需要一个校准图案的约10-30幅图像。在拍摄照片之后获取多幅图像并多次适当地重定位校准图案(或相机)是耗时的，并且需要相机操作员全神贯注。常规的图案检测算法采用拐角检测来在所捕捉的图像内定位校准对象。这些图案检测算法被设计成仅检测包含特定校准图案的单个格(board)。附加地，检测经常由于照明变化和在图像捕捉过程期间存在的噪声而失败。通常被用于校准相机的校准图案的一个示例是棋盘格。棋盘格的拐角和边缘是两个最重要的特征。被用于检测棋盘格的拐角的典型方法包括Harris&Stephens拐角检测算法、最小单值段同化核(SUSAN)拐角检测算法、X拐角检测算法等。可以对边缘使用霍夫(Hough)变换来标识一组合适的线并定位棋盘格图案。用于定位棋盘格的另一种办法是基于针对棋盘格的特定大小计算棋盘格的图像中的内孔的计数。可以对输入图像应用形态学操作以检测轮廓，并且层次树是从这些轮廓来被构建。当具有预定数目的孔的轮廓被找到时，棋盘格被认为是被正确地标识。另一广泛使用的校准图案是椭圆，然而在该情形中不存在拐角和线。以最少的人为干预操作的自动驾驶车辆可被用于运送人员和对象。通常，一些自动驾驶车辆需要来自操作员的初始输入，而一些其他的自动驾驶车辆设计则处于持续的操作员控制之下。一些自动驾驶车辆可以完全通过遥控来操作。常规的自动驾驶车辆配备有多个相机，以促成对自动驾驶车辆的操作的控制。因此，每个相机将被校准以确保自动驾驶车辆的可靠且安全的操作。在US6,768,509B1中公开了一种用于确定相机校准对象(优选地，棋盘格图案)的图像上的感兴趣的点的方法。校准形状的轮廓为此被提取，然而，已知的方法不适用于利用多个校准图案进行校准。在US2016/0073101A1中已经公开了多相机系统的校准。所公开的多目标相机校准通过使用捕捉多个目标的一个或多个图像的多个相机来达成。多格(multi-board)目标的图像也可以被捕捉。然而，一次捕捉仅一个棋盘格的图像。这些已知的技术包括通过按各个格相对于其他格的位置标识各个格来将多格目标的每个棋盘格缝合在一起。多格目标的每个棋盘格可以被个体地捕捉，并且随后在其他棋盘格被捕捉时被抑制。接着，棋盘格图像可以基于它们的相对位置来被缝合在一起以供校准。因而，已知的系统并不消除上面提到的个体图案处理的缺陷。一旦多个校准图案在图像中被捕捉，并且这些图案在图像中的位置被确定，相机便可以借助于已知技术(例如，借助于以下所公开的那些技术)来被校准：-ZhengyouZhang(2009)；一种用于相机校准的灵活的新技术；针对模式分析与机器智能的IEEE交易汇刊，22(11)，第1330-1334页；-Jean-YvesBouguet(2015)；Matlab相机校准工具箱；可在以下找到：http://www.vision.caltech.edu/bouguetj/calibdoc/；-Scaramuzza,D.,Martinelli,A.和Siegwart,R.(2006)；用于轻松校准全向相机的工具箱；IEEE国际智能机器人与系统会议(IROS2006)论文集。然而，现有技术缺乏通过允许对所捕捉的图像中的多个图案进行快速且可靠的位置确定来提高相机校准的速度的技术，特别是对在大批量制造中的组装期间的自动驾驶车辆而言。现有技术还缺乏在相机校准期间提高对噪声和照明变化的稳健性的技术。
技术实现思路
本专利技术的目的是解决和改善上面提到的现有技术中的缺陷。本专利技术的目的是通过使用多图案校准台架来校准至少一个相机－尤其是用于自动驾驶车辆的相机。提供了包括多个图案化的面板的校准目标。校准目标是保持图案化的面板的多面板(更确切地说是多图案)校准台架。多图案校准台架包括支撑结构，该支撑结构保持至少两个图案化的面板。图案化的面板设置有校准形状的任何种类的重复校准图案。在此上下文中，重复意指图案包括以规则间距布置的等同形状。例如，具有棋盘格图案的图案化的面板可以具有黑色或白色方形，具有圆形网格的图案化的面板可以具有黑色或白色圆圈，等等。安装在自动驾驶车辆中的相机捕捉多图案校准台架的图像。因此，包括等同和/或不同重复校准图案的多个图案化的面板在单个输入图像中被捕捉。在一示例中，校准台架可以被定位在距自动驾驶车辆例如约10米的距离处。由相机捕捉的输入图像优选地被预处理以从输入图像的背景分割校准形状的图像。例如，自适应阈值化技术可被用于通过移除照明中的变化来分割校准形状。校准形状被分割并且优选地也被过滤以提取经成像的校准形状的轮廓。不满足基于轮廓的属性的先验要求的失真的轮廓被过滤出去。此外，可以基于轮廓的形状、轮廓的大小等来过滤轮廓。例如，任何形状的轮廓都可以被过滤成小或大的轮廓；成圆形的轮廓可以被过滤成细长的、部分圆形的、或非圆形的轮廓，等等。接下来，基于诸轮廓的形状和相对距离来从诸轮廓构建编组(“相干轮廓”)。这些编组是基于对重复图案的先验知识而形成的。优选地，所形成的编组的一组边界被输出以供标识输入图像中本文档来自技高网...

【技术保护点】
1.一种用于通过使用多图案校准台架(152)来校准相机(210、211、212、213、214)的方法，每个图案(123)是重复的并且包括校准形状(124)，所述方法包括以下步骤：/n-利用所述相机(210、211、212、213、214)捕捉所述多图案校准台架(152)的图像(126)，以及/n-分割经成像的校准形状(124)的轮廓(162)，/n其特征在于以下进一步的步骤：/n-基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓(162)的编组(172)，以及/n-基于所述轮廓编组(172)标识所述图像(126)中的每个图案(123)的位置(182)。/n

【技术特征摘要】
【国外来华专利技术】20170705 US 15/641,4911.一种用于通过使用多图案校准台架(152)来校准相机(210、211、212、213、214)的方法，每个图案(123)是重复的并且包括校准形状(124)，所述方法包括以下步骤：
-利用所述相机(210、211、212、213、214)捕捉所述多图案校准台架(152)的图像(126)，以及
-分割经成像的校准形状(124)的轮廓(162)，
其特征在于以下进一步的步骤：
-基于诸轮廓的形状的相似度及它们彼此之间的距离来构建相干轮廓(162)的编组(172)，以及
-基于所述轮廓编组(172)标识所述图像(126)中的每个图案(123)的位置(182)。


2.根据权利要求1所述的方法，其特征在于，确定所述形状的相似度包括通过以下来确定它们各自的面积的相似度：
-计算所述轮廓(162)的面积，
-将一个轮廓(162)的面积与另一轮廓(162)的面积进行比较，以及
-如果所述面积中较小的一个面积大于另一面积的预定分数，则确定所述面积是类似的。


3.根据权利要求2所述的方法，其特征在于，如果至少以下条件被满足，则各自具有其相应面积和带有相应半径的封闭圆的任何两个轮廓(162)属于相同的编组(172)：
-这两个面积中较小的一个面积大于另一面积的50％，
-这两个半径中较小的一个半径大于另一半径的50％，以及
-所述轮廓(162)的最接近的点的距离小于这两个半径中较大的一个半径的150％。


4.根据权利要求3所述的方法，其特征在于，如果在编组(172)中的所述轮廓(162)的数目与相应的图案(123)内的所述校准形状(124)的数目相差不超过10％的情况下，所述编组(172)被接受作为有效编组(172)。


5.根据权利要求4所述的方法，其特征在于，标识所述图像(126)中的每个图案(123)的位置包括：
-为所述编组的每一者生成凸包，以及
-将每个图案(123)的所述凸包(183)的位置标识为所述图像(126)中的相应图案(123)的位置。


6.根据权利要求1所述的方法，其特征在于，预处理步骤在分割所述轮廓(162)之前针对所捕捉的图像(126)来执行，所述预处理步骤包括：
-从所述图像(126)的其他部分分割经成像的...

【专利技术属性】
技术研发人员：Z·费吉韦尔，K·瓦尔塞吉，
申请(专利权)人：智动科技有限公司，
类型：发明
国别省市：匈牙利;HU