用于相机校准误差的运行时测定的系统和方法技术方案

本发明专利技术提供了相机校准误差（精确度）运行时测定（自我诊断）的系统和方法，典型地涉及相机外部参数，基于场景中所收入对象的运行时调准分数的历史统计数据，基于与已训练的对象模型的观测和预期的图像数据的匹配而定义这些分数。这样的安排避免了为诊断系统（一个或多个）相机是否保持被校准而终止视觉系统的运行时操作和/或停止由视觉系统支持的生产线的需求。假设由视觉系统检验的对象或特征随时间大致相同，则视觉系统积累部分校准结果的统计数据并存储中间结果用作当前系统精确度的指标。对于多相机视觉系统来说，说明性地利用交叉验证来识别个别有问题的相机。该系统和方法允许更快、更廉价和更直接的与恶化的相机校准有关的视觉系统故障诊断。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及到视觉系统且更具体的涉及视觉系统相机的校准。
技术介绍
机器视觉系统通常应用于工业中以确定关于预设的二维(2D)或三维(3D)坐标空间的部件和对象校准。这些系统采用各种技术和程序，通常基于已训练的对象模型，以确定对象的对准。相机校准是计算机视觉的一个重要步骤——在二维(2D)和三维(3D)成像系统中皆是。相机校准包含对被称为外部和内部参数的相机位置和镜头特性的建模。相机校准可以在单个相机或如包括一个或多个立体摄像头的系统的多相机配置中施行。立体摄像 头和其他形式的3D传感器能够产生一个对象的3D深度的图像。这些相机的校准确定了所观测2D图像空间与3D世界之间的关系。在相机校准之后，3D信息可以从2D计算机图像坐标中推断出来，同样的，2D图像坐标也可以从3D信息中推断。更具体的是，相机校准包含对图像形成系统建模，建模是通过估计内置几何和光学相机特性(内在参数，其中包括有效焦距，或图像平面到投影中心距离，镜头畸变系数，X的缩放因数，相机的扫描和采集时间误差，图像平面原点的计算机图像坐标)及相对于一限定的世界坐标系统(外部参数)的相机3D位置和方向。相机的内部和外部(通常被称为相机校准参数)是用于运行时调准或检查任务，以移除镜头畸变和解释在3D空间中所观测的2D图像的特征点。相机校准的精确度直接影响视觉系统的性能。在围绕包含一个对象的场景的一个或多个分别的有利点，一个或多个2D或3D相机的使用可以为产生一个该主体对象关于世界坐标空间的整体图像提供优势。通过结合不同相机的图像，该对象某些部分中可能发生在一个或多个图像上的各种遮挡和障碍可被其他有利点获取的图像所补偿。因此，在所有情况下，特别是在视觉系统可以使用多个2D或2D相机时，相机校准的精确度对视觉系统的整体性能来说至关重要。然而，相机校准通常被认为是一种一次性的视觉系统设置过程。它通常由技术人员执行，他们明显比典型的运行时用户具有更多视觉系统的知识——运行时用户往往是生产线上的工人和他们的管理者。通常情况下，在系统校准后，相机参数在被这些运行时用户重复使用于机器视觉任务中时没有考虑到当前校准的真实精确度。校准是一个艰巨而耗时的任务，由熟练的技术人员承担，因此它最好只在有实际需要时执行。然而，当视觉系统工作在不利的环境运行时，比如生产线中，实际相机位置和镜头畸变可能会由于热膨胀、振动、无意中焦点的变化等等而改变。因此，如果相机校准不再代表所观测2D图像和3D世界之间的关系，机器视觉应用程序是次最佳地运行的。此外，即使机器视觉应用程序正在次最佳地运行，由于相机校准误差，也可能难以追查该应用程序性能恶化的根本原因。相机校准的周期性检验可以帮助确保相机在可接受的校准参数下运作，并避免执行不必要的校准程序，或者相反的，避免继续操作已失准的相机。一种用于周期性检验相机校准的新颖有效的方法，适用单一或多个二 2D或3D相机，在美国专利申请序列号12/346773，题为“视觉系统中的相机校准检验的系统和方法(SYSTEMAND METHODFORVALIDATING CAMERA CALIBRATION IN A VISION SYSTEM)” 中教导，由 Xiangyue Ye 等人发表，其技术将作为有用的背景信息以引用的方式并入本文中。简而言之，这种检验程序需要使相机系统脱离运行时操作并将校正目标放置到相机的视域中。检验程序之后就使用该目标执行，通常由系统运行时操作员而不是校准技术员执行。这一程序产生了当前的内部和(在多相机系统情况下的)外部参数。内部参数包括有效焦距，或图像平面到投影中心距离，镜头畸变系数，X的缩放因数，由于相机的扫描和采集时间误差产生的已获得图像的原点移位。外部参数通常是由该相机关于一个限定的世界坐标系统的3D位置和方向所定义。这些当前参数通过已存储的、设置时的内部和外部参数来分析，以确定是否相机系统和/或其中个别相机仍保持在可接受的校准范围之内。这一检验过程大大缩短了系统停机 时间，因为该检验过程只需要一小部分校准时间，而且只有当检验过程表明该相机“失准”时才需执行再校准。同样，它可以由系统运行时操作员执行。虽然如此，这种方法仍需要该系统在检验过程执行时停止生产。执行检验的频率可能产生问题，因为过于频繁的检验需要视觉系统更多的停机时间，从而降低了生产线的生产量。相反的，过少的检验可能使3D视觉系统承担恶化的相机校准的过度的伪拒绝/伪接受的风险。因此很需要提供一个使系统在运行时不需要采取脱机方式也无需由系统操作员承担的单独检验过程即可诊断相机系统的校准的系统和方法。。这样一个系统和方法应允许频繁验证，该频繁验证更好地确保不会因失准的相机系统而产生错误读数。
技术实现思路
本专利技术提供了用于相机校准误差(精确度)的运行时测定(自我诊断)的系统和方法，典型地涉及相机外部参数，基于场景中所获得对象的运行时测量的历史统计数据。运行时测量的一个例子是调准分数，其基于与已训练的对象模型的观测以及预期的图像数据的匹配而定义。这样的安排避免了为诊断系统(一个或多个)相机是否保持被校准而终止视觉系统的运行时操作和/或停止由视觉系统支持的生产线的需求。假设由视觉系统检验的对象或特征随时间大致相同，则视觉系统积累部分校准结果的统计数据并存储中间结果用作当前系统精确度的指标。对于多相机视觉系统来说，说明性地利用交叉验证来识别个别有问题的相机。该系统和方法允许更快、更廉价和更直接的与恶化的相机校准有关的视觉系统故障诊断。在一个说明性实施例中，由多个相机组成的系统，说明性地包含三个或多个相机，是从离散的有利点对准一个场景。所述至少三个相机首先被校准，其中包括为至少三个相机的每个查找各自的外部校准参数。第一对象特征或该对象整体(或其中一部分)是利用所述至少三个相机中的第一多数在三维空间中被发现的。然后将推导出该第一对象特征的第一次测量值或第一对象位姿。第二对象特征或该对象的整体(或其一部分)是利用所述至少三个相机中的第二多数在三维空间中被发现的。然后将推导出该第二对象特征的第二次测量值或第二对象位姿。所发现的第一特征可能大体上类似所发现的第二特征，或两者可能不同并且被已知物理维度所分离。之后第一次测量值和第二次测量值会相对于以下参数中至少一个而相比较(i)在校准过程中确定的精确度，(ii)所需的系统精确度，以及(iii)两种特征的已知属性。说明性地，第一次测量值包括第一特征的第一位置的估计而第二次测量值包括第二特征的第二位置的估计。第一次测量值可以包括成功发现第一特征的得分，而第二次测量值可以包含成功发现第二特征的得分。在一个实施例中，比较的步骤或过程包括计算第一测量值和第二次测量值之间的差异并将差异与下列中至少一个相比较(i)在校准过程中确定的精确度，(ii)所需的系统精确度，以及(iii)所述对象的已知属性。在说明性实施例中，为响应比较的步骤或过程，发出一个信号，基于比较超越以下至少其一的步骤的结果而指示所需的再校准(i)步骤a中确定的精确度，及(ii)所需的系统精确度。这可以包括基于上 述比较产生新外部校准参数，并提供外部校准参数给至少三个相机中的一个，以再校准所述至少三个相机中的该至少一个。说明性地，所述至少三个相机的系统可包括机器视觉系统检测功能本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：叶芗芸，D·Y·李，G·什瓦拉姆，D·J·迈克尔，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：