用于执行扫描系统的自动相机校准的方法和系统技术方案

本公开涉及用于执行扫描系统的自动相机校准的方法和系统。具体而言，提出了一种用于执行自动相机校准的系统和方法。该系统与第一相机和第二相机通信，其中透明平台设置在这两个相机之间。当3D校准图案设置在平台上时，系统从第一相机接收第一组校准图像，并从第二相机接收第二组校准图像。系统基于第一组校准图像确定多面体的角的第一组坐标。系统还基于第二组校准图像确定这些角的第二组坐标。系统基于坐标确定第一相机和第二相机之间的空间关系。系统还使用空间关系的描述来生成除3D校准图案以外的物体的3D模型。

Method and system for performing automatic camera calibration of scanning system

【技术实现步骤摘要】
用于执行扫描系统的自动相机校准的方法和系统本申请是申请日为2019年9月12日、题为“用于执行扫描系统的自动相机校准的方法和系统”的中国专利申请201910861338.9的分案申请。
本专利技术涉及用于执行扫描系统的自动相机校准的方法和系统。
技术介绍
物体扫描已被用于确定物体的特征，诸如其形状。物体扫描的一些实现方案依赖于由相机获取的物体的图像。在一些情况下，物体扫描的结果已被用于生成物体的三维(3D)模型。3D模型可以用在自动化情境中，诸如机器人与物体交互的情境中。
技术实现思路
本文实施例的一个方面涉及一种方法、计算系统和具有用于执行自动相机校准的指令的非瞬态计算机可读介质。该计算系统包括通信接口和控制电路。通信接口被配置为与以下各项通信：(i)第一相机，(ii)第二相机，以及(iii)用于旋转透明并且设置在第一相机和第二相机之间的平台的致动器，其中第一相机指向平台的第一表面，并且第二相机指向平台的相对的第二表面。控制电路被配置为当三维(3D)校准图案设置在平台的第一表面上时执行相机校准。3D校准图案包括具有多个面的多面体，所述多个面包括第一组面和不是第一组面的一部分的附加面，并且3D校准图案包括设置在第一组面中的相应面上的第一组2D校准图案。相机校准通过以下方式来执行：经由通信接口从第一相机接收第一组校准图像，其中第一组校准图像捕获多面体的第一组面并且捕获分别设置在第一组面上的第一组2D校准图案，而不捕获多面体的附加面；以及经由通信接口从第二相机接收第二组一个或多个校准图像，其中第二组一个或多个校准图像捕获多面体的附加面。相机校准进一步通过以下方式来执行：基于第一组2D校准图案确定用于表示多面体的附加面的一组相应角的第一组坐标，其中第一组坐标是相对于第一相机的位置和朝向的；以及基于第二组一个或多个校准图像确定用于表示多面体的附加面的所述一组相应角的第二组坐标，其中第二组坐标是相对于第二相机的位置和朝向的。相机校准进一步通过以下来执行：基于第一组坐标和第二组坐标确定用于描述第一相机和第二相机之间的空间关系的变换函数。控制电路还被配置为在已执行相机校准之后并且当除3D校准图案以外的物体被设置在平台的第一表面上时，生成用于表示该物体的3D模型，其中3D模型是基于变换函数、基于经由通信接口从第一相机接收到的物体的图像，以及基于经由通信接口从第二相机接收到的物体的图像而生成的。附图说明本专利技术的前述和其它特征、目的和优点将从如附图所示的本专利技术的实施例的以下描述中变得清楚。并入本文并形成说明书的一部分的附图进一步用于解释本专利技术的原理并使相关领域的技术人员能够制造和使用本专利技术。附图不按比例绘制。图1A描绘了根据本文的实施例的与机器人操作系统通信的扫描系统的框图。图1B描绘了根据本文的实施例的扫描系统的部件的框图。图1C描绘了根据本文的实施例的被配置为执行相机校准的计算系统的框图。图1D和图1E描绘了根据本文的实施例的扫描系统的框图。图2描绘了图示根据本文的实施例的用于确定第一相机和第二相机之间的空间关系的方法的流程图。图3A描绘了根据本文的实施例的扫描系统的示例部件。图3B和图3C图示了根据本文的实施例的3D校准图案的多面体的面。图3D-3F图示了根据本文的实施例的作为3D校准图案的一部分的2D校准图案。图3G和图3H描绘了根据本文的实施例的扫描系统中的各种坐标系。图4A-4C描绘了根据本文的实施例的由第一相机生成的各种校准图像的示例。图5A-5D描绘了根据本文的实施例的由第二相机生成的各种校准图像的示例。具体实施方式以下详细描述本质上仅仅是示例性的，并不意图限制本专利技术或本专利技术的应用和用途。此外，无意受前述
、
技术介绍
、
技术实现思路
或以下具体实施方式中提出的任何明示或暗示的理论的约束。本文描述的实施例涉及确定第一相机和第二相机之间的空间关系，作为扫描系统的校准操作的一部分。在实施例中，扫描系统可以包括多个相机，这些相机可以从不同的角度获取物体的图像。图像可以用于生成物体的3D模型。在一些情况下，3D模型可以用于促进机器人与物体或物体所属的一类物体之间的交互。例如，物体可以是仓库中的包裹，并且机器人控制系统可以使用物体的3D模型来确定机器人臂如何可以拾取包裹。在实施例中，扫描系统的第一相机和第二相机可以查看物体的通常不重叠的相应区域。例如，扫描系统可以包括物体被放置在其上的透明平台。第一相机可以例如设置在透明平台的顶表面上方，并且可以指向为第一相机提供物体的透视图的方向。在这个示例中，第二相机可以例如设置在透明平台的底表面下方，并且可以指向为第二相机提供物体的底视图的方向。在以上示例中，第一相机可以被称为顶部相机，并且第二相机可以被称为底部相机。本文的实施例的一个方面涉及一种校准操作，该校准操作确定这种第一相机和这种第二相机之间的空间关系。稍后可以使用该空间关系来例如确定如何将由第一相机获取的图像与由第二相机获取的图像组合。在实施例中，可以利用设置在透明平台上的3D校准图案来执行校准操作。3D校准图案可以例如包括多面体和设置在该多面体的相应面上的多个2D校准图案。在一些情况下，校准操作可以涉及确定3D校准图案上的相应位置的第一组坐标(也称为用于表示3D校准图案上的相应位置的第一组坐标)，其中第一组坐标是相对于第一相机的位置和朝向的。校准操作还可以涉及确定相同的相应位置的第二组坐标(也称为用于表示相同的相应位置的第二组坐标)，其中第二组坐标是相对于第二相机的位置和朝向的。例如，相应位置可以是3D校准图案的多面体的底角的位置。可以基于底角的第一组坐标和相同底角的第二组坐标来确定第一相机和第二相机之间的空间关系。在一些情况下，第一相机的位置和朝向可以由第一相机的坐标系表示，并且第二相机的位置和朝向可以由第二相机的坐标系表示。在这些情况下，第一组坐标可以在第一相机的坐标系中，并且第二组坐标可以在第二相机的坐标系中。在实施例中，校准操作可以涉及通过确定3D校准图案的其它位置(例如，顶角)的坐标并且然后使用已知的关于3D校准图案的维度的信息确定第一组坐标来确定3D校准图案上的位置(例如，底角)的第一组坐标。例如，如果第一组坐标属于3D校准图案的多面体的底角，则这样的实施例可以涉及最初确定多面体的顶角的一组坐标，然后将多面体的底角的第一组坐标确定为与多面体的顶角分隔开多面体的已知维度(诸如多面体的每条边的已知尺寸)的坐标。在实施例中，校准操作可以涉及确定3D校准图案的3D模型。在一些情况下，3D模型可以包括描述虚构平面的信息，该虚构平面由3D校准图案的多面体的面定义，或者更一般地表示3D校准图案的多面体的面。即，虚构平面可以形成多面体的3D模型的至少一部分。在这样的实施例中，校准操作可以基于多面体的3D模型确定多面体的特定角(例如，顶面的角)的坐标。例如，该角的坐标可以被确定为多面体的至少三个虚构平面的交点。在实施例中，利用第二相机生成3D校准图案的图像(其可以被称为校准本文档来自技高网...

【技术保护点】
1.一种计算系统，包括：/n通信接口，被配置为与以下各项通信：(i)第一相机，(ii)第二相机，以及(iii)用于旋转透明的并且设置在第一相机和第二相机之间的平台的致动器，其中第一相机指向平台的第一表面，并且第二相机指向平台的相对的第二表面；以及/n控制电路，被配置为当三维(3D)校准图案设置在平台的第一表面上时执行相机校准，其中3D校准图案包括具有多个面的多面体，所述多个面包括第一组面和不是第一组面的一部分的附加面，并且3D校准图案包括设置在第一组面中的相应面上的第一组2D校准图案，其中相机校准通过以下操作来执行：/n经由通信接口从第一相机接收第一组校准图像，其中第一组校准图像捕获多面体的第一组面并且捕获分别设置在第一组面上的第一组2D校准图案，而不捕获多面体的附加面；/n经由通信接口从第二相机接收第二组一个或多个校准图像，其中第二组一个或多个校准图像捕获多面体的附加面；/n基于第一组2D校准图案确定用于表示多面体的附加面的一组相应角的第一组坐标，其中第一组坐标是相对于第一相机的位置和朝向的；/n基于第二组一个或多个校准图像确定用于表示多面体的附加面的所述一组相应角的第二组坐标，其中第二组坐标是相对于第二相机的位置和朝向的；以及/n基于第一组坐标和第二组坐标确定用于描述第一相机和第二相机之间的空间关系的变换函数，其中，控制电路还被配置为，在已执行相机校准之后并且当除3D校准图案以外的物体设置在平台的第一表面上时，生成用于表示所述物体的3D模型，其中所述3D模型是基于所述变换函数、基于经由通信接口从第一相机接收到的所述物体的图像，以及基于经由通信接口从第二相机接收到的所述物体的图像而生成的。/n...

【技术特征摘要】
20190709 US 16/506,6951.一种计算系统，包括：
通信接口，被配置为与以下各项通信：(i)第一相机，(ii)第二相机，以及(iii)用于旋转透明的并且设置在第一相机和第二相机之间的平台的致动器，其中第一相机指向平台的第一表面，并且第二相机指向平台的相对的第二表面；以及
控制电路，被配置为当三维(3D)校准图案设置在平台的第一表面上时执行相机校准，其中3D校准图案包括具有多个面的多面体，所述多个面包括第一组面和不是第一组面的一部分的附加面，并且3D校准图案包括设置在第一组面中的相应面上的第一组2D校准图案，其中相机校准通过以下操作来执行：
经由通信接口从第一相机接收第一组校准图像，其中第一组校准图像捕获多面体的第一组面并且捕获分别设置在第一组面上的第一组2D校准图案，而不捕获多面体的附加面；
经由通信接口从第二相机接收第二组一个或多个校准图像，其中第二组一个或多个校准图像捕获多面体的附加面；
基于第一组2D校准图案确定用于表示多面体的附加面的一组相应角的第一组坐标，其中第一组坐标是相对于第一相机的位置和朝向的；
基于第二组一个或多个校准图像确定用于表示多面体的附加面的所述一组相应角的第二组坐标，其中第二组坐标是相对于第二相机的位置和朝向的；以及
基于第一组坐标和第二组坐标确定用于描述第一相机和第二相机之间的空间关系的变换函数，其中，控制电路还被配置为，在已执行相机校准之后并且当除3D校准图案以外的物体设置在平台的第一表面上时，生成用于表示所述物体的3D模型，其中所述3D模型是基于所述变换函数、基于经由通信接口从第一相机接收到的所述物体的图像，以及基于经由通信接口从第二相机接收到的所述物体的图像而生成的。


2.如权利要求1所述的计算系统，其中通信接口还被配置为与以下各项通信：(i)指向平台的第一表面的第一光源，以及(ii)指向平台的第二表面的第二光源，其中平台设置在第一光源和第二光源之间，
其中第二组一个或多个校准图像包括至少一对校准图像，所述至少一对校准图像包括第一校准图像和第二校准图像；
其中控制电路被配置为，当执行相机校准时进行以下操作：
经由通信接口向第一光源和第二光源输出第一组一个或多个光源命令，以使第一光源被激活并且第二光源被停用，
经由通信接口向第二相机输出第一组一个或多个相机命令，以使第二相机在第一光源被激活并且第二光源被停用时生成所述至少一对校准图像中的第一校准图像，其中第一校准图像至少捕获多面体的附加面的轮廓，
经由通信接口向第一光源和第二光源输出第二组一个或多个光源命令，以使第二光源被激活并且第一光源被停用，以及
经由通信接口向第二相机输出第二组一个或多个相机命令，以使第二相机在第二光源被激活并且第一光源被停用时生成所述至少一对校准图像中的第二校准图像，其中第二校准图像捕获设置在附加面上并且是3D校准图案的一部分的附加2D校准图案，其中控制电路被配置为基于所述至少一对校准图像中的第一校准图像和第二校准图像来确定第二组坐标。


3.如权利要求2所述的计算系统，其中控制电路被配置为当第一相机和第一光源设置在平台的第一表面上方、第二相机和第二光源设置在平台的第二表面下方，并且3D校准图案的附加面与平台的第一表面接触时执行相机校准。


4.如权利要求2所述的计算系统，其中控制电路被配置为，当执行相机校准时进行以下操作：
基于所述至少一对校准图像中的第二校准图像，确定附加校准图案的相应角出现在第二校准图像中的一组像素区域；以及
也在所述一组像素区域内搜索所述至少一对校准图像中的第一校准图像，以识别附加面的所述一组相应角在第一校准图像中出现处的像素坐标，
其中所述一组相应角的第二组坐标是基于所述一组相应角在第一校准图像中出现处的像素坐标来确定的。


5.如权利要求2所述的计算系统，其中控制电路被配置为，当执行相机校准时进行以下操作：
基于在所述至少一对校准图像中的第一校准图像中捕获的附加面的轮廓来确定对多面体的附加面的所述一组相应角的第二组坐标的第一估计，
基于在第二校准图像中捕获的附加校准图案来确定描述由附加面形成的虚构平面的信息，
确定虚构平面与对第二组坐标的第一估计之间的相应偏差量，以及
基于相应偏差量确定对第二组坐标的第二估计，
其中所述变换函数是基于对第二组坐标的第二估计并基于第一组坐标来确定的。


6.如权利要求1所述的计算系统，其中第一组校准图像中的每个校准图像捕获第一组2D校准图案中的至少两个2D校准图案，并且其中控制电路被配置为，对于第一组校准图像中的每个校准图像进行以下操作：
从所述校准图像中提取第一图像部分，第一图像部分捕获所述至少两个2D校准图案中的第一2D校准图案，
存储描述第一2D校准图案的图案元素的信息，
通过从所述校准图像移除第一图像部分来生成更新后的校准图像，
从更新后的校准图像中提取另一图像部分，该另一图像部分捕获所述至少两个2D校准图案中的第二2D校准图案，以及
存储描述第二2D校准图案的图案元素的信息，其中控制电路被配置为基于描述所述至少两个2D校准图案中的第一2D校准图案的图案元素的存储信息和描述所述至少两个2D校准图案中的第二2D校准图案的图案元素的存储信息来确定对第一相机的校准参数的估计。


7.如权利要求1所述的计算系统，其中控制电路被配置为，当执行相机校准时，基于第一组校准图像中的第一组2D校准图案确定用于表示多面体的3D模型，
其中，多面体的附加面的所述一组相应角的第一组坐标是基于多面体的3D模型来确定的。


8.如权利要求7所述的计算系统，其中控制电路被配置为，当执行相机校准时，基于第一组2D校准图案确定描述由多面体的第一组面形成的各个虚构平面的信息，其中所述3D模型至少由描述各个虚构平面的信息来表示。


9.如权利要求8所述的计算系统，其中控制电路被配置为，当执行相机校准时，确定多面体的第一组面之间的空间关系，
其中描述各个虚构平面的信息是基于多面体的第一组面之间的空间关系来确定的。


10.如权利要求8所述的计算系统，其中多面体的附加面的所述一组角是多面体的第二组角，其中控制电路被配置为，当执行相机校准时进行以下操作：
通过确定各个虚构平面中的至少三个虚构平面相交的位置来将多面体的第一组角的相应位置确定为附加的一组坐标，
其中第一组坐标是基于所述附加的一组坐标和多面体的定义的尺寸来确定的。


11.如权利要求1所述的计算系统，其中所述变换函数是第一变换函数，并且其中控制电路被配置为还通过以下操作来执行相机校准：
确定用于描述第一相机和平台的中心之间的空间关系的第二变换函数，以及
基于第一变换函数和第二变换函数确定用于描述第二相机和平台的中心之间的空间关系的第三变换函数。


12.如权利要求1所述的计算系统，其中控制电路被配置为经由通信接口向平台输出一个或多个马达命令，以使平台旋转3D校准图案以相对于第一相机具有多个朝向，并且其中第一组校准图像是分别在3D校准图案相对于第一相机具有多个朝向时生成的。


13.如权利要求1所述的计算系统，其中通信接口被配置为与指向平台的第一表面的第三相机通信，其中控制电路被配置为还通过以下操作来执行相机校准：
经由通信接口从第三相机接收第三组校准图像，其中第三组校准图像也捕获多面体的第一组面和第一组相应的2D校准图案，以及
基于第一组校准图像和第三组校准图像确定附加变换函数，其中该附加变换函数描述第一相机和...

【专利技术属性】
技术研发人员：R·伊斯兰，叶旭涛，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP