用于确定相机校准的姿态的方法和系统技术方案

本发明专利技术提出了一种用于确定相机校准的姿态的方法和系统。所述系统确定用于执行所述相机校准的图案取向范围，并确定假想球体的表面上的表面区域，所述假想球体的表面表示所述校准图案的可能图案取向。所述系统确定校准图案采用的多个姿态。所述多个姿态可由相机视野内的多个相应位置和多个相应组的姿态角值的相应组合限定。所述多个相应组中的每一组姿态角值可以基于选自所述假想球体的表面上的表面区域内的相应表面点。所述系统基于确定的多个姿态输出多个机器人运动命令。

【技术实现步骤摘要】
用于确定相机校准的姿态的方法和系统
本专利技术涉及一种用于确定相机校准和机器人控制的姿态的方法和系统。
技术介绍
随着自动化变得越来越普遍，机器人在更多的环境中使用，例如在仓库和制造环境中。例如，机器人可用于在仓库中将物品装载到托盘上或从托盘上卸下，或在工厂中从传送带上拾取物品。机器人的运动可以是固定的，或者可以基于输入，例如由仓库或工厂中的相机拍摄的图像。在后一种情况下，可以执行校准以便确定相机的特性，并且确定相机与机器人所在的环境之间的关系。校准可称为相机校准，并且可以生成校准信息，该校准信息用于基于相机捕获的图像来控制机器人。在一些实施方式中，相机校准可能涉及人的手动操作，人可以手动控制机器人的运动，或手动控制相机以捕获机器人的图像。
技术实现思路
本文的实施例的一个方面涉及计算系统或由计算系统(例如，经由非临时性计算机可读介质上的指令)执行的方法。所述计算系统可以包括通信接口，所述通信接口被配置成与机器人和具有相机视野的相机通信，其中所述机器人具有设置于其上的校准图案。所述计算系统还可具有控制电路，所述控制电路被配置成当所述计算系统与所述机器人和所述相机通信时，通过以下操作来执行相机校准：确定用于执行所述相机校准的图案取向范围，其中所述图案取向范围是所述校准图案的取向范围；确定假想球体的表面上的表面区域，其中所述假想球体的表面表示所述校准图案的可能图案取向，并且所述表面区域表示用于执行所述相机校准的图案取向范围；确定在执行所述相机校准时所述校准图案采用的多个姿态，其中所述多个姿态由所述相机视野内的多个相应位置和多个相应组的姿态角值的相应组合限定，其中所述多个相应组中的每一组姿态角值基于选自所述假想球体的表面上的表面区域内的相应表面点；输出多个机器人运动命令以用于控制所述校准图案的放置，其中所述多个机器人运动命令是基于确定的多个姿态生成的；接收多个校准图像，其中所述多个校准图像中的每一个校准图像表示所述校准图案，并且在所述校准图案具有所述多个姿态中的相应姿态时生成；以及基于所述多个校准图像确定相机校准参数的估计值。所述控制电路还被配置成在执行所述相机校准之后，经由所述通信接口从所述相机接收后续图像，并输出基于所述后续图像且基于所述相机校准参数的估计值生成的后续机器人运动命令。附图说明本专利技术的前述和其他特征、目标和优点将从如附图中所图示的本专利技术的实施例的以下描述而显而易见。附图被并入本文中并且形成本说明书的一部分，附图进一步用于解释本专利技术的原理，并使得相关领域的技术人员能够制作和使用本专利技术。附图未按比例绘制。图1描绘了根据本文中的实施例执行相机校准的系统的框图。图2描绘了根据本文中的实施例被配置成确定用于执行相机校准的姿态的计算系统的框图。图3A和图3B描绘了根据本文中的实施例执行相机校准并且校准图案可以采用各种姿态的系统。图4A图示了根据本文中的实施例在校准图案与相机之间的姿态角的角度值。图4B和图4C描绘了根据本文中的实施例的校准图案、相机坐标系和图案坐标系的法向量。图5A-5C描绘了根据本文中的实施例的校准图案的各种姿态角。图6A-6C描绘了根据本文中的实施例的校准图案的各种姿态角。图7A-7C图示了表示校准图案的可能图案取向的假想球体和假想球体上的表面点。图8A描绘了根据本文中的实施例对姿态角值的约束的实例。图8B和图8C图示了根据本文中的实施例的表示校准图案的可能取向的假想球体，表示用于执行相机校准的图案取向范围的表面区域以及假想球体上的表面点。图9描绘了根据本文中的实施例的用于确定执行相机校准的姿态的示例性方法的流程图。图10A和图10B描绘了根据本文中的实施例均匀分布在表示图案取向的假想球体的表面区域内的表面点。图11A和图11B描绘了根据本文中的实施例的划分相机视野中的空间的示例性网格。图12A-12C图示了根据本文中的实施例的各种姿态的拉丁方形空间分布的实例。图13A和图13B图示了根据本文中的实施例的各种姿态的分层空间分布的实例。图14A和图14B图示了根据本文中的实施例的各种姿态的随机空间分布的实例。图15A-15C图示了根据本文中的实施例的机器人可达到候选姿态的各种空间分布。具体实施方式以下详细描述在本质上仅是示例性的，并且不旨在限制本专利技术或本专利技术的应用和用途。此外，并不意图受到前面
、
技术介绍
、
技术实现思路
或具体实施方式中呈现的任何明示或暗示理论的束缚。本文中描述的实施例涉及确定用于执行相机校准的姿态。例如，姿态可以指放置校准图案的取向(其可以称为图案取向)，放置校准图案的位置，或其组合。相机可以在校准图案具有该姿态时对校准图案拍照或以其它方式成像，以便生成对应于该姿态的校准图像，并且校准图像可以用于执行相机校准。例如，执行相机校准可以涉及估计相机的特性，和/或相机和其环境之间的关系。在执行相机校准之后，由相机生成的图像可以促进对用于与相机环境中的物体进行交互的机器人的控制。例如，机器人可以用于在仓库中拾取包裹，其中机器人的臂或其他部件的运动可以基于相机生成的包裹的图像。本文中的实施例的一个方面涉及尝试实现一种姿态分布，其中，姿态一般根据校准图案的位置和/或图案取向分布。如果姿态转而具有姿态集中在某些区域中或集中在图案取向的期望范围中的某些图案取向周围的分布，所得的校准图像可捕获当拍摄物体处于那些区域和/或取向时表现的某些相机行为，但可能会错过对应于在其他区域和/或取向处的拍摄物体的相机行为。以代替分散姿态的方式确定姿态，以便创建例如在位置和/或取向方面姿态的更均匀的分布，可以使得所得的校准图像更完全或更准确地捕获相机行为。例如，如果相机行为是可能由相机的镜头引入的镜头失真，那么分散校准图案的姿态可以允许校准图案具有多样化的姿态，并在多样化的位置和/或图案取向处被拍摄或以其他方式成像。这种多样化的姿态可以使所得的校准图像更有可能捕获表现镜头失真的更多方式。此校准图像可允许镜头失真或者相机的另一特性，从而以更加完整和准确的方式被表征或以其它方式被评估。本文中的实施例的一个方面涉及确定校准图案的不同姿态的姿态角值，并且更具体地，以实现校准图案的图案取向的期望分布的方式进行此操作。图案取向的分布可以指定向校准图案的方向的分布。例如，在图案取向的期望范围内大体上均匀的分布可以指这样的分布，其中校准图案具有在期望方向范围内，并且通常均匀地分布在期望的方向范围中的方向，其中期望的图案取向范围可以由期望的方向范围限定。在实施例中，上面讨论的姿态角值可以是姿态角的角度值，其可以是校准图案与参考系(例如相机的光轴)之间的角。姿态角可以用于控制校准图案相对于例如相机的倾斜(这种倾斜可被称为相对倾斜)。在实施例中，多个姿态角可用于控制校准图案的倾斜，并且多个姿态角的一组相应的姿态角值可以用于控制校准图案的相对倾斜的方向和量。在某些情况下，可通过根据期望分布(例如，均匀分布)分别为多个姿态角中的每一个确定一组相应本文档来自技高网...

【技术保护点】
1.一种计算系统，包括：/n通信接口，所述通信接口被配置成与机器人和具有相机视野的相机通信，其中所述机器人具有设置于其上的校准图案；和/n控制电路，所述控制电路被配置成当所述计算系统与所述机器人和所述相机通信时，通过以下操作来执行相机校准：/n确定用于执行所述相机校准的图案取向范围，其中所述图案取向范围是所述校准图案的取向的范围；/n确定假想球体的表面上的表面区域，其中所述假想球体的所述表面表示所述校准图案的可能图案取向，并且所述表面区域表示用于执行所述相机校准的所述图案取向范围；/n确定在执行所述相机校准时所述校准图案采用的多个姿态，其中所述多个姿态由所述相机视野内的多个相应位置和多个相应组的姿态角值的相应组合限定，其中所述多个相应组中的每一组姿态角值基于选自所述假想球体的所述表面上的所述表面区域内的相应表面点；/n输出多个机器人运动命令以用于控制所述校准图案的放置，其中所述多个机器人运动命令是基于所确定的所述多个姿态生成的；/n接收多个校准图像，其中所述多个校准图像中的每个校准图像表示所述校准图案，并且是在所述校准图案具有所述多个姿态中的相应姿态时生成的；以及/n基于所述多个校准图像确定相机校准参数的估计值，/n其中所述控制电路还被配置成在执行所述相机校准之后，经由所述通信接口从所述相机接收后续图像，并且输出基于所述后续图像以及基于所述相机校准参数的所述估计值生成的后续机器人运动命令。/n...

【技术特征摘要】
20191029 US 16/667,1701.一种计算系统，包括：
通信接口，所述通信接口被配置成与机器人和具有相机视野的相机通信，其中所述机器人具有设置于其上的校准图案；和
控制电路，所述控制电路被配置成当所述计算系统与所述机器人和所述相机通信时，通过以下操作来执行相机校准：
确定用于执行所述相机校准的图案取向范围，其中所述图案取向范围是所述校准图案的取向的范围；
确定假想球体的表面上的表面区域，其中所述假想球体的所述表面表示所述校准图案的可能图案取向，并且所述表面区域表示用于执行所述相机校准的所述图案取向范围；
确定在执行所述相机校准时所述校准图案采用的多个姿态，其中所述多个姿态由所述相机视野内的多个相应位置和多个相应组的姿态角值的相应组合限定，其中所述多个相应组中的每一组姿态角值基于选自所述假想球体的所述表面上的所述表面区域内的相应表面点；
输出多个机器人运动命令以用于控制所述校准图案的放置，其中所述多个机器人运动命令是基于所确定的所述多个姿态生成的；
接收多个校准图像，其中所述多个校准图像中的每个校准图像表示所述校准图案，并且是在所述校准图案具有所述多个姿态中的相应姿态时生成的；以及
基于所述多个校准图像确定相机校准参数的估计值，
其中所述控制电路还被配置成在执行所述相机校准之后，经由所述通信接口从所述相机接收后续图像，并且输出基于所述后续图像以及基于所述相机校准参数的所述估计值生成的后续机器人运动命令。


2.根据权利要求1所述的计算系统，其中所述控制电路被配置成对于所述相应组的姿态角值所基于的相应表面点，根据均匀概率分布从所述表面区域内随机地选择所述相应表面点中的每一个。


3.根据权利要求2所述的计算系统，其中所述控制电路被配置成对于所述相应组的姿态角值所基于的相应表面点，仅从一组均匀的表面点中随机地选择所述相应表面点中的每一个，其中所述一组均匀的表面点是均匀地分布在所述假想球体的所述表面上的所述表面区域内的一组表面点。


4.根据权利要求1所述的计算系统，其中所述假想球体的所述表面上的所述表面区域形成均匀宽度的圆形带。


5.根据权利要求1所述的计算系统，其中多组姿态角值中的每一组姿态角值是表示所述校准图案围绕相应旋转轴线的相应旋转量的一组角度值，其中所述相应轴线彼此正交，并且其中，所述相应轴线中的每一个与相机光轴平行或正交。


6.根据权利要求5所述的计算系统，其中所述假想球体的所述表面上的每个表面点表示将导致所述校准图案的法向量指向所述表面点的所述校准图案的相应图案取向，并且
其中，所述控制电路被配置成通过将反正切函数应用于相应表面点的相应坐标来基于所述相应表面点确定所述多组中的每一组姿态角值。


7.根据权利要求1所述的计算系统，其中所述控制电路被配置成通过以下操作确定所述多个姿态：
确定将所述相机视野内的空间划分为一层或多层的3D区域的网格，所述一层或多层各自具有多行3D区域和多列3D区域；
确定所述多个姿态的多个位置，使得所述多个姿态在所述网格内具有空间分布，其中，对于所述一层或多层中的每一层：(i)所述层内的多行中的每一行包括所述多个姿态中的不超过一个姿态，并且(ii)所述层内的多列中的每一列包括所述多个姿态中的不超过一个姿态。


8.根据权利要求1所述的计算系统，其中所述控制电路被配置成通过以下操作确定所述多个姿态：
确定将所述相机视野内的空间划分为一层或多层的3D区域的网格，所述一层或多层各自具有多行3D区域和多列3D区域；
确定所述多个姿态的多个位置，使得所述多个姿态在所述网格内具有空间分布，其中，对于所述一层或多层中的每一层：(i)所述层内的多行中的每一行包括所述多个姿态中的不超过一个姿态，或(ii)所述层内的多列中的每一列包括所述多个姿态中的不超过一个姿态。


9.根据权利要求1所述的计算系统，其中所述控制电路被配置成通过以下操作确定所述多个姿态：
确定一组候选姿态，其中所述一组候选姿态中的每个候选姿态通过以下操作确定：对于所述候选姿态确定所述相机视野内的相应位置，从所述假想球体的所述表面上的所述表面区域内选择相应表面点，以及基于所选择的表面点确定所述候选姿态的相应组的姿态角值；
通过以下操作确定一组机器人可达到候选姿态：对于所述一组候选姿态中的每个候选姿态，确定所述候选姿态是否是机器人可达到的，并且响应于确定所述候选姿态是机器人可达到的，将所述候选姿态添加到所述一组机器人可达到候选姿态中；以及
仅从所述一组机器人可达到候选姿态中选择所述多个姿态。


10.根据权利要求9所述的计算系统，其中所述控制电路被配置成确定将所述相机视野内的空间划分为一层或多层的3D区域的网格，所述一层或多层各自具有多行3D区域和多列3D区域，并且
其中所述控制电路被配置成确定所述一组候选姿态中的每个候选姿态的相应位置是在所述网格的一层或多层中的一层中的位置，并且所述相应位置i)不与该层中的所述一组机器人可达到候选姿态中的任何机器人可达到候选姿态共享行，并且ii)不与该层中的所述一组机器人可达到候选姿态中的任何机器人可达到候选姿态共享列。


11.根据权利要求9所述的计算系统，其中所述控制电路被配置成：
确定目标数目，所述目标数目指示期望所述多个姿态有多少个姿态；
基于姿态的所述目标数目确定网格大小n；
确定将所述相机视野内的空间划分为一层或多层的3D区域的网格，所述一层或多层各自具有n行3D区域和n列3D区域；
对于所述一层或多层中的每一层并且作为所述一组机器人可达到候选姿态的一部分，基于n个机器人可达到候选姿态具有第一空间分布的n个位置的初始条件确定所述n个机器人可达到候选姿态的相应子集，在所述第一空间分布中，i)所述层的n行中的每一行仅包括一个机器人可达到候选姿态，并且ii)所述层的n列中的每一列仅包括一个机器人可达到候选姿态。


12.根据权利要求11所述的计算系统，其中所述控制电路还被配置成通过对所述网格的所述一层或多层中的每一层执行以下操作来确定所述一组机器人可达到候选姿态：
如果所述n个机器人可达到候选姿态的所述相应子集必须满足所述初始条件，则确定所述层的n个机器人可达到候选姿态的所述相应子集是否是可确定的，其中，所述初始条件是第一条件，以及
响应于确定如果所述n个机器人可达到候选姿态的所述相应子集必须满足所述初始条件，所述n个机器人可达到候选姿...

【专利技术属性】
技术研发人员：R·伊斯兰，P·勒尔特库尔塔农，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP