执行自动相机校准的方法和系统技术方案

提供了一种用于执行相机自动校准的系统和方法。该系统接收校准图像，并确定用于表示校准图案的多个图案元素在校准图像中出现的相应位置的多个图像坐标。该系统基于多个图像坐标和既定图案元素坐标，确定对一组镜头失真参数中的第一镜头失真参数的估计，其中，对第一镜头失真参数的估计在将该组镜头失真参数中的第二镜头失真参数估计为零时被确定，或者在不估计第二镜头失真参数的情况下被确定。在对第一镜头失真参数的估计被确定之后，该系统基于对第一镜头失真参数的估计确定对第二镜头失真参数的估计。

【技术实现步骤摘要】
执行自动相机校准的方法和系统本申请是申请日为2020年6月29日、题为“执行自动相机校准的方法和系统”的专利技术专利申请202010602655.1的分案申请。对相关申请的交叉引用本申请要求2020年2月4日提交的题为“ARoboticSystemwithCalibrationMechanism(具有校准机制的机器人系统)”的第62/969,673号美国临时申请的优先权，该美国临时申请的全部内容以引用的方式整体并入本文中。
本专利技术涉及用于执行自动相机校准的方法和系统。
技术介绍
随着自动化变得更加普遍，机器人正在更多环境中使用，诸如在仓储和制造环境中。例如，机器人可以用于将物品装载到仓库中的托盘上或从仓库中的托盘上卸下，或者用于从工厂中的传送带拾取对象。机器人的移动可以是固定的，或者可以基于输入(诸如由仓库或工厂中的相机拍摄的图像)。在后一种情况下，可以执行校准以便确定相机的性质，并确定相机与机器人所处的环境之间的关系。该校准可以被称为相机校准，并且可以基于由相机捕获的图像生成用于控制机器人的相机校准信息。在一些实现本文档来自技高网...

【技术保护点】
1.一种计算系统，包括：/n通信接口，所述通信接口被配置为与具有相机视场的相机通信；/n控制电路，当所述相机已经生成了所述相机视场中的校准图案的校准图像时，并且当所述校准图案包括在图案坐标系中具有相应的既定图案元素坐标的多个图案元素时，所述控制电路被配置为通过以下操作来执行相机校准：/n接收所述校准图像，所述校准图像是表示所述校准图案的图像；/n确定表示所述多个图案元素在所述校准图像中出现的相应位置的多个图像坐标；/n基于所述多个图像坐标和所述既定图案元素坐标，确定对描述与所述相机相关联的镜头失真的一组镜头失真参数中的第一镜头失真参数的估计，其中，对所述第一镜头失真参数的所述估计是在将所述一组...

【技术特征摘要】
20200204 US 62/969,673;20200511 US 16/871,3611.一种计算系统，包括：
通信接口，所述通信接口被配置为与具有相机视场的相机通信；
控制电路，当所述相机已经生成了所述相机视场中的校准图案的校准图像时，并且当所述校准图案包括在图案坐标系中具有相应的既定图案元素坐标的多个图案元素时，所述控制电路被配置为通过以下操作来执行相机校准：
接收所述校准图像，所述校准图像是表示所述校准图案的图像；
确定表示所述多个图案元素在所述校准图像中出现的相应位置的多个图像坐标；
基于所述多个图像坐标和所述既定图案元素坐标，确定对描述与所述相机相关联的镜头失真的一组镜头失真参数中的第一镜头失真参数的估计，其中，对所述第一镜头失真参数的所述估计是在将所述一组镜头失真参数中的第二镜头失真参数估计为零的同时被确定，或者是在不估计所述第二镜头失真参数的情况下被确定；
在对所述第一镜头失真参数的所述估计被确定之后，基于对所述第一镜头失真参数的所述估计确定对所述第二镜头失真参数的估计；以及
确定包括对所述一组镜头失真参数的相应估计的相机校准信息，其中，对所述一组镜头失真参数的所述相应估计包括或基于对所述第一镜头失真参数的所述估计和对所述第二镜头失真参数的所述估计，
其中所述控制电路还被配置为当所述通信接口与所述相机和机器人进行通信时，在执行所述相机校准之后，接收由所述相机生成的后续图像，并生成用于控制机器人移动的移动命令，其中所述移动命令基于所述后续图像并基于所述相机校准信息。


2.如权利要求1所述的计算系统，其中，所述控制电路被配置为在将所述一组镜头失真参数中的所有其他镜头失真参数估计为零的同时确定对所述第一镜头失真参数的所述估计，或者被配置为在不估计所述一组镜头失真参数中的任何其他镜头失真参数的情况下确定对所述第一镜头失真参数的所述估计。


3.如权利要求1所述的计算系统，其中，所述第一镜头失真参数描述与所述相机相关联的第一类型的镜头失真，并且所述第二镜头失真参数描述与所述相机相关联的第二类型的镜头失真。


4.如权利要求3所述的计算系统，其中，所述第一类型的镜头失真是径向镜头失真，并且所述第二类型的镜头失真是切向镜头失真。


5.如权利要求1所述的计算系统，其中，所述第一镜头失真参数和所述第二镜头失真参数描述与所述相机相关联的同一类型的镜头失真。


6.如权利要求5所述的计算系统，其中，所述一组镜头失真参数包括描述多个相应的径向多项式分量的多个镜头失真参数，所述多个相应的径向多项式分量是与所述相机相关联的径向镜头失真模型的一部分，并且其中所述第一镜头失真参数是所述多个镜头失真参数中的一个，并描述所述多个相应的径向多项式分量中的最低阶次的径向多项式分量。


7.如权利要求6所述的计算系统，其中，所述一组镜头失真参数包括第三镜头失真参数，其中所述第三镜头失真参数描述所述多个相应的径向多项式分量中的最高阶次的径向多项式分量，以及
其中对所述第二镜头失真参数的所述估计基于对所述第一镜头失真参数的所述估计来确定，并且是在将所述第三镜头失真参数估计为零的同时或者在不估计所述第三镜头失真参数的情况下确定的。


8.如权利要求7所述的计算系统，其中，对所述第一镜头失真参数的所述估计是所述第一镜头失真参数的第一估计，并且是在第一相机校准阶级期间被确定的，并且其中对所述第二镜头失真参数的所述估计是在所述第一相机校准阶级之后的后续相机校准阶级期间被确定的，
其中，所述一组镜头失真参数包括所述第三镜头失真参数和具有所述一组中的其他镜头失真参数的子集，
其中，所述控制电路被配置为在所述后续相机校准阶级期间，在将所述第三镜头失真参数估计为零的同时，或者在不估计所述第三镜头失真参数的情况下，估计镜头失真参数的所述子集中的镜头失真参数，
其中，对所述子集中的镜头失真参数的估计包括确定对所述第二镜头失真参数的所述估计以及确定对所述第一镜头失真参数的第二估计。


9.如权利要求1所述的计算系统，其中，所述相机校准信息描述一组投影参数，所述一组投影参数描述与所述相机相关联的相机图像投影，其中所述控制电路被配置为：
确定对所述一组投影参数的相应估计；
在对所述第一镜头失真参数的所述估计和对第二镜头失真参数的所述估计被确定之后，基于对所述一组投影参数的所述相应估计来确定对所述第一镜头失真参数的经更新的估计和对所述第二镜头失真参数的经更新的估计，以及
其中，在所述一组投影参数被固定为所述一组投影参数的所述相应估计处的值的同时，确定对所述第一镜头失真参数的所述经更新的估计和对所述第二镜头失真参数的所述经更新的估计。


10.如权利要求9所述的计算系统，其中，对所述第一镜头失真参数的所述经更新的估计和对所述第二镜头失真参数的所述经更新的估计是利用弯曲减小阶级来确定的，在弯曲减小阶级中，所述控制电路被配置为执行以下操作：
(a)针对所述弯曲减小阶级，基于对所述第一镜头失真参数的所述估计和基于对所述第二镜头失真参数的所述估计，确定对所述第一镜头失真参数的初始估计和对所述第二镜头失真参数的初始估计；
(b)基于对所述第一镜头失真参数的所述初始估计，基于对所述第二镜头失真参数的所述初始估计并且基于所述校准图像，生成所述校准图像的修改版本，所述修改版本补偿与所述相机相关联的所述镜头失真；
(c)确定所述校准图像的所述修改版本中的弯曲量，
(d)基于所述校准图像的所述修改版本中的所述弯曲量来调整对所述第一镜头失真参数的所述初始估计和对所述第二镜头失真参数的所述初始估计，以便生成减小所述弯曲量的对所述第一镜头失真参数的经调整的估计和对所述第二镜头失真参数的经调整的估计，其中，对所述第一镜头失真参数的所述经调整的估计是对所述第一镜头失真参数的所述经更新的估计，并且对所述第二镜头失真参数的所述经调整的估计是对所述第二镜头失真参数的所述经更新的估计，以及
其中，所述控制电路被配置为基于对所述第一镜头失真参数的所述经更新的估计和对所述第二镜头失真参数的所述经更新的估计来确定所述相机校准信息。


11.如权利要求9所述的计算系统，其中，所述一组镜头失真参数包括第三镜头失真参数，其中对所述第三镜头失真参数的估计连同对所述第一镜头失真参数的所述经更新的估计和对所述第二镜头失真参数的所述经更新的估计在所述弯曲减小阶级中确定，
其中，所述控制电路被配置为：在对所述第一镜头失真参数的所述经更新的估计和所述第二镜头失真参数的所述经更新的估计已经被确定之后，在将对所述第三镜头失真参数的所述估计固定为对所述第三...

【专利技术属性】
技术研发人员：罗素·伊斯兰，叶旭涛，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP