公开了用于更新用于机器人控制的相机校准的方法和控制系统。具体而言，提出了一种用于更新相机校准的机器人控制系统和方法。该方法包括机器人控制系统执行第一相机校准以确定相机校准信息并且输出基于相机校准信息的第一移动命令以用于机器人操作。该方法进一步包括：在第一相机校准之后输出第二移动命令以在相机视场内移动校准图案；接收一个或多个校准图像；并且将该一个或多个校准图像添加到捕获图像集合。该方法进一步包括：基于捕获图像集合中的校准图像来执行第二相机校准以确定更新后的相机校准信息；确定相机校准信息和更新后的相机校准信息之间的偏差是否超过定义的阈值；如果偏差超过定义的阈值，则输出通知信号。信号。信号。
【技术实现步骤摘要】
用于更新用于机器人控制的相机校准的方法和控制系统
[0001]本申请是申请日为2019年6月18日、题为“用于更新用于机器人控制的相机校准的方法和控制系统”的专利技术专利申请201910523868.2的分案申请。
[0002]本专利技术涉及一种用于更新用于机器人控制的相机校准的方法和控制系统。
技术介绍
[0003]随着自动化变得越来越普遍，机器人正被用于更多的环境中，诸如被用于仓储和制造环境中。例如，机器人可以用于将物品装载到仓库里的托盘上或从仓库里的托盘卸载下来、或者从工厂里的传送带拾取对象。机器人的移动可以是固定的，或者可以是基于输入，诸如由仓库或工厂里的相机拍摄的图像。在后一种情况下，可以执行校准以便确定相机的性质并且确定相机和机器人所在的环境之间的关系。校准可以被称为相机校准，并且可以产生用于基于由相机拍摄的图像控制机器人的相机校准信息。在一些实现中，相机校准可以涉及由可以手动地控制机器人的移动或手动地控制相机以捕获机器人的图像的人进行的手动操作。
技术实现思路
[0004]本文中的实施例的一个方面涉及更新用于机器人控制的相机校准。相机校准更新可以由包括通信接口和控制电路的机器人控制系统执行。通信接口可以被配置为与具有基座和其上设置有校准图案的机器人臂的机器人通信、并且与具有相机视场的相机通信。机器人控制系统的控制电路可以被配置为：a)执行第一相机校准以确定相机校准信息；b)经由通信接口将基于相机校准信息的第一移动命令输出到机器人以使机器人臂移动以执行机器人操作；c)在第一相机校准之后经由通信接口将第二移动命令输出到机器人以使机器人臂将校准图案移动到相机视场内的一个或多个位置；d)从相机接收一个或多个校准图像，其中，所述一个或多个校准图像是分别在相机视场内的所述一个或多个位置处被捕获的；e)将所述一个或多个校准图像添加到包括校准图像的捕获图像集合；f)基于捕获图像集合中的校准图像来执行第二相机校准，其中，第二相机校准输出更新后的相机校准信息；g)确定相机校准信息和更新后的相机校准信息之间的偏差；h)确定偏差是否超过定义的阈值；i)响应于确定偏差超过定义的阈值，输出指示偏差超过定义的阈值的通知信号。
附图说明
[0005]从以下对如附图所示的本专利技术的实施例的描述，本专利技术的前述及其他特征、目的和优点将是清楚的。合并在本文中并且形成本说明书的一部分的附图进一步用于说明本专利技术的原理并且使得相关领域的技术人员能够做出和使用本专利技术。附图是不按比例的。
[0006]图1A和1B描绘根据本文中的实施例的在其中执行相机校准的更新的机器人操作系统的框图。
[0007]图1C描绘根据本文中的实施例的被配置为执行相机校准的更新的机器人控制系统的框图。
[0008]图1D描绘根据本文中的实施例的对其执行相机校准的相机的框图。
[0009]图2描绘例示说明根据本文中的实施例的、基于从相机校准获得的相机校准信息进行控制的机器人的机器人操作系统。
[0010]图3描绘根据本文中的实施例的用于执行相机校准的机器人操作系统。
[0011]图4A和4B提供例示说明根据本专利技术的实施例的用于执行并且更新相机校准的示例方法的流程图。
[0012]图5A和5B描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例机器人操作系统，在该机器人操作系统中，在空闲时段期间执行相机校准。
[0013]图6A和6B描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例机器人操作系统，在该机器人操作系统中，在机器人任务时段、空闲时段或它们的组合期间执行相机校准。
[0014]图7A和7B描绘根据本文中的实施例的当捕获校准图案的各个校准图像时校准图案所在的参考位置的示例。
[0015]图8描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例时间线，在该时间线中，在空闲时段期间执行相机校准。
[0016]图9描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例流程图，在该流程图中，在空闲时段期间执行相机校准。
[0017]图10描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例时间线，在该时间线中，在机器人任务时段、空闲时段或它们的组合期间执行相机校准。
[0018]图11描绘根据本专利技术的实施例的用于执行并且更新相机校准的示例流程图，在该流程图中，在机器人任务时段、空闲时段或它们的组合期间执行相机校准。
具体实施方式
[0019]以下详细描述本质上仅仅是示例性的，而非意图限制本专利技术或本专利技术的应用和使用。此外，并不意图受前述的
、
技术介绍
、
技术实现思路
或以下详细描述中呈现的任何表达的或隐含的理论的约束。
[0020]本文中所描述的实施例涉及更新用于控制机器人(诸如仓库、制造厂里或一些其他的环境中使用的机器人)的相机的校准。校准可以被称为相机校准，并且可以由例如机器人控制系统(也被称为机器人控制器)执行，以产生促进机器人控制系统基于相机捕获(例如，拍摄)的图像控制机器人的能力的相机校准信息。例如，机器人可以用于拾取仓库里的包裹，其中，机器人的机器人臂或其他部件的放置可以基于相机捕获的包裹的图像。在这种情况下，相机校准信息可以与包裹的图像一起用来确定例如包裹相对于机器人的机器人臂的位置和朝向。相机校准可以涉及例如确定校准参数的相应的值，诸如对相机的固有参数(也可以被称为内部参数)的相应估计、和/或对相机与其外部环境之间的关系的估计。相机的固有参数可以具有一个或多个参数值，诸如矩阵、矢量或标量值。此外，固有参数的示例包括投影矩阵和失真参数。在一种情况下，相机校准可以涉及确定相机相对于外部环境中的固定位置的位置，该位置可以被表达为表示相机和外部环境中的固定位置之间的关系的
变换函数。在一些情况下，相机校准可以在校准图案的帮助下执行，所述校准图案可以具有设置在校准图案上的定义的位置处的图案元素。相机可以捕获校准图案的图案元素的图像(也被称为校准图像)，并且可以基于比较图案元素的图像与图案元素的定义的位置来执行相机校准。相机校准在2019年3月7日提交的、标题为“METHOD AND DEVICE FOR PERFORMING AUTOMATIC CAMERA CALIBRATION TO CONTROL A ROBOT BASED ON IMAGES FROM A CAMERA”的美国申请No.16/295,940中有更详细的讨论，该申请在下文中被称为“申请MJ0021US1”，该申请的全部内容通过引用并入本文。
[0021]如上所述，本公开的一方面涉及对在较早的时间点执行了的相机校准进行更新以便获得在后来的时间点仍然准确的相机校准信息。在较早的时间点执行了的相机校准可以产生反映相机在该较早的时间点的性质的相机校准信息，诸如在该时间点的相机的固有参数或相机与其外部环境之间的关系。在一些情况下，因为相机的性质可能随着时间变化，所以较早的相机校准可能随着时间失去准确度。在第一示例中，相机的固有参数可能随着时间变化。这样的变化可能是由本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种机器人控制系统，包括：通信接口，所述通信接口被配置为与机器人进行通信并且与具有相机视场的相机进行通信，所述机器人具有基座和其上设置有校准图案的机器人臂；以及控制电路，所述控制电路被配置为：执行第一相机校准以确定与相机相关联的相机校准信息，通过经由所述通信接口将基于所述相机校准信息的第一移动命令输出到所述机器人，基于所述相机校准信息控制所述机器人臂的移动以执行机器人操作，在所述第一相机校准之后，通过经由所述通信接口将第二移动命令输出到所述机器人，控制所述机器人臂将所述校准图案移动到所述相机视场内的一个或多个位置，经由所述通信接口从所述相机接收一个或多个校准图像，其中，所述一个或多个校准图像是分别在所述相机视场内的所述一个或多个位置处被捕获的，将所述一个或多个校准图像添加到包括校准图像的捕获图像集合，基于所述捕获图像集合中的校准图像来执行第二相机校准，其中所述第二相机校准输出更新后的相机校准信息，确定所述相机校准信息和所述更新后的相机校准信息之间的偏差，确定所述偏差是否超过定义的阈值，以及响应于确定所述偏差超过所述定义的阈值，输出指示所述偏差超过所述定义的阈值的通知信号。2.根据权利要求1所述的机器人控制系统，其中，只有当所述捕获图像集合中的校准图像的总数量已经达到定义的目标计数时才执行所述第二相机校准。3.根据权利要求1所述的机器人控制系统，其中，所述控制电路被进一步配置为通过以下操作来更新所述捕获图像集合：将最新近捕获的一定数量的一个或多个校准图像添加到所述捕获图像集合，并且从所述捕获图像集合移除最早捕获的相等数量的一个或多个校准图像，其中，当执行所述第二相机校准时，所述捕获图像集合中的校准图像的总数量等于定义的目标计数。4.根据权利要求1所述的机器人控制系统，其中，所述控制电路被进一步配置为：检测所述机器人操作期间的空闲时段，并且在所述空闲时段期间输出所述第二移动命令以使得所述机器人臂被控制为在所述空闲时段期间将所述校准图案移动到所述一个或多个位置，并且其中，所述一个或多个相应的校准图像是在所述空闲时段期间在所述一个或多个位置处被捕获的。5.根据权利要求4所述的机器人控制系统，其中，所述空闲时段是第一空闲时段，其中，所述控制电路被进一步配置为：确定所述捕获图像集合中的校准图像的总数量已经达到定义的目标计数；在所述第一空闲时段之后，检测所述机器人操作期间的第二空闲时段；确定所述第二空闲时段是否长于或等于定义的校准时段，所述定义的校准时段指示完成所述第二相机校准所必需的时间量；响应于确定所述第二空闲时段长于或等于所述定义的校准时段，在所述第二空闲时段
期间执行所述第二相机校准；以及响应于确定所述第二空闲时段短于所述定义的校准时段：a)在所述第二空闲时段期间，经由所述通信接口从所述相机接收一个或多个附加的校准图像，其中，所述一个或多个附加的校准图像是分别在所述相机视场内的一个或多个附加的位置处被捕获的；b)通过将所述一个或多个附加的图像添加到所述捕获图像集合并且从所述捕获图像集合移除最早捕获的相等数量的一个或多个校准图像，来更新所述捕获图像集合以便产生更新后的捕获图像集合；以及c)一直等到长于或等于所述定义的校准时段的后续空闲时段来利用所述更新后的捕获图像集合完成所述第二相机校准。6.根据权利要求4所述的机器人控制系统，其中，所述空闲时段是第一空闲时段，其中，所述控制电路被进一步配置为：在所述空闲时段之后，确定所述捕获图像集合中的校准图像的总数量尚未达到定义的目标计数；检测所述第一空闲时段之后的第二空闲时段；在所述第二空闲时段期间，经由所述通信接口从所述相机接收一个或多个附加的校准图像，其中，所述一个或多个附加的校准图像是分别在...
【专利技术属性】
技术研发人员：R，
申请(专利权)人：牧今科技，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。