验证和更新机器人控制用相机校准的方法和控制系统技术方案

本公开涉及验证和更新机器人控制用相机校准的方法和控制系统。提出一种用于相机校准验证的机器人控制系统和方法。机器人控制系统被配置成进行第一相机校准，控制机械臂把验证符号移动到参考位置。机器人控制系统还从相机接收验证符号的参考图像，并确定验证符号的参考图像坐标。机器人控制系统还控制机械臂在空闲期内把验证符号再次移动到参考位置，接收验证符号的附加图像，并确定验证图像坐标。机器人控制系统基于参考图像坐标和验证图像坐标确定偏差参数值，判定偏差参数值是否超过规定阈值，并且如果规定阈值被超过，那么进行第二相机校准。相机校准。相机校准。

【技术实现步骤摘要】
验证和更新机器人控制用相机校准的方法和控制系统
[0001]本申请是申请日为2019年6月4日、题为“验证和更新机器人控制用相机校准的方法和控制系统”的专利技术专利申请201910478785.6的分案申请。


[0002]本专利技术涉及验证和更新机器人控制用相机校准的方法和控制系统。

技术介绍

[0003]随着自动化越来越普遍，机器人被用于更多的环境中，比如在仓储和制造环境中。例如，机器人可以用来将货物装载到仓库中的托盘上或者从托盘上取下，或者可以用来从工厂的传送带上捡取物品。机器人的运动可以是固定的，或者可以是基于输入的，比如仓库或工厂中的相机拍摄的图像。在后一情况下，可以进行校准，以便确定相机的性质，和确定相机与机器人所处环境之间的关系。所述校准可被称为相机校准，可基于相机拍摄的图像，生成用于控制机器人的相机校准信息。在一些实现中，相机校准可涉及可手动控制机器人的运动或者可手动控制相机拍摄机器人的图像的人的手动操作。

技术实现思路

[0004]本文中的实施例的一个方面涉及进行机器人控制用相机校准验证。相机校准验证可由包括通信接口和控制电路的机器人控制系统进行。通信接口可被配置成与具有基座和上面布置有验证符号的机械臂的机器人通信，并与具有相机视野的相机通信。机器人控制系统的控制电路可被配置成通过以下操作，进行相机校准验证：a)进行第一相机校准，以确定相机校准信息，b)向通信接口输出第一运动命令，其中通信接口被配置成把第一运动命令传达给机器人，以使机械臂在第一相机校准期间或之后将验证符号移动到相机视野内的位置，该位置是用于第一相机校准的验证的一个或多个参考位置中的参考位置，c)通过通信接口从相机接收验证符号的图像，所述相机被配置成拍摄在所述参考位置处的验证符号的图像，该图像是验证用参考图像，d)确定验证符号的参考图像坐标，所述参考图像坐标是在参考图像中出现验证符号之处的坐标，和e)向通信接口输出基于相机校准信息的第二运动命令，其中所述通信接口被配置成把第二运动命令传达给机器人，以使机械臂运动，从而进行机器人操作。
[0005]在实施例中，控制电路被配置成进一步通过以下操作，进行相机校准验证：f)检测机器人操作期间的空闲期，g)向通信接口输出第三运动命令，其中通信接口被配置成把第三运动命令传达给机器人，以使机械臂在空闲期内，把验证符号至少移动到所述参考位置，h)通过通信接口从相机接收验证符号的附加图像，所述相机被配置成在空闲期内拍摄至少在所述参考位置处的验证符号的附加图像，所述附加图像是验证用验证图像，i)确定用于验证的验证图像坐标，该验证图像坐标是在验证图像中出现验证符号之处的坐标，j)基于参考图像坐标和验证图像坐标之间的偏差量，确定偏差参数值，参考图像坐标和验证图像坐标二者与参考位置关联，其中偏差参数值指示自第一相机校准以来，通信接口被配置成
与之通信的相机的变化，或者自第一相机校准以来，通信接口被配置成与之通信的相机和机器人之间的关系的变化，k)判定偏差参数值是否超过规定阈值，和l)响应于偏差参数值超过规定阈值的判定，进行第二相机校准，以确定更新的相机校准信息。
附图说明
[0006]根据如在附图中图解所示的本专利技术的实施例的以下说明，本专利技术的上述和其他特征、目的和优点将是明显的。包含在本文中，并构成说明书的一部分的附图进一步解释本专利技术的原理，使本领域的技术人员能够实现和利用本专利技术。附图不是按比例绘制的。
[0007]图1A和1B按照本文的实施例，描述其中进行相机校准的验证的系统的方框图。
[0008]图1C按照本文的实施例，描述配置成进行相机校准的验证的机器人控制系统的方框图。
[0009]图1D按照本文的实施例，描述对其进行相机校准的相机的方框图。
[0010]图2按照本文的实施例，描述图解说明基于从相机校准获得的相机校准信息控制机器人的系统。
[0011]图3按照本文的实施例，描述进行相机校准的系统。
[0012]图4A和4B提供按照本文的实施例，图解说明进行相机校准的验证的方法的流程图。
[0013]图5A和5B按照按照本文的实施例，图解说明其中在机器人上设置验证符号的系统，其中所述验证符号用于进行相机校准的验证。
[0014]图5C按照本文的实施例，描述例证的验证符号。
[0015]图6A
‑
6B按照本文的实施例，描述拍摄验证符号的各个图像的参考位置的例子。
[0016]图7A按照本文的实施例，描述确定参考图像坐标的例子。
[0017]图7B按照本文的实施例，描述确定验证图像坐标的例子。
[0018]图8按照本文的实施例，图解说明用于相机校准的验证的例证时间线。
[0019]图9按照本文的实施例，提供图解说明进行相机校准的验证的例证方法的流程图。
具体实施方式
[0020]以下详细说明仅仅是示范性的，并不意图限制本专利技术或者本专利技术的应用和用途。此外，不受在上述
、
技术介绍
、简要的
技术实现思路
或以下的具体实施方式中提出的任何明示或暗示的理论约束。
[0021]记载在本文中的实施例涉及验证和/或更新用于控制机器人，比如在仓库、制造工厂或某个其他环境中使用的机器人的相机的校准。所述校准可被称为相机校准，可由例如机器人控制系统(也被称为机器人控制器)进行，以生成促进机器人控制系统基于相机捕捉(例如拍摄)的图像，控制机器人的能力的相机校准信息。例如，机器人可用于在仓库中捡取包裹，其中机器人的机械臂或其他组件的放置可以基于相机拍摄的包裹的图像。这种情况下，相机校准信息可以与包裹的图像一起用于确定例如包裹相对于机器人的机械臂的位置和定向。相机校准可涉及确定相机的固有参数(也可被称为内部参数)的相应估计，和确定相机与其外部环境之间的关系的估计。相机的固有参数可具有一个或多个参数值，比如矩阵、向量或标量值。此外，固有参数的例子包括投影矩阵和畸变参数。在实例中，相机校准可
涉及确定相机相对于外部环境中的固定位置的位置，它可被表述成表示相机与外部环境中的固定位置之间的关系的变换函数。在一些情况下，相机校准可以借助校准图案进行，所述校准图案可具有设置在校准图案上的定义位置处的图案元素。相机可拍摄校准图案的图案元素的图像(也被称为校准图像)，基于比较图案元素的图像和图案元素的定义位置，可以进行相机校准。在2019年3月7日提交的美国专利申请No.16/295,940(案号MJ0021US1)“METHOD AND DEVICE FOR PERFORMING AUTOMATIC CAMERA CALIBRATION FOR ROBOT CONTROL”中更详细地讨论了相机校准，该专利申请的整个内容通过引用包含在本文中。
[0022]如上所述，本公开的一个方面涉及验证在较早时间点进行的相机校准在较晚时间点仍然精确。在较早时间点进行的相机校准可生成反映在该时间点的相机的性质的相机校准信息，比如在该时间点的相机的固有参数，或者相机与其外部环境之间的关系。在一些情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：通信接口，所述通信接口被配置为与具有布置在其上的验证符号的机器人通信并与相机通信；和控制电路，所述控制电路被配置成：输出用于控制机器人移动以执行机器人操作的移动命令，其中所述移动命令是基于与所述相机相关联的相机校准信息的；接收表示所述验证符号的图像，其中所述图像是通过所述通信接口从所述相机接收的，并且是用于验证所述相机校准信息的验证图像；确定所述验证符号在所述验证图像中的位置信息，其中所述位置信息指示所述验证符号在所述验证图像中的位置；基于所述验证符号在所述验证图像中的所述位置信息，确定是否更新所述相机校准信息，以及响应要更新所述相机校准信息的确定，执行相机校准以确定更新的相机校准信息。2.根据权利要求1所述的计算系统，其中，被用于输出所述移动命令的所述相机校准信息是基于第一相机校准而确定的，并且其中，响应于要更新所述相机校准信息的确定而执行的相机校准是第二相机校准。3.根据权利要求2所述的计算系统，其中，所述控制电路被进一步配置为：在接收到所述验证图像之前，接收表示所述验证符号的附加图像，其中所述附加图像是通过所述通信接口从所述相机接收的，并且是用于验证所述相机校准信息的参考图像；以及确定所述验证符号在所述参考图像中的位置信息，其中，所述控制电路被配置为基于所述验证符号在所述参考图像中的位置信息与所述验证符号在所述验证图像中的位置信息之间的偏差来确定是否更新所述相机校准信息。4.根据权利要求3所述的计算系统，其中，所述参考图像是当所述验证符号位于用于验证所述相机校准信息的一个或多个参考位置的参考位置时通过所述相机生成的，并且其中，所述控制电路被配置为输出附加移动命令，所述附加移动命令用于控制所述机器人将所述验证符号移动到至少所述参考位置，并使得所述验证图像在所述验证符号位于所述参考位置时通过所述相机被生成。5.根据权利要求4所述的计算系统，其中，所述控制电路进一步配置为检测机器人操作期间的空闲时间段，并且其中，用于控制所述机器人将所述验证符号移动到至少所述参考位置的所述附加移动命令是在所述空闲时间段期间输出的。6.根据权利要求5所述的计算系统，其中，所述控制电路被配置为通过检测所述机器人在机器人操作期间不执行机器人任务的时间段来检测所述机器人操作中的所述空闲时间段。7.根据权利要求4所述的计算系统，其中，所述控制电路被配置为通过所述机器人使所述验证符号移动到的所述一个或多个参考位置包括位于相对于相机凹陷的假想球体的表面上的多个参考位置。8.根据权利要求7所述的计算系统，其中，所述控制电路被配置为使所述机器人将所述验证符号移动成在所述多个参考位置的每个参考位置处与所述假想球体的表面相切。
9.根据权利要求3所述的计算系统，其中，所述验证符号在所述参考图像中的所述位置信息是所述验证符号在所述参考图像中出现的坐标，该坐标是参考坐标，其中，所述验证符号在所述验证图像中的所述位置信息是所述验证符号出现在所述验证图像中的坐标，该坐标是验证坐标，并且其中，所述控制电路被配置为基于所述参考坐标和所述验证坐标之间的偏差来确定是否更新所述相机校准信息。10.根据权利要求3所述的计算系统，其中，所述控制电路被配置为确定偏差参数值，所述偏差参数值是基于所述验证符号在所述参考图像中的位置信息与所述验证符号在所述验证图像中的位置信息之间的偏差的，其中，所述控制电路被配置为当所述偏差参数值超过规定阈值时确定要更新所述相机校准信息，以及其中，所述偏差参数值指示自所述第一相机校准以来所述相机的变化，或自所述第一相机校准以来所述相机和所述机器人之间关系的变化。11.根据权利要求10所述的计算系统，其中，所述控制电路被进一步配置为：确定所述机器人所在的环境的温度；以及基于所确定的温度，调整所述规定阈值或所述相机校准信息中的至少一者。12.根据权利要求1所述的...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：牧今科技，
类型：发明
国别省市：