利用不同坐标系之间的约束优化校准制造技术

用于校准机器人工作单元的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述方法之一包括获得具有多个校准实体的工作单元的初始模型，该校准实体包括多个机器人和被配置为观察一个或多个校准实体的移动的多个传感器，以及执行校准程序，该校准程序生成表示多个机器人的移动的移动数据。从传感器数据生成多个不同约束对，这些约束对指定在不同坐标系中观察的校准实体的位姿之间的关系，每个坐标系由校准实体定义并在传感器数据中表示。对多个不同约束对执行一个或多个优化处理，以生成多个校准值。以生成多个校准值。以生成多个校准值。

【技术实现步骤摘要】
【国外来华专利技术】利用不同坐标系之间的约束优化校准
[0001]相关申请的交叉引用
[0002]本申请要求2020年11月4日提交的美国申请第17/089,332号的优先权。前述申请的公开内容通过引用整体并入本文。

技术介绍

[0003]本说明书涉及机器人学，尤其涉及在操作环境中优化机器人和传感器的校准。
[0004]在机器人学中，为了执行任务，机器人的物理移动通常通过人工预编程而被调度。例如，移动箱子的仓库机器人可以被编程为在仓库入口处拿起箱子，移动它，并将其放在仓库的目标区域。再例如，施工机器人可以被编程为拿起梁，并把它放到桥面(bridge deck)上。由于这些动作中的每一个都可能包括许多需要高精确度的移动，所以在测量机器人位姿(pose)或检测到的对象的位姿时的微小误差都可能导致任务失败。此外，过程中早期阶段的误差可能导致任务中的后面的机器人移动中的累积误差，进一步导致使用预编程调度的任务失败。
[0005]一些系统在例如工作单元的操作环境中使用手眼校准来优化校准。在手眼校准中，机器人的基座可以具有相对于传感器的坐标系定义的位姿，并且传感器可以具有其自身相对于参考坐标系的位姿，并且参考坐标系可以在世界模型或工作单元模型中预定。
[0006]在理想的操作场景中，工作单元中的多个传感器和机器人中的每一个的位置和方向总是相对于例如世界模型的坐标系的参考坐标系被完美地测量。例如，理想的场景将是使多个传感器和机器人被确切地定位，如在预编程工作流程所基于的工作单元的CAD模型中所预期的那样。
[0007]然而，在现实中，机器人和传感器的实际位置与记录的初始位置之间经常存在一些差异，这可能发生在安装时或校准组件时。这可能导致不一致的错误。例如，两个相机可以将同一对象观察为在世界坐标系中具有不同位置，当小距离很重要时，诸如当工作单元的两个组件应该相遇时，这是一个特别的问题。再例如，当通过具有稍微不准确的位姿校准的两个不同的传感器进行观察时，现实世界中两个位置靠近的机器人可能出现在世界坐标系中稍微不同的位置。此外，机器人和传感器的实际位姿可能不同于预期位姿，因为机器人和传感器在执行任务时可能在物理上移动。因此，机器人和传感器的一个或多个当前位姿可能偏离相应的预期位姿。校准误差也可能累积，特别是当例如机器人上的工具的组件远离机器人基座移动时。因此，由于来自误校准组件的累积误差，保证成功的工作单元性能通常是具有挑战性的。

技术实现思路

[0008]本说明书描述了系统可以如何使用多个不同坐标系中的多个校准结果和外部测量来优化机器人操作环境中组件的校准。这些技术为在不同坐标系中观察到的可优化校准实体提供了减少校准误差的自动化方式。
[0009]通过定义指定位姿类型和在不同坐标系中测量的位姿之间的关系的多个不同约
束对，系统可以自动地为多个不同约束对中的每一个约束对定义相应的局部误差，然后获得多个校准值以计算环境中的每个传感器、机器人或其他对象的调整的位姿，例如，通过优化从每个局部误差而生成的全局误差。本说明书描述了许多适合于执行校准的示例约束对。通常，每个约束对包括至少两个不同的坐标系，每个坐标系定义了相对于参考坐标系(例如，世界坐标系)的位姿。示例约束对包括相对位姿约束、特征位姿约束、特征点约束以及其他约束。
[0010]可以实现本说明书中描述的主题的特定实施例，以便实现一个或多个以下优点。
[0011]可以使用下面描述的技术，使得由环境中的两个或更多个传感器检测到的相同校准实体可以被校准，以相对于参考坐标系(例如，世界坐标系)出现在基本相同的位置。结果，可以显著提高环境的校准工作流程的整体性能。即使不求解多个不同约束对的所有局部误差，也可以提高校准的准确度。此外，约束对的数量是灵活的和可扩展的，这意味着取决于本地需要可以添加或移除约束对，而不会影响校准技术的操作。
[0012]此外，所公开的技术可以组合传统校准的校准结果，传统校准一次相对于另一个校准实体仅校准一个可优化校准实体，使得世界模型内的每个可优化校准实体可以相对于任何其他校准实体被校准。
[0013]此外，所公开的技术可以通过将使用模型中的约束对的校准实体的校准结果与使用其他约束对的同一校准实体的其他校准结果进行比较，确定该校准结果是否不同于其他校准结果，并且例如使用误差函数来量化该校准结果和其他校准结果之间的差异，来识别和量化不准确的校准结果。作为响应，系统可以确定校准结果是否将被考虑用于优化，并识别校准过程中的错误。
[0014]本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。根据描述、附图和权利要求，本主题的其他特征、方面和优点将变得清晰。
附图说明
[0015]图1示出了优化环境中的校准的示例校准系统。
[0016]图2A示出了环境中的相对位姿约束图的示例。
[0017]图2B示出了环境中的相对位姿约束图的另一个示例。
[0018]图3示出了环境中的特征位姿约束图的示例。
[0019]图4示出了环境中的特征点约束图的示例。
[0020]图5是在环境中使用不同约束对来优化校准的示例过程的流程图。
[0021]图6A示出了在示例环境中应用的相对位姿约束。
[0022]图6B示出了在图6A的示例环境中应用的特征位姿约束。
[0023]图6C示出了在图6A的示例环境中应用的特征点约束。
[0024]图7是基于图5中优化校准的示例过程获得校准值的示例过程的流程图。
[0025]不同附图中相同的附图标记和名称指示相同的元件。
具体实施方式
[0026]图1示出了在操作环境中优化校准的示例校准系统100。在该示例中，机器人工作单元170被用作示例操作环境。本说明书中描述的技术也可以用于调整非工作单元的其他
操作环境的校准。系统100包括校准执行引擎110和机器人接口子系统160。校准执行引擎110包括约束生成器130、一个或多个优化器150和工作流程调度引擎120。系统100可以被实现为安装在一个或多个位置的一个或多个计算机上的计算机程序，这些计算机通过任何适当的通信网络(例如，内联网或互联网或网络的组合)相互耦合。工作流程调度引擎120是包括一个或多个计算机和存储指令的一个或多个存储设备的系统，当由一个或多个计算机执行时，所述指令可操作以使一个或多个计算机执行为工作单元170中的机器人生成和更新工作流程125的操作。
[0027]系统100可以指示校准执行引擎110向机器人接口子系统160发送调整165b以校准工作单元170中的一个或多个可优化校准实体(例如机器人170a
‑
n、传感器171a
‑
n)的位姿，或者向机器人接口子系统160发送命令155以驱动工作单元170中的一个或多个可优化校准实体。命令155可以基于工作流程125，工作流程125由工作流程调度引擎120通过结合由优化器150获得的调整165a来生成。如图1所示，传感器171a
‑...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个计算机执行的方法，该方法包括：获得包括多个校准实体的环境的初始模型，所述校准实体包括多个传感器和多个机器人，该多个传感器中的每一个被配置为观察环境中的一个或多个校准实体的移动；执行校准程序，所述校准程序生成表示环境内多个机器人的移动的移动数据；生成传感器数据，所述传感器数据表示在校准程序的执行期间在多个机器人移动之后传感器如何观察校准实体的位姿；从传感器数据生成多个不同约束对，其中，所述多个不同约束对中的每一个指定在不同坐标系中观察的校准实体的位姿之间的关系；对多个不同约束对执行一个或多个优化处理，以生成多个校准值；以及使用多个校准值生成环境的更新的模型。2.根据权利要求1所述的方法，其中，所述多个不同约束对中的每一个包括至少两个不同的坐标系，每个坐标系由校准实体定义。3.根据权利要求1或2中任一项所述的方法，其中，所述多个不同约束对中的每个约束对至少包括要在不同坐标系中观察的校准实体。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述多个不同约束对包括相对位姿约束，所述相对位姿约束定义了在第二坐标系中观察的第一坐标系的测量的相对位姿和计算的相对位姿之间的关系，其中，第一坐标系由第一校准实体定义，第二坐标系由第二校准实体定义，其中，第一坐标系的测量的相对位姿和计算的相对位姿包括对第二坐标系可观察的平移和旋转位置两者。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述多个不同约束对包括特征位姿约束，所述特征位姿约束定义了在两个不同的坐标系中观察的校准实体的特征位姿之间的关系，每个坐标系由校准实体定义，其中，所述校准实体的特征位姿包括平移和旋转位置两者。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述多个不同约束对包括特征点约束，所述特征点约束定义了在两个不同的坐标系中观察的校准实体的逐点位姿之间的关系，每个坐标系由校准实体定义，其中，所述校准实体的逐点位姿包括平移位置。7.根据权利要求1
‑
6中任一项所述的方法，其中，...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：因思创新有限责任公司，
类型：发明
国别省市：