用于AR和数字孪生的机器人校准制造技术

一种用于基于机器人的位置配置来校准增强现实(AR)装置的位置和取向的方法和系统。AR装置校准不需要常规的视觉校准目标。相反的，任何姿势下的机器人本身被用作三维(3D)校准目标。AR系统设置有整个机器人的CAD模型以用作参考系，并且基于从机器人控制器已知的关节位置，将各个机器人臂的3D模型组合为单个对象模型。然后，与当前姿势下的机器人的表面模型相比，通过分析来自AR装置相机的图像，将当前姿势下的整个机器人的3D表面模型用于AR系统的视觉校准。该技术适用于初始AR装置校准和正在进行的装置跟踪。在进行的装置跟踪。在进行的装置跟踪。

【技术实现步骤摘要】
【国外来华专利技术】用于AR和数字孪生的机器人校准
[0001]相关申请的交叉引用
[0002]本申请要求于2018年9月10日提交的名为用于AR和数字孪生的机器人校准(ROBOT CALIBRATION FOR AR AND DIGITAL TWIN)的美国临时专利申请第62/729,174号的优先权日期的权益。


[0003]本公开涉及工业机器人领域，并且更具体地涉及一种用于基于机器人的位置配置来校准增强现实(AR)装置的位置和取向的方法，其中，不需要常规的视觉校准目标，AR系统设置有处于当前姿势的整个机器人的静态CAD模型作为参考系，并且将各个机器人臂的3D模型组合为单个对象模型以用于AR系统的视觉校准。

技术介绍

[0004]结合工业机器人使用增强现实(AR)系统在本领域中是已知的。例如，AR系统可以用于教导机器人如何执行特定操作，其中，熟练的操作员使用AR系统来演示该操作，并且机器人学习所涉及的运动。AR系统还可以用于其他教学活动，诸如建立机器人不得侵入其中的虚拟安全区域，或者为多机器人系统中的每个机器人建立用于从传送带上拾取零件的边界。物本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将增强现实(AR)装置校准到机器人基座参考系的方法，所述方法包括：将机器人的每个结构组件的三维(3D)模型提供到所述AR装置；将当前姿势下的所述机器人的所有关节的位置数据从机器人控制器提供到所述AR装置；通过所述AR装置使用组件的所述3D模型和所述位置数据来计算所述当前姿势下的所述机器人的3D模型；通过所述AR装置中的一个或多个相机或传感器捕获所述当前姿势下的所述机器人的图像或传感器数据；并且将所述机器人的所述图像或传感器数据与所述机器人的所述3D模型进行比较，以确定所述AR装置相对于所述机器人基座参考系的位置和取向。2.根据权利要求1所述的方法，其中，所述机器人的所述结构组件中的每一个结构组件的所述3D模型是计算机辅助设计(CAD)实体或表面模型。3.根据权利要求1所述的方法，其中，所述AR装置是由操作员佩戴的头戴式耳机设备，或者所述AR装置是由所述操作员持有的智能电话、平板计算装置或机器人示教器。4.根据权利要求1所述的方法，其中，所述机器人是具有串联连接的多个臂的关节型机器人，并且所述位置数据是由所述机器人中的关节编码器测量的关节角位置数据。5.根据权利要求1所述的方法，其中，所述机器人是具有串联连接的多个臂的关节型机器人，并且所述位置数据是由所述机器人上的传感器测量的关节笛卡尔坐标。6.根据权利要求1所述的方法，其中，所述机器人是具有将移动的拾取和放置头连接到固定的毂的多个平行连杆的δ型机器人。7.根据权利要求1所述的方法，其中，所述图像或传感器数据是由所述AR装置中的一个或多个相机拍摄的所述机器人的数字图像。8.根据权利要求1所述的方法，其中，所述图像或传感器数据是来自激光传感器、音频频谱传感器、基于飞行时间的传感器、雷达传感器或LiDar传感器的数据。9.根据权利要求1所述的方法，进一步包括：连续地重新计算所述AR装置相对于所述机器人基座参考系的位置和取向，包括基于来自所述AR装置中的加速度计和偏航率传感器的信号进行惯性里程计算。10.根据权利要求9所述的方法，进一步包括：通过将新姿势下的所述机器人的图像或传感器数据与所述新姿势下的所述机器人的3D模型进行比较来对所述惯性里程计算进行误差校正以确定所述AR装置相对于所述机器人基座参考系的位置和取向。11.根据权利要求1所述的方法，进一步包括：通过在所述AR装置上运行的AR应用程序使用所述AR装置相对于所述机器人基座参考系的位置和取向，以便在所述AR装置的显示器上正确地描绘虚拟元素。12.根据权利要求1所述的方法，其中，当所述机器人停放在静止位置时，发生提供所述位置数据、计算所述机器人的所述3D模型、捕获所述图像或传感器数据并且将所述图像或传感器数据与所述3D模型进行比较。13.根据权利要求1所述的方法，其中，当所述机器人运行运动程序时，提供所述位置数据、计算所述机器人的所述3D模型、捕获所述图像或传感器数据并且将所述图像或传感器数据与所述3D模型进行比较。
14.一种用于将增强现实(AR)装置校准到机器人基座参考系的系统，所述系统包括：工业机器人，具有多个结构组件；机器人控制器，与机器人通信，所述控制器包括处理器和存储器，并配置有机器人操作控制软件；以及增强现实(AR)装置，与所述机器人控制器通信，所述AR装置具有一个或多个相机或对象传感器、位置跟踪传感器、显示器以及...

【专利技术属性】
技术研发人员：肯尼思，
申请(专利权)人：发纳科美国公司，
类型：发明
国别省市：