验证和更新机器人控制用相机校准的方法和控制系统技术方案

本公开涉及验证和更新机器人控制用相机校准的方法和控制系统。提出一种用于相机校准验证的机器人控制系统和方法。机器人控制系统被配置成进行第一相机校准，控制机械臂把验证符号移动到参考位置。机器人控制系统还从相机接收验证符号的参考图像，并确定验证符号的参考图像坐标。机器人控制系统还控制机械臂在空闲期内把验证符号再次移动到参考位置，接收验证符号的附加图像，并确定验证图像坐标。机器人控制系统基于参考图像坐标和验证图像坐标确定偏差参数值，判定偏差参数值是否超过规定阈值，并且如果规定阈值被超过，那么进行第二相机校准。

Verify and update camera calibration method and control system for robot control

【技术实现步骤摘要】
验证和更新机器人控制用相机校准的方法和控制系统本申请是申请日为2019年6月4日、题为“验证和更新机器人控制用相机校准的方法和控制系统”的专利技术专利申请201910478785.6的分案申请。
本专利技术涉及验证和更新机器人控制用相机校准的方法和控制系统。
技术介绍
随着自动化越来越普遍，机器人被用于更多的环境中，比如在仓储和制造环境中。例如，机器人可以用来将货物装载到仓库中的托盘上或者从托盘上取下，或者可以用来从工厂的传送带上捡取物品。机器人的运动可以是固定的，或者可以是基于输入的，比如仓库或工厂中的相机拍摄的图像。在后一情况下，可以进行校准，以便确定相机的性质，和确定相机与机器人所处环境之间的关系。所述校准可被称为相机校准，可基于相机拍摄的图像，生成用于控制机器人的相机校准信息。在一些实现中，相机校准可涉及可手动控制机器人的运动或者可手动控制相机拍摄机器人的图像的人的手动操作。
技术实现思路
本文中的实施例的一个方面涉及进行机器人控制用相机校准验证。相机校准验证可由包括通信接口和控制电路的机器人控制系统进行。通本文档来自技高网...

【技术保护点】
1.一种机器人控制系统，包括：/n通信接口，所述通信接口被配置成和具有基座和上面布置有验证符号的机械臂的机器人通信，并且和具有相机视野的相机通信；和/n控制电路，所述控制电路被配置成/n进行第一相机校准，以确定与相机关联的相机校准信息，/n通过经通信接口向机器人输出第一运动命令，控制机械臂在第一相机校准期间或之后将验证符号移动到在相机视野内的位置，所述位置是用于第一相机校准的验证的一个或多个参考位置中的参考位置，/n经通信接口从相机接收验证符号的图像，其中相机被配置成拍摄在所述参考位置处的验证符号的图像，所述图像是验证用参考图像，/n确定验证符号的参考图像坐标，所述参考图像坐标是在参考图像中出...

【技术特征摘要】
20190329 US 16/369,6301.一种机器人控制系统，包括：
通信接口，所述通信接口被配置成和具有基座和上面布置有验证符号的机械臂的机器人通信，并且和具有相机视野的相机通信；和
控制电路，所述控制电路被配置成
进行第一相机校准，以确定与相机关联的相机校准信息，
通过经通信接口向机器人输出第一运动命令，控制机械臂在第一相机校准期间或之后将验证符号移动到在相机视野内的位置，所述位置是用于第一相机校准的验证的一个或多个参考位置中的参考位置，
经通信接口从相机接收验证符号的图像，其中相机被配置成拍摄在所述参考位置处的验证符号的图像，所述图像是验证用参考图像，
确定验证符号的参考图像坐标，所述参考图像坐标是在参考图像中出现验证符号之处的坐标；
通过经通信接口向机器人输出基于相机校准信息的第二运动命令，基于相机校准信息，控制机械臂的运动，以进行机器人操作；
检测机器人操作期间的空闲期；
通过经通信接口向机器人输出第三运动命令，控制机械臂在空闲期内把验证符号至少移动到所述参考位置；
在空闲期内，经通信接口从相机接收验证符号的附加图像，其中相机被配置成拍摄至少在所述参考位置处的验证符号的附加图像，所述附加图像是验证用验证图像；
确定用于验证的验证图像坐标，该验证图像坐标是在验证图像中出现验证符号之处的坐标；
基于参考图像坐标和验证图像坐标之间的偏差量，确定偏差参数值，参考图像坐标和验证图像坐标二者与参考位置关联，其中偏差参数值指示自第一相机校准以来的相机的变化，或者自第一相机校准以来相机和机器人之间的关系的变化，
判定偏差参数值是否超过规定阈值，和
响应于偏差参数值超过规定阈值的判定，进行第二相机校准，以确定更新的相机校准信息。


2.按照权利要求1所述的机器人控制系统，其中控制电路被配置成响应于偏差参数值未超过规定阈值的判定，通过经通信接口向机器人输出第四运动命令，控制机器人在空闲期之后继续进行机器人操作，而不进行附加相机校准。


3.按照权利要求1所述的机器人控制系统，其中所述一个或多个参考位置是分别对应于多个参考图像坐标的多个参考位置，所述参考图像坐标是多个参考图像坐标之一，
其中控制电路还被配置成确定分别对应于多个参考位置的多个验证图像坐标，其中所述验证图像坐标是多个验证图像坐标之一，和
其中所述偏差参数值基于多个参考位置的多个参考图像坐标和多个验证图像坐标之间的各个偏差量，其中各个偏差量中的每个偏差量是：(a)与多个参考位置中的相应参考位置对应的参考图像坐标，与(b)对应于同一参考位置的验证图像坐标之间的偏差量。


4.按照权利要求3所述的机器人控制系统，其中多个验证图像坐标是在多个验证图像中出现验证符号之处的各个坐标，所述验证图像是多个验证图像之一，并且其中控制电路被配置成控制相机在所述空闲期内拍摄所有多个验证图像。


5.按照权利要求3所述的机器人控制系统，其中多个验证图像坐标是在多个验证图像中出现验证符号之处的各个坐标，所述验证图像是多个验证图像之一，并且其中控制电路被配置成控制相机在不同的空闲期内拍摄多个验证图像，所述空闲期是不同的空闲期之一。


6.按照权利要求1所述的机器人控制系统，其中验证符号包括具有第一种颜色的第一区域和具有第二种颜色的第二区域，其中作为规定的比率，定义第一区域的面积与第二区域的面积之比，并保存在机器人控制系统的存储设备上。


7.按照权利要求6所述的机器人控制系统，其中控制电路被配置成基于规定的比率，识别参考图像或验证图像中的验证符号。


8.按照权利要求7所述的机器人控制系统，其中机械臂上布置有校准图案，其中参考图像包括验证符号和校准图案，
其中控制电路被配置成通过判定参考图像的一部分是否包括具有第一种颜色的第一图像区域和包括具有第二种颜色的第二图像区域，以及第一图像区域的面积与第二图像区域的面积之比是否等于规定的比率，来判定参考图像的所述部分是验证符号还是校准图案。


9.按照权利要求1所述的机器人控制系统，其中验证符号包括彼此同心的第一形状和第二形状，其中第一形状和第二形状的相应中心实质上在同一位置。


10.按照权利要求9所述的机器人控制系统，其中控制电路被配置成通过以下操作确定参考图像坐标：
确定参考图像中第一形状的中心的第一坐标；
确定参考图像中第二形状的中心的第二坐标；和
把参考图像坐标确定为参考图像中第一坐标和第二坐标的平均值，和
其中控制电路被配置成通过以下操作确定验证图像坐标：
确定验证图像中第一形状的中心的第一坐标；
确定验证图像中第二形状的中心的第二坐标；和
把验证图像坐标确定为验证图像中第一坐标和第二坐标的平均值。


11.按照权利要求1所述的机器人控制系统，其中控制电路被配置成通过识别圆环，来识别参考图像或验证图像中的验证符号，所述验证符号形状为圆环。


12.按照权利要求1所述的机器人控制系统，其中控制电路还被配置成
确定机器人所在环境的温度；和
基于测量的温度，调整规定阈值或相机校准信息至少之一。


13.按照权利要求12所述的机器人控制系统，其中控制电路被配置成通过以下操作基于温度来调整规定阈值：
当温度在规定范围之外时，把规定...

【专利技术属性】
技术研发人员：R·伊斯兰，叶旭涛，出杏光鲁仙，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP