一种机器人的控制方法及装置制造方法及图纸

本申请提供一种机器人的控制方法及装置，用于机器人系统中，所述机器人系统包括机械臂、机械臂末端工具以及摄像机，所述方法包括：获取所述摄像机拍摄的图像，将所述图像转换为基准图像；根据所述基准图像，检测待操作的目标对象；在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。

A Robot Control Method and Device

The present application provides a control method and device for a robot system, which includes a manipulator, a manipulator end tool and a camera. The method includes: acquiring the image captured by the camera, converting the image into a reference image, detecting the target object to be operated according to the reference image, and determining the target object of the camera. When the pose satisfies the operating conditions of the end tool of the manipulator for the target object, the first actual motion strategy of the end tool of the manipulator is determined based on the motion control model, in which the position between the camera and the end tool of the manipulator is relatively fixed, and the motion control model is trained in the reference environment; and according to the first actual motion strategy, the position of the end tool of the manipulator is relatively fixed. The motion of the tool at the end of the manipulator is controlled to complete the action on the target object, thereby avoiding the failure of grasping the object caused by the installation error between the camera and the end of the manipulator.

【技术实现步骤摘要】
一种机器人的控制方法及装置
本申请涉及机器人
，特别涉及一种机器人的控制方法及装置。
技术介绍
机器人一般安装有摄像机，利用摄像机获取到的图像，机器人可以控制机械臂末端执行做各种动作。摄像机相当于机器人的“眼睛”，机械臂末端相当于机器人的“手”，通过手眼之间的配合完成预先设置的动作任务。在控制机器人的机械臂末端执行对目标对象的操作动作的过程中，一个重要的步骤就是求解目标对象与机器人末端之间的相对位置关系。一种具体方法是：采集目标对象图像数据并标注图像中目标对象与摄像机之间的相对位置关系，进而训练一运动控制模型，每次根据输入的图像数据、输出机械臂末端的运动策略以调整机械臂末端向目标对象移动，运动控制模型判断出目标对象和机械臂末端之间的位置关系满足操作条件的情况下，机械臂末端工具执行操作指令完成对目标对象的操作。由于运动模型是基于基准环境采集数据训练而成的，在实际环境中摄像机存在安装误差或实际摄像机参数与采集样本数据时的摄像机参数不一致的情况下，直接套用原来训练好的模型会引入较大误差，导致机械臂末端工具对目标对象操作失败。
技术实现思路
有鉴于此，本申请实施例提供了一种机器人的控制方法及装置，以解决现有技术中存在的技术缺陷。本申请实施例公开了一种机器人的控制方法，用于机器人系统中，所述机器人系统包括机械臂、机械臂末端工具以及摄像机；所述方法包括：a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像；a4、根据所述基准图像，检测待操作的目标对象；a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。在本申请的一个示意性的实施方案中，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，包括：根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。在本申请的一个示意性的实施方案中，所述实际环境中所述机械臂末端工具的第一实际运动策略通过以下公式求得：T1＝E1-1*E0*T0其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。在本申请的一个示意性的实施方案中，在步骤a4之后，所述方法还包括：a10、在所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行步骤a2。在本申请的一个示意性的实施方案中，将所述摄像机拍摄的图像转换为所述基准图像，包括：获取在基准环境中的基准摄像机的内参数；获取当前的所述摄像机的内参数；根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。在本申请的一个示意性的实施方案中，通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：其中，所述基准图像为基准环境中所述摄像机中的图像；(u，v)为目标点在基准摄像机坐标系中的坐标值；(u'，v')为目标点在当前的所述摄像机坐标系中的坐标值；u0，v0，fu，fv为基准摄像机的内参数；u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。在本申请的一个示意性的实施方案中，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。本申请实施例公开了一种机器人的控制装置，设置于机器人系统中，所述机器人系统包括机械臂、机械臂末端工具以及摄像机，所述装置包括：转换模块，用于获取所述摄像机拍摄的图像，将所述图像转换为基准图像；检测模块，用于根据所述基准图像，检测待操作的目标对象；实际运动策略确定模块，用于在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；运动控制模块，用于根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。在本申请的一个示意性的实施方案中，所述实际运动策略确定模块包括：误差计算模块，用于根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；基准运动策略确定模块，用于根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；实际运动策略计算模块，用于根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。在本申请的一个示意性的实施方案中，实际运动策略计算模块通过以下公式计算得到所述实际环境中所述机械臂末端工具的第一实际运动策略：T1＝E1-1*E0*T0其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。在本申请的一个示意性的实施方案中，所述装置还包括：调整模块，用于若所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行所述转换模块。在本申请的一个示意性的实施方案中，所述转换模块包括：第一参数获取模块，用于获取在基准环境中的基准摄像机的内参数；第二参数获取模块，用于获取当前的所述摄像机的内参数；参数误差获取模块，用于根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；基准图像获取模块，用于根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。在本申请的一个示意性的实施方案中，所述转换模块通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：其中，所述基准图像为基准环境中所述摄像机中的图像；(u，v)为目标点在基准摄像机坐标系中的坐标值；(u'，v')为目标点在当前的所述摄像机坐标系中的坐标值；u0，v0，fu，fv为基准摄像机的内参数；u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。在本申请的一个示意性的实施方案中，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。本申请实施例公开了一种计算设备，包括存储器、处理本文档来自技高网...

【技术保护点】
1.一种机器人的控制方法，其特征在于，用于机器人系统中，所述机器人系统包括机械臂、机械臂末端工具以及摄像机；所述方法包括：a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像；a4、根据所述基准图像，检测待操作的目标对象；a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。

【技术特征摘要】
1.一种机器人的控制方法，其特征在于，用于机器人系统中，所述机器人系统包括机械臂、机械臂末端工具以及摄像机；所述方法包括：a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像；a4、根据所述基准图像，检测待操作的目标对象；a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。2.根据权利要求1所述的机器人的控制方法，其特征在于，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，包括：根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。3.根据权利要求2所述的机器人的控制方法，其特征在于，所述实际环境中所述机械臂末端工具的第一实际运动策略通过以下公式求得：T1＝E1-1*E0*T0其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。4.根据权利要求1所述的机器人的控制方法，其特征在于，在步骤a4之后，所述方法还包括：a10、在所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行步骤a2。5.如权利要求1所述的机器人的控制方法，其特征在于，将所述摄像机拍摄的图像转换为所述基准图像，包括：获取在基准环境中的基准摄像机的内参数；获取当前的所述摄像机的内参数；根据所述摄像机的内参数以及所述...

【专利技术属性】
技术研发人员：刘健冉，
申请(专利权)人：北京猎户星空科技有限公司，
类型：发明
国别省市：北京,11