一种基于ROS系统的视觉定位及机械臂抓取实现方法技术方案

本发明专利技术提出一种基于ROS系统的视觉定位及机械臂抓取实现方法，实现过程如下：首先，相机置于待抓取物体的上方或侧上方并获取被抓取物体及附属标记的图像，输入到上位机；然后在上位机上配置相机驱动，读取相机的图像并利用特定的算法进行数据处理，获取物体相对于相机和机械臂的空间坐标并给出运动规划参数值发送给下位机；最后下位机接收并解析上位机发送的运动信息，驱动机械臂按照预定动作进行执行抓取。本发明专利技术提出的基于ROS系统的单目视觉定位及机械臂抓取实现方法可以有效地利用上位机强大的处理运算能力，又容易实现机械臂及上位机的布局和多机械臂协同工作，同时采用ROS系统可以轻松实现机械臂运动规划具有广泛的应用前景。

A method of vision localization and robotic arm grasping based on ROS system

The invention provides a method for realizing visual positioning and manipulator grasping based on ROS system, the realization process is as follows: firstly, to grasp the object above the camera on or over the side and get image capture objects and accessory markers, input to the computer; then in the PC configuration on the camera driver, camera and image reading the data are processed with a specific algorithm to obtain object relative to the camera and space coordinate manipulator motion planning and gives the parameters sent to the lower machine; finally the lower machine motion information receiving and analyzing the host computer to send the driving mechanical arm grasping execution according to a predetermined action. Monocular vision positioning and manipulator grasping ROS system implementation method can effectively use the PC powerful processing capability based on the present invention, and easy realization of the mechanical arm and the upper machine layout and multi robot cooperative work, and the ROS system can easily realize the mechanical arm motion planning has a broad application prospect.

【技术实现步骤摘要】
一种基于ROS系统的视觉定位及机械臂抓取实现方法
本专利技术属于机械臂控制和运动规划领域，特别是一种基于ROS系统的视觉定位及机械臂抓取实现方法。
技术介绍
机械臂是在机器人领域中应用最广泛的一种自动化装置，尤其是多自由度机械臂在机械制造、汽车、半导体、医疗、家庭服务等多个领域扮演越来越多的角色，因此机械臂的运动控制一直是研究的热点。目前，机械手臂最主要的应用场景主要有以下几个：1）焊接领域。用于代替人工在不良的焊接环境中执行焊接人物。2）自动化生产线领域。主要用于执行物品的抓取、翻转、物品分拣等动作，提高生产效率。3）医疗领域。主要用于执行精密的医疗操作，如微创手术等。4）服务领域。配合移动机器人，机械臂已经走入生活之中执行如递取物品、收拾杂物等任务。由于条件限制，机械臂的智能性仍然不够高，更多的是执行机械的示教动作，对于多变的环境应用仍然存在诸多问题，本专利技术旨在提高机械臂的智能化和环境适应性。机器视觉属于人工智能的一个分支，简而言之，机器视觉就是用相机代替人眼来对周围环境进行判断和分析，结合一定的算法来实现智能决策，它是一项综合技术，包括图像处理、机械工程技术、控制、电光源照本文档来自技高网...

【技术保护点】
一种基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，包括以下步骤：步骤1：安装相机，并将所述相机连接至上位机；步骤2：配置所述相机在ROS系统下的使用环境；步骤3：所述上位机在ROS系统下进行图像处理，包括：步骤31：读取所述相机的矫正数据，并选择要采用的识别算法；步骤32：定位标记识别，给出空间位置信息；步骤33：将获得的空间位置信息传递给MoveIt模块进行运动规划；步骤4：所述上位机在ROS系统下进行机械臂运动规划；步骤5：将获得的机械臂运动信息队列传递至下位机；步骤6：所述下位机接收机械臂运动信息队列并解析，同时驱动机械臂按照规划的路径执行运动和抓取，并将机械臂的实时位姿...

【技术特征摘要】
1.一种基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，包括以下步骤：步骤1：安装相机，并将所述相机连接至上位机；步骤2：配置所述相机在ROS系统下的使用环境；步骤3：所述上位机在ROS系统下进行图像处理，包括：步骤31：读取所述相机的矫正数据，并选择要采用的识别算法；步骤32：定位标记识别，给出空间位置信息；步骤33：将获得的空间位置信息传递给MoveIt模块进行运动规划；步骤4：所述上位机在ROS系统下进行机械臂运动规划；步骤5：将获得的机械臂运动信息队列传递至下位机；步骤6：所述下位机接收机械臂运动信息队列并解析，同时驱动机械臂按照规划的路径执行运动和抓取，并将机械臂的实时位姿回传至所述上位机。2.根据权利要求1所述的基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，所述步骤2中配置相机的使用环境包括：步骤21：在ROS系统下配置USB_CAM对所述相机进行驱动，同时将所述相机采集的图像信息发布出去；步骤22：在ROS系统下对所述相机进行标定并保存矫正数据；步骤23：执行视觉标识训练。3.根据权利要求2所述的基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，所述执行视觉标识训练的过程为：对于基于ARToolKit的特定标记识别算法，利用在线工具"Tarotaro"训练或者使用ARToolKit提供的mk_patt的离线工具进行训练；对于基于OpenCV_ArUco的识别算法，则利用drawMarker()函数进行创建和训练标识图案。4.根据权利要求2所述的基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，所述步骤32选择的识别算法为基于ARToolKit的识别算法或基于OpenCV_ArUco的识别算法：如果选择基于ARToolKit的识别算法，程序处理过程为：读取预先导入的标识图信息，所述相机获取实时的图像，寻找可靠度最高的标识并定位相机观察到的标识，在标识上放置系统原点，添加ARToolKit帧频计数器，利用不同帧下标识图的位置变化预估标识图空间中的位置并实时发布，同时利用OpenGL在标识图标上绘制坐标系；如果选用基于OpenCV_ArUco的识别算法，首先，获取图像中所有的可疑标识，并依次提取标识图像中的标识位；其次，利用透...

【专利技术属性】
技术研发人员：张光肖，
申请(专利权)人：南京阿凡达机器人科技有限公司，
类型：发明
国别省市：江苏,32