本发明专利技术公开了一种新型机器人抓取目标的臂手装置及方法，所述装置包括：视频采集模块、上位计算机、机械臂模块及机械手模块；所述方法包括：S1，对视频采集模块进行内外参数的标定；S2，对所采集图像信息中的目标对象进行识别与定位；S3，控制机械臂移动到目标位置，并利用机械手进行精细抓取。本发明专利技术方案利用传感器、控制器操作机械臂、手实现了非结构环境下对目标物体的自主精细抓取。
A new arm grasping device and method for grasping robot's target
The invention discloses an arm hand device and method for a new robot to capture a target. The device includes: a video acquisition module, a upper computer, a mechanical arm module and a manipulator module. The method includes: S1, the calibration of the internal and external parameters of the video acquisition module; S2, the target object in the collected image information. To identify and locate, S3 controls the movement of the manipulator to the target position and makes use of the manipulator for fine grasping. The scheme uses sensors and controllers to manipulate mechanical arms and hands to realize autonomous fine grasping of target objects in unstructured environment.
【技术实现步骤摘要】
一种新型机器人抓取目标的臂手装置及方法
本专利技术属于机器人视觉定位及抓取，涉及一种新型机器人抓取目标的臂手装置及方法。
技术介绍
21世纪以来，随着机器人技术的不断成熟，机器人技术得到了更广泛应用。从工业机器人发展到服务型机器人，机器人逐渐走入了人们的日常生活当中，给我们带来了诸多方便。随着人类物质生活水平的提高及精神生活的日益丰富，未来机器人将跟人类更密切的联系在一起。随着机器视觉与机器人技术的发展,服务机器人越来越智能化,如日本本田公司生产的仿人机器人ASIMO已能够完成接待客人、准备早餐等任务。智能服务机器人的核心技术包括目标抓取、定位、导航、人机交互、环境感知等。在家庭、办公、医护等环境中，智能服务机器人通常需要完成一些自主抓取任务，如传递物品、清理桌面等，这需要机器人能够快速准确地完成对环境中物体的定位与识别，以及实现对目标物体的精细抓取。然而，环境的复杂性与物体的多样性给机器人自主实现物体定位与识别带来了很大的挑战。论文“双目立体视觉的目标识别与定位，智能系统学报,2011,6(4):303-311，尚倩,阮秋琦,李小利”，采用双目立体视觉实现目标识别与定位；该双目立体视觉系统主要包括摄像机标定、图像分割、立体匹配和3维测距4个模块，其中立体匹配是双目视觉定位的最关键的一步，但实现目标区域的准确立体匹配较难，且立体匹配的不准确将直接导致所获取的深度信息产生偏差，同时其实时性是双目和多目定位视觉系统面临的最大挑战。论文“基于Kinect的机械臂目标抓取，智能系统学报,2013,8(2):149-155，韩峥,刘华平,黄文炳,等”，利用Kinect实现目标识别与定位，其定位前采用张正友棋盘标定法标定摄像头内外参数，在识别物体时采用基于深度信息的背景相减法，但该方法只适用于物体变动检测。论文“AcasestudyofobjectidentificationusingaKinectsensor，2013IEEEInternationalConferenceonSystems,Man,andCybernetics(SMC).2013:1743-1747，HuangZY,HuangJT,HsuCM”，利用Kinect采集的RGB与深度信息，生成点云，并利用点云分割来实现目标物体识别，但该方法的实时性较差，且对算法优化要求较高。
技术实现思路
本专利技术目的在于提供一种新型机器人抓取目标的臂手装置及方法，利用深度分割、颜色与形状特征分割实现了目标的识别与定位，利用变积分PID控制机械手的抓取，有效地解决了非结构环境中对目标物体定位及识别不及时、不准确，从而导致机器人无法自主精确抓取的问题。为解决上述技术问题，本专利技术采用如下的技术方案：一种新型机器人抓取目标的臂手装置及方法，其中，所述装置包括：视频采集模块、上位计算机、机械臂模块及机械手模块；其中，所述视频采集模块与上位计算机相连；所述上位计算机与机械臂模块通过以太网相连；所述上位计算机与机械手模块通过串口相连。进一步地，所述视频采集模块采用的是微软的Kinect传感器，主要负责采集深度信息和RGB图像信息。进一步地，所述机械臂模块采用UR5机械臂，共有6个自由度，机械臂末端的最大负荷为5kg。进一步地，所述机械手模块采用SHU-II灵巧手，安装在机械臂的末端，实现物体的抓取功能。进一步地，所述上位计算机用于对从Kinect传感器接收的信息进行处理后，实现对机械臂及机械手的控制。所述方法包括：S1，对视频采集模块进行内外参数的标定；S2，对所采集图像信息中的目标对象进行识别与定位；S3，控制机械臂移动到目标位置，并利用机械手进行精细抓取。进一步地，所述步骤S1中，采用张正友棋盘标定法(出自论文Aflexiblenewtechniqueforcameracalibration[J],作者张正友，IEEETransactionsonPatternAnalysis&MachineIntelligence,2000,22(11):1330-1334)对摄像头进行标定。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案利用传感器、控制器操作机械臂、手实现了非结构环境下对目标物体的自主精细抓取。附图说明图1是新型机器人抓取目标的臂手系统的结构框图。图2是新型机器人抓取目标的臂手装置实现的方法流程图。图3是安装在手指指节处的压力传感器的F-U特性曲线。图4是不同果蔬与手指各指节接触时的压力值。图5是新型机器人抓取目标的臂手系统的工作流程图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参照图1，本专利技术的一种新型机器人抓取目标的臂手装置及方法，其中，所述装置包括：视频采集模块、上位计算机、机械臂模块及机械手模块；所述视频采集模块与上位计算机相连；所述上位计算机与机械臂模块通过以太网相连；所述上位计算机与机械手模块通过串口相连。其中，所述视频采集模块采用的是微软的Kinect传感器，即一个3D视觉传感器；它是由一个红外线(infraredradiation，IR)投射器、一个红外摄像头和一个RGB摄像头组成；IR投射器和IR摄像头负责生成深度图像，而RGB摄像头负责采集RGB彩色图像，其分辨率可以达到640×480。本专利技术中，Kinect传感器主要负责采集深度信息和RGB图像信息。所述机械臂模块采用UR5机械臂，共有6个自由度，机械臂末端的最大负荷为5kg；所述机械手模块采用SHU-II灵巧手，安装在机械臂的末端，实现物体的抓取功能。该灵巧手共有5个手指，每个手指的运动通过电机拉动与手指连接的牵引线来实现，由于其手指关节嵌入弹簧片，故控制手指的抓取只需精确控制电机的方向和转速；另外，拇指除了弯曲自由度外还有一个向左向右的自由度。通过与电机相连接的磁编码器精确测量手指的位置，这是因为在每个手指的3个关节处安装了灵敏度很高的压力传感器。因此，该灵巧手在抓取时能根据目标物体的形状、大小和硬度实现自适应控制。所述上位计算机为主控制计算机，其主要功能是处理Kinect采集的深度与RGB图像数据，计算出目标物体的3维坐标信息。通过TCP/IP网络与机械臂控制台进行通信，实现机械臂控制；并通过串口通信发送指令控制灵巧手，实施抓取动作。开发平台VisualStudio2010，配置OpenNI采集Kinect获取的深度信息和RGB信息，并配置OpenCV处理获取的深度信息和RGB信息，实现对目标物体的识别与定位。参照图2，所述方法包括：S1，对视频采集模块进行内外参数的标定；为了实现对目标物体的精确定位，首先需要对Kinect进行标定。目前，Kinect标定主要包括摄像头标定，以及深度图像与RGB图像重合。采用OpenNI自带的函数已经可以很好地解决深度与RGB图像的校正，故Kinect标定问题为摄像头标定问题。目前摄像头标定方法很多，本系统采用了张正友棋盘标定法，该方法标定过程简单，操作方便。在标定时，摄像头模型采用针孔模型，其定义如下：sm＝A[Rt]M，(1)即式中，(XW，YW，ZW)为世界坐标系下某点坐标；(u，v)为(XW，YW，ZW)点投影在图像平面的坐标；A为摄像本文档来自技高网...
【技术保护点】
一种新型机器人抓取目标的臂手装置，其特征在于，所述装置包括：视频采集模块、上位计算机、机械臂模块及机械手模块；其中，所述视频采集模块与所述上位计算机相连；所述上位计算机与所述机械臂模块通过以太网相连；所述上位计算机与所述机械手模块通过串口相连。
【技术特征摘要】
1.一种新型机器人抓取目标的臂手装置，其特征在于，所述装置包括：视频采集模块、上位计算机、机械臂模块及机械手模块；其中，所述视频采集模块与所述上位计算机相连；所述上位计算机与所述机械臂模块通过以太网相连；所述上位计算机与所述机械手模块通过串口相连。2.根据权利要求1所述的一种新型机器人抓取目标的臂手装置，其特征在于，所述视频采集模块采用的是微软的Kinect传感器，主要负责采集深度信息和RGB图像信息。3.根据权利要求1所述的一种新型机器人抓取目标的臂手装置，其特征在于，所述机械臂模块采用UR5机械臂，共有6个自由度，机械臂末端的最大负荷为5kg。...
【专利技术属性】
技术研发人员：杨旭，覃争鸣，陈墩金，
申请(专利权)人：广州映博智能科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。