基于双目视觉的机器人目标识别与抓取系统及方法技术方案

本发明专利技术公开了一种基于双目视觉的服务机器人目标识别与抓取系统及方法。本系统包括双目图像采集模块、RFID收发模块、底盘运动模块、避障模块、机械臂控制模块。基于双目视觉的服务机器人目标识别与抓取方法，包括以下步骤：（1）双目摄像机标定；（2）坐标系搭建及转换；（3）目标识别与定位；（4）自主导航和避障；（5）控制机械臂抓取目标物体。本发明专利技术能够让机器人与环境进行智能交互，增强了机器人智能抓取的能力。除了对目标物体的识别和定位，还建立了导航数据库，机器人在定位目标物体后能够自动到达物体所在的区域；本发明专利技术对仿人机械臂控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。

【技术实现步骤摘要】
本专利技术属于机器人
，具体涉及的是一种基于双目视觉的机器人目标识别与抓取系统及方法。
技术介绍
在上世纪60年代开始，机器人应用的相关技术已经成为各大高校及企事业单位的研究重点。在发展初期，机器人主要在结构化的环境中，按照特定的模式帮助人们完成一些危险或者重复性较高的简单工作。但是，随着技术的发展以及人们日常生活需要的提高，机器人面临着非结构化、复杂化等一些问题的挑战。随着计算机技术以及控制技术的发展，机器人的智能化水平越来越高，能够在非结构化的环境中自主地完成一些工作，能够识别出目标物体，经过定位后能够到达目标物体所在的区域，抓取目标物体。原有的服务机器人的功能较为单一，不能满足人们家庭非结构化环境的应用需 求，且存在一定的技术缺陷。第一，原有的服务机器人的功能较为单一，往往只能完成一部分的工作。第二，原有的服务机器人不能自主导航到目标区域，往往需要人们设定路径。第三，原有服务机器人没有引入自由度较高的机械臂，且控制算法较为简单，不能完成相对复杂的动作。
技术实现思路
针对现有技术存在的缺陷，本专利技术的目的是提供一种基于双目视觉的服务机器人目标识别与抓取系统及方法，使机器人在一种非本文档来自技高网...

【技术保护点】
一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于：所述服务机器人控制平台（1）联接双目图像采集模块（2）、RFID收发模块（3）、底盘运动模块（6），壁障模块（4）和机械臂控制模块（5）；？所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发模块（3）为无源型射频标签，含有物品的位置和特征信息；所述的底盘运动模块（6）采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块（4）采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块（5）的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械...

【技术特征摘要】
1.一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于所述服务机器人控制平台(I)联接双目图像采集模块(2 )、RFID收发模块(3 )、底盘运动模块(6 )，壁障模块(4)和机械臂控制模块(5)； 所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发模块(3)为无源型射频标签，含有物品的位置和特征信息；所述的底盘运动模块(6)采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块(4)采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块(5)的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调动作。2.一种基于双目视觉的服务机器人目标识别与抓取方法，采用根据权利要求I所述的基于双目视觉的服务机器人目标识别与抓取系统进行操作，其特征在于，包括以下操作步骤 1)双目摄像机标定利用平面模板法对双目图像采集模块(2)的双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值； 2)坐标系搭建和转换以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值； 3)目标识别与定位采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值； 4)自主导航和避障控制机器人到达目标物体所在区域，通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块(6)自主到达目标物体所在区域，在行走过程中机器人根据壁障模块(4)躲避障碍物； 5)控制机械臂抓取目标物体到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确；要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。3.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤I)双目摄像机标定采用平面模板法对双目摄像机进行标定的具体步骤如下 ①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式； ②、借助8S平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参=数； ③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值； 双目摄像机的标定结果受光线和温度环境因素的影响比较严重，在标定时需要多次标定取均值；在每次试验之前，需要重新对双目摄像机进行标定。4.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下 ①、根据任务特点，以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值； ②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离； ③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值； 在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐...

【专利技术属性】
技术研发人员：晁衍凯，徐昱琳，周勇飞，吕晓梦，王明，
申请(专利权)人：上海大学，
类型：发明
国别省市：