本发明专利技术主要基于近期微软公司推出的一款Kinect?的体感摄像机，来实现人体目标的检测和跟踪，本文利用Kinect?的人体骨架检测技术能精确判断出目标物的位置以及试验者的意图，避免交接时候出现危险，而且提出了基于工作空间的RRT算法来实现路径规划。通过反复试验验证本系统可以安全的进行人际交接。
【技术实现步骤摘要】
本专利技术涉及图像处理和目标跟踪技术，特别涉及一种安全的人机协作。
技术介绍
传统的研究人机交接系统，主要是依靠参与者来配合机器人的工作，而且要求试验者高度的集中精力，以免在实验的过程中发生危险，这样给试验者带来了很大的压力。一般的跟踪技术大都是基于二维图片技术来的，以前大多数利用HMM方法来识别人手的动作，Weinland等在2007年将HMM方法和三维建模结合起来识别人的运动，由于上述是基于2维空间即使没有干扰下精度也不是很高。Wu等在2007年利用RFID方法在试验者手腕贴标签的方法来跟踪和识别。常用来进行目标检测的方法主要有三种，包括背景相减法、光流计算法和帧差法。其中光流法的优势是在摄像机运动的情况下检测出独立运动的目标，但其抗噪性差且计算量较大，不适合实时处理；帧差法的优势是可以很好的适应动态环境，但由于位置不准确，不能很好的提取出运动目标的所有相关点；传统的背景相减法首先要在没有目标出现的场景中提取一个背景模型，并保存为背景图像，然后将当前帧与背景模型相减。如果象素值相减的结果大于某一特定值(即阈值)，则可确定该象素点是运动目标上的某点，否则属于背景图像。背景相减法得到的结果可以确定出目标的位置以及形状等信息，然而此方法对外界环境比如光线、天气等的变化比较敏感，同时容易受到目标运动过程阴影的影响。传统的路径规划算法有多边形拟合法、栅格法、人工势场法、遗传算法等。但这些方法都需要在个确定的空间内对障碍物进行建模，计算复杂度与机器人自由度呈指数关系，不适合解决多自由度机器人在复杂环境中的规划。新的基于快速扩展随机树(RRT)的路径规划算法，通过对状态空间中 的采样点进行碰撞检测，避免了对空间的建模，能够有效地解决高维空间和复杂约束的路径规划问题。该方法的特点是能够快速有效地搜索高维空间，通过状态空间的随机采样点，把搜索导向空白区域，从而寻找到一条从起始点到目标点的规划路径，适合解决多自由度机器人在复杂环境下和动态环境中的路径规划。但是，基于关节空间的RRT方法有以下的不足:1.基于关节空间的RRT法无法解决CP(Continue-path_problem,连续路径问题)问题和准CT问题(quas1-continuoustrajectory problem,即仅部分限定末端执行器的运动轨迹)。2.基于关节空间的RRT法无法预知机械臂末端执行器运动轨迹，造成末端执行器运动与关节运动分离，不利于任务的完成。总的来说，如果需要控制或者约束机械臂末端执行器的运动轨迹，基于关节空间的RRT法是无能为力的
技术实现思路
针对上述问题，本专利技术所涉及的一种基于KinecU 摄像机的人机协作的装置及其方法，可以精确的对空间位置进行定位，可通过人体骨骼的提取方法可以容易的获取人体信息，可通过图像计算中的聚类方法可以精确的得到目标物的位置信息，可利用基于工作空间的快速扩展随机算法可以得到较好的壁障效果，可以为双臂机器人协作打下基础。本专利技术为了实现上述目的，可以使用以下方案:本专利技术提供了一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有:至少I个机械手，用于抓握目标物；至少I个机械臂，机械臂的底部为基座，机械臂的末端安装有机械手;至少I个Kinecti)摄像机，对空间位置进行立体定位，采集彩色图像信息、深度图像信息和试验员的骨骼信息；至少I个棋盘格，用于标定机械臂末端的位置；以及至少I台计算机，其中，计算机用于处理彩色图像信息、深度图像信息和骨骼信息，处理空间位置的相互关系，实现对目标物进行跟踪和与试验员进行协作，计算机与机械臂通过控制器局域网络总线连接，并且控制机械臂的运动与机械手的运动。本专利技术所涉及的人机协作装置所实现的人机协作的方法，其特征在于，具有以下步骤:将基座的中心点作为三维空间坐标系的基准点建立基准坐标系，将末端作为中心点建立末端坐标系；采用Kirmcl. 摄像机发射红外激光，采集彩色图像信息和深度图像信息，然后对空间位置进行立体定位，从而建立以K inocU 摄像机为中心点的Rineet 摄像机坐标系；将棋盘格安装在末端，采用Kineet 摄像机采集棋盘格的格点的彩色图像信息和深度图像信息,得到棋盘格在Kinect 摄像机坐标系的坐标位置，从而标定末端在Kineet 摄像机坐标系的坐标；采用Kinect+ 摄像机发射红外激光识别目标物和试验员的运动，Ki'nuct+ 摄像机将采集的骨骼信息，实现对目标物和试验员的人体骨骼的跟踪，快速获取试验员的手腕位置，定位目标物的大致位置信息；采用Kinect 摄像机获取目标物周围的彩色图像信息和深度图像信息，采用计算机基于目标物周围的彩色图像信息和深度图像信息通过图像处理技术中的聚类算法提取试验员手中目标物的坐标位置信息；采用计算机将基准坐标系,末端坐标系和Kinect 摄像机坐标系相互之间通过旋转矩阵和平移矩阵的方法统一到一个坐标系中；采用计算机根据末端相对于基准坐标系的坐标位置、姿态和速度关系，并根据平移矩阵，旋转矩阵和速度矩阵的参数，精确控制机械臂的坐标位置、姿态、速度；采用计算机根据目标物的坐标位置，调整末端姿态使得机械手靠近目标物，并完成机械手对目标物的抓取。在本专利技术所涉及的人机协作方法，计算机对机械臂的运动进行基于工作空间的快速扩展随机树路径规划算法，先确定机械臂末端的运动路径，然后确定机械臂各个关节的运动路径。专利技术效果本专利技术提供的人机协作的装置及方法，其具有:机械臂，机械手，KinocU 摄像机，棋盘格以及计算机。通过Kinect 摄像机可以对空间位置进行精确定位，并通过获得人体骨骼运动的节点和聚类的图像处理技术，快速确定目标物的精确位置，解决了抗噪性差、计算量较大和定位不准确的问题，同时不容易受到目标物运动过程阴影的影响，利用基于工作空间的快速扩展随机数路径规划算法，模拟了人的手臂的运动规律，适合解决多自由度机器人在复杂环境中的规划。附图说明图1是人机协作装置的示意图。图2是人机协作装置中Power Cube模块化机械臂通讯结构图。图3是人机协作装置中Barrett Hand机械手的外形及尺寸图。图4是人机协作装置中Kinect, 及其图像坐标系与各坐标系的变换关系图。图5是人机协作装置中Kinect 人体骨骼检测流程图。图6是8 X 8棋盘格标定示意图。图7是Kinect 人体骨骼检测示意图。图8是基于工作空间的快速扩展随机树路径规划算法(RRT算法)节点扩展过程示意图。具体实施方法以下结合附图对本专利技术涉及的一种基于Kinect 摄像机的人机协作装置及方法的优选实施例做详细阐述，但本专利技术并不仅限于该实施例。为了使公众对本专利技术有彻底的了解，在以下本专利技术优选实施例中详细说明了就具体的细节。图1为人机协作装置的示意图。如图1所示，本专利技术所涉及的人机协作装置包括了Kinect 摄像机101，计算机102，模块化机械臂103，以及机械手104。在以Kinoct 摄像机为中心点建立了摄像机坐标系，以位于机械臂底部的基座的中心为中心点建立基准坐标系，计算机通过控制器局域网络总线(CAN)对机械臂的姿态，速度和运动轨迹进行规划和控制。图2为人机协作装置中Power Cube模块化机械臂通讯结构图。如图2所示，本专利技术所涉及的机械本文档来自技高网...
【技术保护点】
一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有：至少1个机械手，用于抓握所述目标物；至少1个机械臂，所述机械臂的底部为基座，所述机械臂的末端安装有所述机械手；至少1个?摄像机，对空间位置进行立体定位，采集彩色图像信息、深度图像信息和所述试验员的骨骼信息；至少1个棋盘格，用于标定所述末端的位置；以及至少1台计算机，其中，所述计算机用于处理所述彩色图像信息、所述深度图像信息和所述骨骼信息，处理所述空间位置的相互关系，实现对所述目标物进行跟踪和与所述试验员进行协作，所述计算机与所述机械臂通过控制器局域网络总线连接，并且控制所述机械臂的运动与所述机械手的运动。FDA0000297699861.jpg
【技术特征摘要】
1.一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有: 至少I个机械手，用于抓握所述目标物； 至少I个机械臂，所述机械臂的底部为基座，所述机械臂的末端安装有所述机械手； 至少I个Kinect 摄像机，对空间位置进行立体定位，采集彩色图像信息、深度图像信息和所述试验员的骨骼信息； 至少I个棋盘格，用于标定所述末端的位置；以及 至少I台计算机， 其中，所述计算机用于处理所述彩色图像信息、所述深度图像信息和所述骨骼信息，处理所述空间位置的相互关系，实现对所述目标物进行跟踪和与所述试验员进行协作，所述计算机与所述机械臂通过控制器局域网络总线连接，并且控制所述机械臂的运动与所述机械手的运动。2.一种用根据权利要求1所述的人机协作装置实现人机协作的方法，其特征在于，具有以下步骤: 将所述基座的中心点作为三维空间坐标系的基准点建立基准坐标系，将所述末端作为中心点建立末端坐标系； 采用所述摄像机发射红外激光，采集彩色图像信息和深度图像信息，然后对所述空间位置进行立体定位，从而建立以Kinecti)摄像机为中心点的Kinecti 摄像机坐标系； 将所述棋盘格安装在所述末端，采用所述Kinect 摄像机采集所述棋盘格的格点的彩色图像信息和深度图像信息，得到所述棋盘格在所述KinccI 摄像机坐标...
【专利技术属性】
技术研发人员：黄诚，胡彩虹，贺波，许伟明，张磊，朱记全，邱展辉，张大庆，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。