一种基于Kinect传感器的仿人机械手控制方法技术

本发明专利技术公开了一种基于Kinect传感器的仿人机械手控制方法，包括步骤：1)通过Kinect传感器采集数据；2)对采集的数据进行预处理，然后使用相关算法进行手势分割；3)使用DBN神经网络进行手势识别；4)将识别的手势转化成固定格式的指令；5)利用TCP协议进行远程通信，将指令发送到服务器端；6)服务器端接收并识别指令，通过运动学计算得到控制参数；7)服务器端根据控制参数控制机械手的运动。本发明专利技术方法考虑了实际操作的成本及准确率、响应速度等方面的要求，克服了基于数据手套控制成本高及基于鼠标键盘等传统人机交互方式对专业知识有一定要求的问题，具有操作人性化、响应速度快、准确率高的优点，并且具有很好的鲁棒性。

A humanoid manipulator control method based on Kinect sensor

The invention discloses a method comprising the steps of humanoid manipulator control method based on Kinect sensor: 1) through the Kinect data acquisition sensor; 2) for the data, and then use the related algorithm for gesture segmentation; 3) for gesture recognition using DBN neural network; 4) will be converted into the gesture fixed format instruction; 5) for remote communication using TCP protocol to send instructions to the server; 6) the server receives the instruction and recognition, control parameters calculated by kinematics; 7) server according to the control parameters of the manipulator. The method considers the actual operation cost and accuracy, response speed and other requirements, to overcome the high cost control based on data glove and mouse keyboard and other traditional human-computer interaction based on the professional knowledge of certain requirements, with humanized operation, fast response speed, higher accuracy, and has robust good.

【技术实现步骤摘要】
一种基于Kinect传感器的仿人机械手控制方法
本专利技术涉及人机交互领域，尤其是指一种基于Kinect传感器的仿人机械手控制方法。
技术介绍
随着机器人学的发展，机器人的应用领域在不断拓宽，机器人作业的任务和环境的复杂性不断增加，普通的机器人及与其配合的各种简单的末端夹持装置已远远不能满足各种灵巧及精细操作任务的要求。由于大多数的末端夹持器是针对特定任务而设计的，存在着缺少灵活性和夹持方式有限等局限性。研制出一种通用的末端夹持器，代替各种特定末端夹持器，完成各种环境下的灵巧操作任务，成为机器人研究领域一种需求。由于仿人机械手像人手一样具有多个手指和手掌，具有很强的功能和很高的通用性，因此，完全能够代替人手完成各种复杂而灵巧的操作，如在太空航天器的舱外、核电站、化工厂等危险、恶劣的工作环境中从事探测、取样、装配、修理作业、战场探雷和排雷这类危险的工作。在仿人机械手运动控制方面，普遍采用数据手套或鼠标、键盘、示教盒的输入来控制仿人机械手。但是，通过鼠标或键盘输入命令控制仿人机械手不太人性化，它需要操作者对控制系统有较多的了解。数据手套虽然能够很好地识别操作者的手势动作，但其配带很不方便，且价格昂贵。若是能够通过操作者的手势来直接控制仿人机械手将会带来很多便利，也可以大大降低操作难度。为此，本文提出了基于Kinect传感器的仿人机械手运动控制方法，操作者无需穿戴数据手套等辅助设备或标记工具，也不需要具有高深的专业知识，操作者只要面对Kinect传感器且在合适区域内就可轻松地控制仿人机械手。在手势图像分割中，传统的方法是基于肤色检测和Haar特征的级联分类器。基于肤色检测方法在光照度较好且周围没有与手肤色相似的物体时效果较好，但光照改变或有与手肤色接近的物体，则识别准确率会受到很大的干扰影响，尤其是操作者的手与脸往往很难分辨。利用RGB图像进行手势分割，不能利用空间距离信息并且容易受光照影响。而深度图像则克服了这些问题，基于深度图像的手势分割通常使用双阈值或骨骼追踪方法，本文将结合这两种方法用于手势分割。
技术实现思路
本专利技术的目的是在于克服现有人机交互方式的不足，提供一种基于Kinect传感器的仿人机械手控制方法，该方法是以一种自然的人机交互方式来控制机械手运动，同时保证较好的识别率及准确率，该方法考虑了实际操作的成本及准确率、响应速度等方面的要求，克服了基于数据手套控制成本高及基于鼠标键盘等传统人机交互方式对专业知识有一定要求的问题，具有操作人性化、响应速度快、准确率高的优点，并且具有很好的鲁棒性。为实现上述目的，本专利技术所提供的技术方案为：一种基于Kinect传感器的仿人机械手控制方法，包括以下步骤：1)通过Kinect传感器采集数据；2)对采集的数据进行预处理，然后使用相关算法进行手势分割；3)使用DBN神经网络进行手势识别；4)将识别的手势转化成固定格式的指令；5)利用TCP协议进行远程通信，将指令发送到服务器端；6)服务器端接收并识别指令，通过运动学计算得到控制参数；7)服务器端根据控制参数控制机械手的运动。在步骤1)中，所述Kinect传感器固定于支架上或者放置在桌面上，操作者面对Kinect传感器，并在操作过程中保持与Kinect传感器距离在0.8米到4米范围内，打开客户端连接Kinect传感器，实时采集深度图像、RGB图像及骨骼关节位置数据。在步骤2)中，所述手势分割包括基于深度图像的手势分割与基于RGB-D图像的手势分割，具体如下：基于深度图像的手势分割的处理如下：结合Kinect的深度图像及手部关节点位置信息进行手势图像分割，能够有效去除背景，采用中值滤波进行噪声处理，并且结合形态学开闭运算、腐蚀膨胀处理使得图像更加完整与清晰；通过分水岭算法进行分割，得到手势部分；最后将图像进行裁剪及伸缩变换得到固定尺寸的手势图像，最后转化成二值图像；基于RGB-D图像的手势分割的处理如下：将去除背景的深度图像与RGB图像对齐，从而能够掩盖RGB图像中的非手势区域，得到只有手势区域的RGB-D图像；将得到的RGB-D图像转化成灰度图像，然后进行去噪，通过分水岭算法进行分割，再进行裁剪及伸缩变换得到固定尺寸的手势图像，最后转化成二值图像；在步骤3)中，将步骤2)中手势分割产生的固定尺寸图像矩阵转化成向量，输入到训练好的DBN神经网络模型，以计算得到的最大概率值对应的手势类别作为输出结果；基于深度图像的手势识别与基于RGB-D图像的手势识别是分开并行处理的，再通过决策系统来得到最终结果，决策系统的决策函数如下：式中，B(D)＝true表示基于深度图像分割后的手势识别成功，B(D)＝flase表示识别失败；B(RGB-D)＝true表示基于RGB-D图像分割后的手势识别成功，B((RGB-D)＝flase表示识别失败；GD表示基于深度图像分割后识别得到的手势类别，GRGB-D表示基于RGB-D图像分割后识别得到的手势类别。在步骤4)中，所述指令包含机械手每个关节的运动方式、运动速度、运动方向及运动角度，能够表示平移、旋转、复位、视图变化这些操作。在步骤5)中，所述远程通信基于面向连接的TCP协议来实现，服务器端与客户端是一对多的关系，客户端识别手势后转化成控制指令，每个客户端都有自己的指令缓冲池，指令发送线程按照设定的频率从缓冲池取指令并发送到服务器端，服务器端接收的指令加入到指令队列，指令读取线程会不断从指令队列中取出指令。在步骤6)中，先解析指令得到相关数据，数据包含各个手指的各个关节的角度信息，通过正运动学模型能够求出仿人机械手手指末梢在基础坐标系中的位置和姿态，这些角度及位姿信息共同称为控制参数；以手掌中心为原点、四指伸直且指向的方向为y轴正方向、与四指垂直且指向大拇指的方向为x轴正方向、垂直手掌平面且手心向上的方向为z轴正方向建立基础坐标系；大拇指指尖在基础坐标系中的坐标为：其它四个手指指尖在基础坐标系中的坐标为：式中，将大拇指、食指、中指、无名指、小指分别编号为i＝1,2,3,4,5，将手指的基关节、近基关节、中间关节、末梢关节分别编号为j＝1,2,3,4；则(xi,yi,zi)分别表示手指i的空间坐标，分别表示手指i的基关节角度的余弦值、正弦值，分别表示手指i的近基关节与中间关节角度之和的余弦值、正弦值，分别表示手指i的近基关节、中间关节与末梢关节角度之和的余弦值、正弦值，aij表示手指i的关节j的长度，li表示手指i的基关节在y轴正方向上的位移，di表示手指i的基关节在x轴正方向上的位移。在步骤7)中，通过控制参数来决定仿人机械手每个舵机转动的角度，从而实现运动控制，支持在线控制和离线控制，并且支持单手控制和双手控制；所述在线控制是通过服务器端发送指令控制各个关节的运动角度及运动速度；所述离线控制是将编写好的程序下载到单片机中，然后使机械手执行编写好的动作。本专利技术与现有技术相比，具有如下优点与有益效果：1、操作控制简单：本专利技术方法无需操作者具备任何专业知识，也无需佩戴任何额外设备。2、准确率高：本专利技术方法充分利用了Kinect传感器采集的数据，同时使用基于深度图像及基于RGB-D图像的手势分割识别，进一步提升了准确率。3、可扩展性好：当控制不同类型的机械手时，只需要修改运动学模型里面的参本文档来自技高网...

【技术保护点】
一种基于Kinect传感器的仿人机械手控制方法，其特征在于，包括以下步骤：1)通过Kinect传感器采集数据；2)对采集的数据进行预处理，然后使用相关算法进行手势分割；3)使用DBN神经网络进行手势识别；4)将识别的手势转化成固定格式的指令；5)利用TCP协议进行远程通信，将指令发送到服务器端；6)服务器端接收并识别指令，通过运动学计算得到控制参数；7)服务器端根据控制参数控制机械手的运动。

【技术特征摘要】
1.一种基于Kinect传感器的仿人机械手控制方法，其特征在于，包括以下步骤：1)通过Kinect传感器采集数据；2)对采集的数据进行预处理，然后使用相关算法进行手势分割；3)使用DBN神经网络进行手势识别；4)将识别的手势转化成固定格式的指令；5)利用TCP协议进行远程通信，将指令发送到服务器端；6)服务器端接收并识别指令，通过运动学计算得到控制参数；7)服务器端根据控制参数控制机械手的运动。2.根据权利要求1所述的一种基于Kinect传感器的仿人机械手控制方法，其特征在于：在步骤1)中，所述Kinect传感器固定于支架上或者放置在桌面上，操作者面对Kinect传感器，并在操作过程中保持与Kinect传感器距离在0.8米到4米范围内，打开客户端连接Kinect传感器，实时采集深度图像、RGB图像及骨骼关节位置数据。3.根据权利要求1所述的一种基于Kinect传感器的仿人机械手控制方法，其特征在于：在步骤2)中，所述手势分割包括基于深度图像的手势分割与基于RGB-D图像的手势分割，具体如下：基于深度图像的手势分割的处理如下：结合Kinect的深度图像及手部关节点位置信息进行手势图像分割，能够有效去除背景，采用中值滤波进行噪声处理，并且结合形态学开闭运算、腐蚀膨胀处理使得图像更加完整与清晰；通过分水岭算法进行分割，得到手势部分；最后将图像进行裁剪及伸缩变换得到固定尺寸的手势图像，最后转化成二值图像；基于RGB-D图像的手势分割的处理如下：将去除背景的深度图像与RGB图像对齐，从而能够掩盖RGB图像中的非手势区域，得到只有手势区域的RGB-D图像；将得到的RGB-D图像转化成灰度图像，然后进行去噪，通过分水岭算法进行分割，再进行裁剪及伸缩变换得到固定尺寸的手势图像，最后转化成二值图像；在步骤3)中，将步骤2)中手势分割产生的固定尺寸图像矩阵转化成向量，输入到训练好的DBN神经网络模型，以计算得到的最大概率值对应的手势类别作为输出结果；基于深度图像的手势识别与基于RGB-D图像的手势识别是分开并行处理的，再通过决策系统来得到最终结果，决策系统的决策函数如下：式中，B(D)＝true表示基于深度图像分割后的手势识别成功，B(D)＝flase表示识别失败；B(RGB-D)＝true表示基于RGB-D图像分割后的手势识别成功，B((RGB-D)＝flase表示识别失败；GD表示基于深度图像分割后识别得到的手势类别，GRGB-D表示基于RGB-D图像分割后识别得到的手势类别。4.根据权利要求1所述的一种基于Kinect传感器的仿...

【专利技术属性】
技术研发人员：胡波，肖南峰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44