基于手势识别的机械臂位姿控制系统技术方案

基于手势识别的机械臂位姿控制系统，包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块、机械臂执行模块；智能腕带通过蓝牙无线连接PC端，将智能腕带模块采集的肌电信号传输给远程客户端；远程客户端接收到信号后，将信号转到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；在数据处理模块中去除噪声之后再利用正逆运动学来求解关节角度；通过两个智能腕带获取操作人员的手臂的关节角度；之后就可以通过远程客户端将关节角度的信号以及操作指令信号传递给智能腕带模块；然后将手势动作的信号发送给仿真模块中的仿真机械臂；仿真臂将信号发送给工作机械臂，机械臂根据信号执行命令。

【技术实现步骤摘要】
基于手势识别的机械臂位姿控制系统
本专利技术涉及一种基于手势识别的机械臂位姿控制系统，使实际机械臂通过人体手臂及手势的变化而做出与人体手臂以及手势相同的动作。
技术介绍
随着《中国制造2025》的出台，我国制造业正式踏上了以智能制造为重要发展方向的转型升级之路。机器人替代人工生产已经成为未来制造业重要的发展趋势，工业机器人作为“制造业皇冠顶端的明珠”，将大力推动工业自动化、数字化、智能化的早日实现，为智能制造奠定基础。工业机器人示教就是编程者采用各种示教方法事先“告知”机器人所要进行的动作信息和作业信息等。这些信息大致分为三类：机器人位置和姿态信息，轨迹和路径点等的信息；机器人任务动作顺序等的信息；机器人动作、作业时的附加条件等的信息，机器人动作的速度和加速度等信息和作业内容信息等。随着机器人技术的日益成熟以及应用的不断普及，机器人正逐渐融入社会生产、生活的各个方面，并发挥越来越不可替代的作用。在“工业4.0”和“中国制造2025”的背景下，为了适应现代工业快速多变的特点以及满足日益增长的复杂性要求，机器人不仅要能长期稳定地完成重复工作，还要具备智能化、网络化、开放性、人机友好性的特点。作为工业机器人继续发展与创新的一个重要方面，示教技术正在向利于快速示教编程和增强人机协作能力的方向发展。对于在线示教指通常所说的手把手示教，由人直接扳动机器人的手臂对机器人进行示教，如示教盒示教和操作杆示教。在这种示教中，为了示教方便以获取信息的快捷而准确，操作者可以选择在不同的示教系下示教。例如，可以选择关节坐标系，直角坐标系以及工具坐标系或用户坐标系下进行示教。在线示教具有示教过程简单，不需要环境模型；对实际的机器人进行示教时，可以修正机械结构带来的误差等优越性，但也存在技术问题，如机器人的在线示教过程繁琐、效率低；示教的精度完全靠示教者的经验目测决定，对于复杂路径难以取得令人满意的示教效果，对于一些根据外部信息进行实时决策的应用无能为力。为了解决这种问题，工业界提出了一种利用手势并结合传感器技术的手势控制方法。目前关于手势识别的研究很多，但国内的研究和国外的相比，进展较慢。肖立峰、彭金豹提出基于手势识别的机械臂控制方法及系统(肖立峰、彭金豹.基于手势识别的机械臂控制方法及系统[P].北京：CN106272409A，2017-01-04)，基于手势识别的机械臂控制方法及系统提出一种通过采集操作者手部运动数据然后映射为机械臂的运动，转化输出机械臂的控制命令，但是识别的手势相比较而言比较少；朱茂娟、王林冰、曾奇等提出一种机器人及其示教通信系统(朱茂娟，王林冰，曾奇等.机器人及其示教通信系统：中国，205620710[P].2016-01-04),实现了示教采集器与控制器之间的数据通信，但是通信方式是有线的，具有空间局限性且缺少保密性。
技术实现思路
本专利技术要克服现有技术的上述缺点，提出一种基于手势识别的机械臂位姿控制系统。首先该系统使用蓝牙无线通信技术，实现了无线控制，连接方便，数据传输高效稳定，而且无线控制可以扩展工作空间；其次该系统采用两个智能腕带，通过它们所采集到的数据得出人臂的姿态和手势从而将其转换成机械臂控制的指令，使用智能腕带使采集到的数据更加稳定，计算结果更加准确，控制机械臂也更加准确；最后该系统利用肌电信号和陀螺仪信号来识别手势，识别的精度更高，效果更好。本专利技术为解决现有技术问题所采用的技术方案是：一种基于手势识别的机械臂位姿控制系统，其特征在于：包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块；智能腕带通过蓝牙无线连接PC端，将智能腕带模块采集的肌电信号传递给远程客户端；远程客户端接收到信号后，将信号传输到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；然后将手势动作的信号发送给仿真模块中的仿人臂模型；将仿人臂的末端位置传递给仿真模块中的机械臂模型；仿真模块中的机械臂模型将角度信号作为指令发送给机械臂执行模块；使用智能腕带进行信号采集，将采集到的信息进行处理，并且智能腕带通过蓝牙适配器与远程客户端进行无线连接，远程客户端与工作机械臂通过TCP/IP协议连接；各模块的具体构成是：智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有8块大小厚薄不一的生物电传感器单元，每个传感器又分为3个电极，通过这24个电极就可以捕捉用户手臂肌肉运动时产生的生物电变化即肌电信号；蓝牙通信模块：蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；数据处理模块：该模块一端连接远程客户端，另一端连接仿真模块；该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；仿真模块：该模块一端与数据处理模块相连接，另一端通过TCP/IP协议与执行机械臂相连接；模拟实际机械臂的工作执行情况；该模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的仿真机械臂中，使仿真模块中的仿真机械臂模拟出使用者手臂的动作；再通过TCP/IP协议，向机械臂执行模块发送仿真的数据包；机械臂执行模块：该模块通过TCP/IP协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作；所述的基于手势识别的机械臂位姿控制系统的电脑客户端是基于Linux进行开发的，当系统中的数据处理模块接收到来自远程客户端发送过来的陀螺仪信号和肌电信号后，数据处理模块将接收到的信号与数据先通过滤波算法去除信号中的噪声；然后结合正逆运动学求解，将接收到的陀螺仪信号，采用四元数和坐标变换理论计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据优化后传递给仿真模块下的机械臂，使其做出与人体相同的动作；所述的数据处理模块中去除噪声后的位姿控制信号，再利用正逆运动学对其进行求解，所述的正逆运动学求解如下：数据处理模块接收到信号与数据后：1.1)首先对示教机械臂构建其D-H参数，(即关节1≤i≤6的连杆长度ai、连杆转角αi、连杆偏距di和关节角θi)作为输入量，选择工作机械臂各个关节的关节角θi作为输出量；1.2)由于各杆件相对参考坐标系有转动和平移两个动作，因此对每个杆件沿关节轴建立一个关节坐标系，用以下四个参数来描述杆件：(1)连杆长度ai：关节轴i和关节轴i+1之间公垂线的长度；(2)连杆转角αi：作一个与两关节轴之间的公垂线垂直的本文档来自技高网...

【技术保护点】
一种基于手势识别的机械臂位姿控制系统，其特征在于：包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块；智能腕带通过蓝牙无线连接PC端，将智能腕带模块采集的肌电信号传递给远程客户端；远程客户端接收到信号后，将信号传输到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；然后将手势动作的信号发送给仿真模块中的仿人臂模型；将仿人臂的末端位置传递给仿真模块中的机械臂模型；仿真模块中的机械臂模型将角度信号作为指令发送给机械臂执行模块；使用智能腕带进行信号采集，将采集到的信息进行处理，并且智能腕带通过蓝牙适配器与远程客户端进行无线连接，远程客户端与工作机械臂通过TCP/IP协议连接；各模块的具体构成是：智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有数块大小厚薄不一的生物电传感器单元，每个传感器又分为若干个电极，通过这电极就捕捉用户手臂肌肉运动时产生的肌电信号；蓝牙通信模块：蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；数据处理模块：一端连接远程客户端，另一端连接仿真模块；数据处理模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；仿真模块：一端与数据处理模块相连接，另一端通过TCP/IP协议与执行机械臂相连接；模拟实际机械臂的工作执行情况；仿真模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的仿真机械臂中，使仿真模块中的仿真机械臂模拟出使用者手臂的动作；再通过TCP/IP协议，向机械臂执行模块发送仿真的数据包；机械臂执行模块：通过TCP/IP协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作。...

【技术特征摘要】
1.一种基于手势识别的机械臂位姿控制系统，其特征在于：包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块；智能腕带通过蓝牙无线连接PC端，将智能腕带模块采集的肌电信号传递给远程客户端；远程客户端接收到信号后，将信号传输到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；然后将手势动作的信号发送给仿真模块中的仿人臂模型；将仿人臂的末端位置传递给仿真模块中的机械臂模型；仿真模块中的机械臂模型将角度信号作为指令发送给机械臂执行模块；使用智能腕带进行信号采集，将采集到的信息进行处理，并且智能腕带通过蓝牙适配器与远程客户端进行无线连接，远程客户端与工作机械臂通过TCP/IP协议连接；各模块的具体构成是：智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有数块大小厚薄不一的生物电传感器单元，每个传感器又分为若干个电极，通过这电极就捕捉用户手臂肌肉运动时产生的肌电信号；蓝牙通信模块：蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；数据处理模块：一端连接远程客户端，另一端连接仿真模块；数据处理模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；仿真模块：一端与数据处理模块相连接，另一端通过TCP/IP协议与执行机械臂相连接；模拟实际机械臂的工作执行情况；仿真模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的仿真机械臂中，使仿真模块中的仿真机械臂模拟出使用者手臂的动作；再通过TCP/IP协议，向机械臂执行模块发送仿真的数据包；机械臂执行模块：通过TCP/IP协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作。2.根据权利要求1所述的基于手势识别的机械臂位姿控制系统，其特征在于：所述的基于手势识别的机械臂位姿控制系统的电脑客户端是基于Linux进行开发的，当系统中的数据处理模块接收到来自远程客户端发送过来的陀螺仪信号和肌电信号后，数据处理模块将接收到的信号与数据先通过滤波算法去除信号中的噪声；然后结合正逆运动学求解，将接收到的陀螺仪信号，采用四元数和坐标变换理论计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据优化后传递给仿真模块下的机械臂，使其做出与人体相同的动作。3.根据权利要求1所述的基于手势识别的机械臂位姿控制系统，其特征在于：数据处理模块利用正逆运动学求解计算出腕带使用者手臂的关节角度的具体方式如下：数据处理模块接收到信号与数据后：3.1)首先对示教机械臂构建其D-H参数，(即关节1≤i≤6的连杆长度ai、连杆转角αi、连杆偏距di和关节角θi)作为输入量，选择工作机械臂各个关节的关节角θi作为输出量；3.2)由于各杆件相对参考坐标系有转动和平移两个动作，因此对每个杆件沿关节轴建立一个关...

【专利技术属性】
技术研发人员：禹鑫燚，林美新，欧林林，朱峰，张强，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33