一种基于EMG和FSR的精细手势识别系统及方法技术方案

本发明专利技术公开了一种基于EMG和FSR的精细手势识别系统及方法，设置有手套和MYO臂环；MYO臂环内置肌电信号传感器；手套固定有FSR传感器；数据采集系统包括对肌电传感器的采集和对FSR传感器的采集；采集的肌电信号通过蓝牙发送至计算机，采集的压力信号通过串口发送至计算机。本发明专利技术将肌电信号和压力信号结合，完成对21种自定义精细手势动作的识别，克服了单一信号自身的限制；将FSR传感器固定在手套里，做成可穿戴设备，和MYO臂环结合起来，形成可穿戴设备，操作简单，使得人机交互更加自然和人性化，并且克服了自然环境限制；FSR传感器放置在手背上，采集手指运动时的手背压力分布，对手指的运动检测有较好的识别率。

Fine gesture recognition system and method based on EMG and FSR

The invention discloses a fine gesture recognition system and method based on EMG and FSR, equipped with MYO gloves and armbands; MYO armbands built-in EMG sensor; gloves fixed with FSR sensor; data acquisition system of EMG sensor acquisition and FSR sensor acquisition; acquisition of EMG signals sent to the computer via Bluetooth. The acquisition of the pressure signal is sent through the serial port to the computer. The EMG signal and pressure signal with completion of the 21 custom fine gesture recognition, overcomes the limitation of the single signal; the FSR sensor is fixed on the gloves, made of wearable devices, and MYO armbands together, forming a wearable device, simple operation, make human-computer interaction more natural and human nature, and overcome the natural environment limit; FSR sensor is placed on the back of the hand, the hand pressure distribution acquisition during finger movements, better recognition rate of finger motion detection.

【技术实现步骤摘要】

本专利技术属于计算机应用
，尤其涉及一种基于EMG和FSR的精细手势识别系统及方法。
技术介绍
随着电子技术和计算机技术的发展，传统的鼠标以及键盘输入方式已经无法满足人们的使用需求。近年来，鉴于手势具有直观性、自然性的特点，基于用户手势的输入方式已成为人机交互的一种重要手段。基于手势的人机交互更多的强调以用户为中心，使用更加符合用户自然交流习惯，从而为用户提供一个自然有效的人机交互方式。由于手势识别的实时性和准确性对于自然交互非常重要，所以对于精细手势识别方法的研究对自然的人机交互有着重大意义。目前已有的手势识别研究方法主要有四种：基于计算机视觉的手势识别方法、基于加速度传感器的手势识别方法、基于肌电信号(EMG)的手势识别方法和基于压力信号的手势识别方法。近年来，由于肌电信号和压力信号在手势识别的灵敏性，基于肌电信号的手势识别方法和基于压力信号的手势识别方法受到研究者的青睐。用于采集肌电信号的肌电传感器和采集压力信号的压力传感器尺寸小且功耗低，不受自然环境的限制，而且容易集成到可穿戴设备上。基于LDA算法的表面肌电信号识别方法，使用两枚肌电电极从用户前臂肌肉处采集表面肌电信号，然后以叠加窗的方式对原始肌电信号进行分割，从各个窗中提取出相应的肌电特征，并使用LDA算法对提取的特征进行降维，对前后相邻窗口的降维特征求平均值，再输入LDA分类器，实现了对八种抓握手势的识别。该方法存在的不足之处：第一，固定肌电电极前需要刮除所选肌肉处表皮的汗毛，并使用酒精擦拭皮肤，这在一定程度上会对皮肤产生伤害，而且造成手势识别前的操作比较繁琐。第二：该方法实现了对圆柱抓取、钩取、侧边捏取、指向、球形抓取、三指捏取、精确捏取和放松姿态八类抓握手势的识别。该方法可识别的手势较少，且涉及的主要为手的抓握动作，没有涉及对手指运动的识别。基于肌电信号和弯曲信号的精细实时运动的控制方法，该方法首先采集健康肢体动作产生的肌电信号，并使用弯曲度传感器采集到的各个手指弯曲程度信号。通过采集到的弯曲度信息来判断当前的手部姿态，即各个手指是否弯曲，将弯曲度信息生成相应的刺激脉冲，并根据采集到的肌电信号大小产生相应强度的刺激脉冲，以达到主控者和被控者动作的同步。该方法能实现对主控者和被控者精细动作的同步，但是本方法的长条弯曲度传感器固定在指尖到手背，在使用过程中用户不能处于自然的状态，弯曲传感器会影响用户手势的执行。而且本方法只适用于主控者和被控者为人的情况下，严重限制了本方法的使用场景。比如当被控者为机械手时，由于机械手没有相应肌群，刺激脉冲对机械手无法产生作用。综上所述，目前手势识别的识别存在以下不足：第一，操作繁琐且佩戴不舒适。目前存在的一些手势识别设备会限制用户的行动，且手势识别前需要一系列准备工作，致使用户在做出手势时不能处于自然的状态。第二，对精细手势的识别较少。现在手势识别涉及到的手势大多为手的整体运动，比如手的整体翻转、握拳等，而对于单个手指的运动及多个手指组合的运动的识别较少，比如对单个手指的弯曲、单个手指的伸直以及多个手指的弯曲和伸直等的识别较少，而且涉及到的精细手势的种类较少。第三，单一信号自身的限制。由于各种手势识别检测方式各有优劣，通过检测单一信号进行手势识别的方法受到自身的限制，导致可识别的手势种类较少。
技术实现思路
本专利技术的目的在于提供一种基于EMG和FSR的精细手势识别系统及方法，旨在解决目前手势识别的识别存在：操作繁琐且佩戴不舒适，对精细手势的识别较少，检测单一信号手势识别导致可识别手势种类较少的问题。本专利技术是这样实现的，一种基于EMG和FSR的精细手势识别系统，所述基于EMG和FSR的精细手势识别系统设置有手套和MYO臂环；所述MYO臂环内置至少一个肌电信号传感器；所述手套固定有至少一个FSR传感器；至少一个肌电信号传感器与计算机蓝牙通讯；至少一个FSR传感器与计算机串口通讯；所述数据采集系统通过蓝牙或串口与计算机通信。进一步，所述MYO臂环内置8个肌电信号传感器；进一步，所述手套固定有5个FSR传感器。本专利技术的另一目的在于提供一种所述基于EMG和FSR的精细手势识别系统的精细手势识别方法，所述精细手势识别方法包括以下步骤：步骤一，数据采集系统完成对肌电信号和压力信号的采集，系统使用MYO臂环采集用户手势运动时的前臂肌电信号，使用5个FSR传感器采集用户手势运动时的手背压力信号；采集到的肌电信号通过蓝牙发送到计算机，采集到的压力信号通过串口发送到计算机；步骤二，对采集到的信号进行活动段检测，提取出手势的起始点和结束点，并对用户无意识的手势信号进行剔除；步骤三，从分割出的手势活动段中提取出一组能表现其特征的数据，并且聚类性较好；做到手势的类间距离较大，即可分性较好；提取出的特征作为下一步分类器的输入，提取的特征包括中值频率、标准差、均值等；步骤四，在提取了信号的有效特征向量后，需要对特征向量进行分类，形成分类器模型，用以对不同的手势动作进行区别；将提取到的手势信号的特征作为支持向量机分类器的输入，构造分类器模型，使用构造的分类器模型对用户手势进行分类识别。进一步，所述步骤一包括：对肌电信号和压力信号进行采集，5个FSR传感器放置在用户手背上，用于检测用户手背的压力信号；MYO臂环获取前臂的肌电信号，MYO臂环的官方开放MYO臂环的肌电信号的原始数据，肌电信号的采样率是200HZ，然后经蓝牙发送至电脑；MYO臂环采集的数据通过蓝牙发送至电脑，5个FSR传感器通过电路板连接到Arduino开发板的模拟口，Arduino通过程序顺序读取FSR传感器数据，然后通过串口发送到计算机，由计算机进行处理。进一步，所述步骤二包括：将8个通道的EMG数据和5个通道的FSR数据分别存储在两个一维数组中；通过肌电信号的幅值来提取活动段，以肌电信号的起始点和结束点分别作为压力信号的起始点和结束点；利用移动平均法对肌电信号进行活动段检测，并且对于维持时间在设定阈值T以下的手势信号认为是用户无意识动作，其中阈值T需要在采集完成后对多个完整的手势信号进行分析来确定，T为800ms。进一步，所述步骤三包括：选择压力信号的均值和标准差SD表示压力信号的特征，选择肌电信号的中值频率MF和标准差SD表示肌电信号的特征；SD和MF的计算如公式(1)、(2)、(3)所示；其中Xi表示当前采集到的信号，PSD(x)为肌电信号的功率谱密度：X‾=Σi=1NXi/N---(1)]]>SD=Σi=1N(Xi-X‾)2/(N-1)---(2)]]>MF=12∫0∞PSD(x)dx---(3)]]>一个有效手势的一个EMG通道的特征向量表示为Eemg＝[e1,e2]，其中e1和e2为肌电信号的中值频率和标准差；一个FSR通道的特征向量Efsr＝[e3,e4]，e3和e4为压力信号的均值和标准差；系统有8个EMG通道和5个FSR通道，故一个手势动作对应一个1*26维的特征向量。进一步，所述步骤四包括：使用基于RBF核的支持向量机用于训练和分类，将提取到的肌电信号的中值频率、标准差以及压力信号的均值和标准差作为SVM的输入；SVM通过构造两类数据间的超平面，并且使本文档来自技高网...

【技术保护点】
一种基于EMG和FSR的精细手势识别系统，其特征在于，所述基于EMG和FSR的精细手势识别系统设置有手套和MYO臂环；所述MYO臂环内置至少一个肌电信号传感器；所述手套固定有至少一个FSR传感器；至少一个肌电信号传感器与计算机蓝牙通讯；至少一个FSR传感器与计算机串口通讯；所述数据采集系统通过蓝牙或串口与计算机通信。

【技术特征摘要】
1.一种基于EMG和FSR的精细手势识别系统，其特征在于，所述基于EMG和FSR的精细手势识别系统设置有手套和MYO臂环；所述MYO臂环内置至少一个肌电信号传感器；所述手套固定有至少一个FSR传感器；至少一个肌电信号传感器与计算机蓝牙通讯；至少一个FSR传感器与计算机串口通讯；所述数据采集系统通过蓝牙或串口与计算机通信。2.如权利要求1所述的基于EMG和FSR的精细手势识别系统，其特征在于，所述MYO臂环内置8个肌电信号传感器。3.如权利要求1所述的基于EMG和FSR的精细手势识别系统，其特征在于，所述手套固定有5个FSR传感器。4.一种如权利要求1所述的基于EMG和FSR的精细手势识别系统的精细手势识别方法，其特征在于，所述精细手势识别方法包括以下步骤：步骤一，数据采集系统完成对肌电信号和压力信号的采集，系统使用MYO臂环采集用户手势运动时的前臂肌电信号，使用5个FSR传感器采集用户手势运动时的手背压力信号；采集到的肌电信号通过蓝牙发送到计算机，采集到的压力信号通过串口发送到计算机；步骤二，对采集到的信号进行活动段检测，提取出手势的起始点和结束点，并对用户无意识的手势信号进行剔除；步骤三，从分割出的手势活动段中提取出一组能表现其特征的数据，并且聚类性较好；做到手势的类间距离较大，即可分性较好；提取出的特征作为下一步分类器的输入，提取的特征包括中值频率、标准差、均值；步骤四，在提取了信号的有效特征向量后，需要对特征向量进行分类，形成分类器模型，用以对不同的手势动作进行区别；将提取到的手势信号的特征作为支持向量机分类器的输入，构造分类器模型，使用构造的分类器模型对用户手势进行分类识别。5.如权利要求4所述的精细手势识别方法，其特征在于，所述步骤一包括：对肌电信号和压力信号进行采集，5个FSR传感器放置在用户手背上，用于检测用户手背的压力信号；MYO臂环获取前臂的肌电信号，MYO臂环的官方开放MYO臂环的肌电信号的原始数据，肌电信号的采样率是200HZ，然后经蓝牙发送至电脑；MYO臂环采集的数据通过蓝牙发送至电脑，5个FSR传感器通过电路板连接到Arduino开发板的模拟口，Arduino通过程...

【专利技术属性】
技术研发人员：万波，吴荣荣，张开活，王泉，蔡伟文，潘蓉，刘刚，田玉敏，刘锦辉，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61