基于肌电信号和手指关节形变信号的手语识别系统及方法技术方案

本发明专利技术公开了一种基于肌电信号和手指关节形变信号的手语识别系统及方法。该系统包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。本发明专利技术融合肌电信号和手指关节形变信号能够提高手势识别的精确度和效率。

Sign language recognition system and method based on EMG signal and finger joint deformation signal

【技术实现步骤摘要】
基于肌电信号和手指关节形变信号的手语识别系统及方法
本专利技术涉及手势识别控制
，更具体地，涉及一种基于肌电信号和手指关节形变信号的手语识别系统及方法。
技术介绍
根据世界聋人联合会和世界卫生组织的统计数据，世界上大约有7000万人是聋哑人。聋哑人之间依靠手语交流，而由于正常人很少学习手语，导致聋哑人与正常人的交流存在巨大困难，从而严重影响了聋哑人的正常社会生活。手语通过手型、朝向、面部表情以及手臂的运动等来传达语意信息，手语识别将手语转换为文本或者语音，方便聋哑人与正常人交流。它已成为人机接口领域的一项最重要研究内容，吸引了越来越多的专家和学者的关注。我国目前有2000多万聋人，对手语识别的研究，将直接造福于这个群体，为其提供一种更加自然、更加方便快捷地与正常人交流的途径，以便他们更好地融入社会。现有的手语识别方法可分为：基于数据手套的方法、基于肌电的方法和基于计算机视觉的方法。基于数据手套的方法需要佩戴数据手套，数据手套可检测手部的动作信息，包括手指的关节形变、手指间的角度等。这种方法直接检测手部形变信息，能够较好的识别手语动作，但通过数据手套采集到的信号，不同手势动作信号之间没有明显的区分，无法有效分割手语词，通常情况下需要利用外部采集到的图像信息进行手工分割，训练过程通常费时费力。基于肌电的手语识别方法采集前臂上的肌电信号，由于前臂肌电信号包含手部动作信息，通过对肌电信号的处理，可以达到对手语动作进行识别的效果。基于肌电的手语识别方法是一种常用的识别方法，肌电信号包含的信息较丰富，包括手指关节形变信息、手掌和手臂的相对位置信息、手腕及手臂的旋转等信息，能用于识别一些精细的手部动作。但是，由于肌电信号是对手势动作的一种间接反映且本身比较微弱，对某些相似度较高的手语动作肌电的识别效果不佳。基于计算机视觉的方法存在如下缺陷：需要外部放置摄像头，不具有便携性；通过图像信息判断手势动作，容易受到光照、背景、颜色等的影响；摄像头的视野范围有限，在手势动作执行过程中存在的手势重叠和遮挡会造成重要手势信息的丢失；一个手势动作的识别要处理多帧图像，运算成本较高。
技术实现思路
本专利技术的目的是克服上述现有技术的缺陷，提出一种基于肌电信号和手指关节形变信号的手语识别系统和方法，通过将前臂肌电信号和手指关节形变信号融合，克服了肌电信号单一识别效果差以及数据手套训练费时费力的缺点。根据本专利技术的第一方面，提供一种基于肌电信号和手指关节形变信号的手语识别系统。该系统包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。在一个实施例中，将所述手指关节形变传感器分别设置在手指每个关节，用于采集反映手指各关节的弯曲程度和力量强弱的形变信号。在一个实施例中，所述手指关节形变传感器被设置为直接贴附在手指上或固定在手套上。在一个实施例中，所述手指关节形变传感器是柔性电极。在一个实施例中，所述柔性电极设计为大于对应的手指关节大小。在一个实施例中，所述肌电传感器设计为适于与前臂贴合的织物结构电极。根据本专利技术的第二方面，提供一种基于肌电信号和手指关节形变信号的手语识别方法。该方法包括：采集人体前臂区域的肌电信号以及手指多个关节位置处的形变信号；以及融合所接收的肌电信号和手指多个关节位置处的形变信号来识别被试者的手势信息。根据本专利技术的第三方面，提供一种手势控制系统。该系统包括本专利技术的基于肌电信号和手指关节形变信号的手语识别系统和手势控制单元，所述手语识别系统用于基于采集人体前臂区域的肌电信号以及手指多个关节位置处的形变信号来识别手势信息，所述手势控制单元用于基于所识别的手势信息控制目标设备。与现有技术相比，本专利技术的优点在于，所提出的基于肌电信号和手指关节形变信号的手语识别系统及方法，能够同时采集手语动作过程中的前臂肌电信号和手指关节形变信号，将两种信号融合用于手势识别，能有效避免单一信号包含信息不足引起的相似手语动作识别困难的问题。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是根据本专利技术一个实施例的基于肌电信号和手指关节形变信号的手语识别系统的示意图；图2是根据本专利技术一个实施例的基于肌电信号和手指关节形变信号的手语识别方法的流程图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。参见图1所示，本专利技术实施例提供的基于肌电信号和手指关节形变信号的手语识别系统包括肌电传感器100、手指关节形变传感器200和信号处理模块300。肌电传感器100可设置在人体的手臂区域，优选地位于前臂，用于采集前臂的肌电信号。肌电信号能够反映手部动作时，手掌和手臂的相对位置信息、手腕及手臂的旋转等信息，从而识别出某些精细的手部动作。在一个实施例中，肌电传感器100设计为适于与前臂贴合的织物结构电极，并将织物肌电传感器100制成与前臂贴合的大小，使得肌电传感器与前臂紧密接触，固定在前臂上。织物结构电极是通过机织、针织或刺绣方式加工开发的具有纺织结构，能感知人体表面生物电信号的传感器。本专利技术将织物结构电极用于手语识别，相比于手语识别领域常用的金属肌电电极，织物电极本身柔软透气人体亲和的特点使其佩戴舒适，适合聋哑人长时间佩戴，随时随地使用该手语识别系统。手指关节形变传感器200用于采集手指关节处的形变信号。例如，将手指关节形变传感器200设置为根据手指关节分布特征检测手指多个位置的形变信号，如图1所示，设置多个手指关节形变传感器200，分别靠近各关节贴附。优选地，将手指关节形变传感器200制成稍大于手指关节大小的柔性电极，适于直接贴附手指或手套上，而不发生与手指的相对移动。本专利技术采用柔软、轻薄、贴附性好的柔性电极检测手指关节形变本文档来自技高网...

【技术保护点】
1.一种基于肌电信号和手指关节形变信号的手语识别系统，包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。/n

【技术特征摘要】
1.一种基于肌电信号和手指关节形变信号的手语识别系统，包括：肌电传感器、手指关节形变传感器和信号处理模块，所述肌电传感器和所述手指关节形变传感器分别通过导线与所述信号处理模块连接，所述肌电传感器设置为检测人体前臂区域的肌电信号，所述手指关节形变传感器设置为根据手指关节分布特征检测手指多个位置的形变信号，所述信号处理模块设置为融合所接收的肌电信号和手指多个位置的形变信号来识别被试者的手势信息。


2.根据权利要求1所述的基于肌电信号和手指关节形变信号的手语识别系统，其特征在于，将所述手指关节形变传感器分别设置在手指每个关节，用于采集反映手指各关节的弯曲程度和力量强弱的形变信号。


3.根据权利要求2所述的基于肌电信号和手指关节形变信号的手语识别系统，其特征在于，所述手指关节形变传感器被设置为直接贴附在手指上或固定在手套上。


4.根据权利要求1所述的基于肌电信号和手指关节形变信号的手语识别系统，其特征在于，所述手指关节形变传感器是柔性电极。


5.根...

【专利技术属性】
技术研发人员：袁思敏，李光林，刘志远，于文龙，黄品高，谢瑞杰，于玫，王远，杨子健，付梦龙，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44