基于多通道表面肌电信号的连续手势动作识别方法技术

本发明专利技术公开了基于多通道表面肌电信号的连续手势动作识别方法，属于手势动作识别领域，涉及人机交互技术，本发明专利技术通过将从sEMG获得的小臂肌电信号，与从九轴陀螺仪实时获取臂环的空间运动信息进行多模态融合，完成了整个前臂的运动信息的捕捉，兼顾手部细节动作与手臂大幅动作。通过运用ICA算法，解决了不同通道之间信号混合互相干扰的问题，从而进一步降低了模型的训练难度，降低了对训练数据集的规模要求。通过应用成熟的单目视觉技术，实现了对连续变化手势的自动化打标，其成本和实施难度都比传统方式大大降低。利用用户本人的sEMG数据进行深度学习训练极大地降低对模型泛化能力的要求，从而利用较小的训练数据量实现更好的训练效果。的训练效果。的训练效果。

【技术实现步骤摘要】
基于多通道表面肌电信号的连续手势动作识别方法


[0001]本专利技术属于手势动作识别领域，涉及人机交互技术，具体是基于多通道表面肌电信号的连续手势动作识别方法。

技术介绍

[0002]表面肌电信号(surface Electromyographic，sEMG)是一种常见的生物电信号，其可非侵入地感知、解析用户肌肉活动。鉴于其在用于肌肉活动感知中的直观性、有效性，sEMG在手势捕捉领域展现了较好的应用前景。sEMG的采集一般由肌电臂环完成，肌电臂环作为一种可穿戴设备，能够在日常普适的计算场景中获取实时稳定的sEMG信号。肌电臂环由电极阵列构成并行的数据采集模块，一般佩戴于用户前臂，可同时采集若干通道数据。当用户执行特定手势动作时，肌电臂环通过实时获取并分析用户前臂的表面肌电信号，来识别不同的用户手势动作。
[0003]目前相对成熟的手势捕捉技术主要分为以下三种技术方案：基于磁场的动作捕捉手套、基于视觉的动作捕捉摄像头、基于肌电的动作捕捉臂环。其中动作捕捉手套在原理和结构上都相对复杂，使用成本高且存在运动受限的问题；而基于视觉的手势捕捉系统工作方式复杂，受光线条件和遮挡条件影响大，同时受使用范围大小的限制；而肌电方案不受光线限制和遮挡的影响，无需外加设备，运动相对灵活，且具有采集和传输数据量小，延时小等特点。
[0004]现有的基于肌电动作捕捉臂环的手势捕捉系统的输入是若干通道的人体前臂sEMG信号，系统输出有两种：一种是间歇性输出有限个手势的分类编号，另一种是连续输出任意手型的空间几何模型。很显然，后者对手势的表现力更加细腻，且系统响应更加灵敏，整体功能更加强大，因而具备更高的应用价值。然而目前的基于sEMG的手势捕捉系统大多数为前者，而后者的进展较慢，其面临的主要问题如下：1.现有肌电臂环受限于硬件和成本技术瓶颈，通道数和采样率都较低，大大限制了sEMG数据采集的空间和时间密度，造成整个系统的信息输入瓶颈，大大限制了后续的手势识别算法的功能和效果；2.在sEMG信号传感器能够实现高空间密度采集的前提下，由于人体手臂可供记录信号的皮肤面积有限，电极排布的空间密度较高，而不同手势是由多块肌肉共同协作而完成的，因此相邻位置的电极往往受到周围多块肌肉所发出的肌电信号的共同影响，如何能够分离出不同位置的肌肉所发出的肌电信号，并将它们的信号特征分别进行处理，是一个难以解决的问题；3.以深度学习为代表的模式识别框架都需要在模型的训练阶段，收集大量的高质量训练数据。训练数据包含两种数据，一种是由肌电臂环采集到的多通道sEMG数据，一种是该数据所对应手势的精确空间坐标作为标签（label），而且这两种数据需要逐帧对齐。因此为了获取手势的精确空间坐标，就必须对连续变化的sEMG数据进行精准的自动化打标，而自动化打标需要搭配额外的辅助设备和相应的软件，成本和技术难度都较高；
4.训练深度学习所需要的手势标签必须要包含能够涵盖手势的主要形态信息，由于人的手势的几何外形复杂多变，导致所对应的标签维数较高，用这样的高维度标签进行模型训练则需要更复杂的模型和更庞大的训练数据才能达到一定的效果；5.由于每个人的sEMG之间存在较大的个体差异，训练数据集的规模大小直接影响着模型的泛化能力。因为训练数据集的规模不可能大到覆盖所有人的sEMG数据，而针对少数几个人的sEMG数据训练出的模型几乎一定是过拟合的，因此几乎不可能训练出一个对多数人都表现良好的通用模型。
[0005]广义的手势除了手部的精细动作之外，还包括了大臂和小臂的某些大幅度动作，例如挥手告别和举手示意。受限于肌电臂环的采集位置，通过臂环采集到的sEMG仅能识别和预测前者，而后者的运动信息无法还原。
[0006]为此，本专利技术提出基于多通道表面肌电信号的连续手势动作识别方法。

技术实现思路

[0007]本专利技术旨在至少解决现有技术中存在的技术问题之一。
[0008]为实现上述目的，根据本专利技术的第一方面的实施例提出基于多通道表面肌电信号的连续手势动作识别方法，包括以下步骤：微处理器控制采集芯片使用固定频率连续获取sEMG信号和九轴加速度计产生的空间位置和倾角信息；采集芯片将sEMG信号和空间位置和倾角信息反馈回微处理器；微处理器对sEMG信号进行数字滤波处理，得到一次处理信号；微处理器将一次处理信号和空间位置和倾角信息通过无线传输模块传输至上位处理器；上位处理器使用独立变量分析算法对一次处理信号进行解混计算获得输入序列向量；将输入序列向量输入深度学习模型，得出输出序列向量；在上位处理器中，将输出序列向量的关键点坐标生成s*3的矩阵；其中的s表示关键手势点的个数；利用九轴加速度计产生的空间位置和倾角信息对矩阵进行旋转和校正生成G
gest
；在上位处理器中，利用G
gest
中的关键点坐标生成手势图形或手势动画进而完成连续动作的手势识别。
[0009]进一步地，上位处理器使用独立变量分析算法对一次处理信号进行解混计算的过程包括：上位处理器设定时间窗和窗口移动步长，对一次处理信号的每个通道数据进行统计特征提取，组成m*n的输入序列向量；其中的m为一次处理信号的通道数量，n为单个通道提取的特征数量。
[0010]进一步地，所述sEMG信号为16通道的sEMG信号，一次处理信号解混计算后获得的输入序列向量仍为16通道信号。
[0011]进一步地，九轴加速度计产生的空间位置和倾角信息包含六个元素，分别为<x0,y0,z0,α，β，γ>；其中前三个为手势在空间三维坐标中XYZ方向上的平移量；
α是俯仰角；β为偏航角；γ为翻滚角。
[0012]进一步地，其中G
gest
=M
gest
*R
x
*R
y
*R
z
+<x0,y0,z0>；且其中的α、β、γ分别对应俯仰角、偏航角以及翻滚角。
[0013]进一步地，深度学习模型的训练过程为：通过信号采集硬件结合上位处理器获取输入序列向量以及输出序列向量；将输入序列向量以及输出序列向量作为深度学习模型的输入以及输出，并对深度学习模型进行训练，建立输入序列向量与输出序列向量的映射关系；其中的深度学习模型可以为循环神经网络RNN或卷积神经网络CNN。
[0014]进一步地，信号采集硬件包括肌电臂环和视频拍摄模块；所述肌电臂环包括微处理器、采集芯片、无线传输模块、九轴加速度计以及若干电极模块；所述微处理器为STM32H743微处理器，所述采集芯片为WLS128芯片；无线传输模块为蓝牙模块；其中的电极模块为16个；每个电极模块包含三个等间距排列的金属电极，电极模块的连接方式为双差分模式。
[0015]进一步地，所述视频拍摄模块用于对志愿者的手势进行实时拍摄获取视频图像；并将获取的视频图像发送至上位处理器；在上位处理器中，利用单目视觉算法对获取到的视频图像进行逐帧计算手势关键点的空间三维坐标，并得到s*3的矩阵；其中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，包括以下步骤：微处理器控制采集芯片使用固定频率连续获取sEMG信号和九轴加速度计产生的空间位置和倾角信息；采集芯片将sEMG信号和空间位置和倾角信息反馈回微处理器；微处理器对sEMG信号进行数字滤波处理，得到一次处理信号；微处理器将一次处理信号和空间位置和倾角信息通过无线传输模块传输至上位处理器；上位处理器使用独立变量分析算法对一次处理信号进行解混计算获得输入序列向量；将输入序列向量输入深度学习模型，得出输出序列向量；在上位处理器中，将输出序列向量的关键点坐标生成s*3的矩阵；其中的s表示关键手势点的个数；利用九轴加速度计产生的空间位置和倾角信息对矩阵进行旋转和校正生成G
gest
；在上位处理器中，利用G
gest
中的关键点坐标生成手势图形或手势动画进而完成连续动作的手势识别。2.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，上位处理器使用独立变量分析算法对一次处理信号进行解混计算的过程包括：上位处理器设定时间窗和窗口移动步长，对一次处理信号的每个通道数据进行统计特征提取，组成m*n的输入序列向量；其中的m为一次处理信号的通道数量，n为单个通道提取的特征数量。3.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，所述sEMG信号为16通道的sEMG信号，一次处理信号解混计算后获得的输入序列向量仍为16通道信号。4.根据权利要求1所述的基于多通道表面肌电信号的连续手势动作识别方法，其特征在于，九轴加速度计产生的空间位置和倾角信息包含六个元素，分别为<x0,y0,z0,,,>；其中前三个为手势在空间三维坐标中XYZ方向上的平移量；...

【专利技术属性】
技术研发人员：姜汉钧，李孟辉，
申请(专利权)人：苏州唯理创新科技有限公司，
类型：发明
国别省市：