一种基于双分支多流网络的肌电信号手势识别方法技术

一种基于双分支多流网络的肌电信号手势识别方法，将每一个采集电极获得的肌电信号数据，经过数据预处理后，直接作为网络流的一个独立输入，并构建了合适的模型架构与这一输入方式相匹配。相较于传统的先合并数据后分割方式，该方式在数据预处理时更加简便，同时能够减少因分割操作带来的时间开销，提高模型的运行效率；构建的网络模型分别从整体与局部的角度，分析肌电信号与对应手势之间的内在关联性，同时利用投票机制结合两个分支网络的输出来确定最终识别结果，使两个分支网络形成互补效益，弥补了各自的固有缺陷，进而提高手势识别的准确度。别的准确度。别的准确度。

【技术实现步骤摘要】
一种基于双分支多流网络的肌电信号手势识别方法


[0001]本专利技术属于生理信号识别领域，具体涉及一种基于双分支多流网络的肌电信号手势识别方法。

技术介绍

[0002]表面肌电信号(surface ElectroMyoGram，sEMG)是肌肉收缩时产生的电信号，是在体表无创检测肌肉活动的重要途径。表面肌电信号与人体动作有着密切的联系。通过分析表面肌电信号，研究人员能够分析和识别出人体的动作及行为意图。近年来，基于表面肌电信号的手势识别逐渐成为人机交互领域的前沿研究方向，被广泛应用于康复医学、机械控制、虚拟现实等领域。
[0003]传统的肌电手势识别方法一般包括四个环节：信号采集、数据预处理、特征提取和手势分类。信号采集，是将电极置于人体皮肤表面，通过电极连接的采集设备收集和记录电位变化数据。在数据预处理阶段，原始信号经过带通滤波处理，消除噪声与异常数据。对处理后的数据，一般会运用滑动窗口技术，将数据切分成等长的数据段，每一段数据都是用于模型学习的样本数据。特征提取阶段，通常会对采集的数据使用多种提取算法得到一组特征数据，这组特征数据被称为特征集合。最后，特征集合被降维处理后可用于训练分类器，分类器把特征数据映射到给定手势类别中的某一个，从而实现手势分类。线性判别分析、支持向量机和随机森林等都是肌电手势分类中常用的分类器。近几年，深度学习作为机器学习的一个分支方法，在肌电信号手势识别领域展现出较好的性能。采用深度学习的算法不仅取得了比传统方法更低的识别错误率，还大大简化了识别流程。它能自动从训练数据中学习特征，不需要人工设计特征集合提取算法。现阶段，主流的深度学习方法包括卷积神经网络(Convolutional Neural Network，CNN)，循环神经网络(RecurrentNeural Network，RNN)，以及两者的融合等。CNN通过卷积运算，能够提取出输入数据中的高维特征，依据特征对数据进行分类。RNN以序列数据为输入，在序列演进方向进行递归分析。这两类网络都能很好的契合表面肌电信号的样本特点，因此较适合处理肌电信号手势识别问题。
[0004]目前，基于深度学习的肌电手势识别方法，对输入样本的处理方式一般可分为两类。一类是整体分析法，这类方法将各个电极采集到的肌电数据合并为一个整体，通过深度学习网络对数据进行整体特征学习与分析，再输出识别结果。另一类是分治分析法，这类方法先将输入数据合并，然后将合并后的整体数据分割为多个等尺寸的片段，再采用多通道并行架构对每一个数据片段进行特征提取，最后用特征融合进行样本分类。这两类方法都存在一定缺陷，整体分析法忽略了手势与某些肌肉组织的强关联性，而分治分析法会随着卷积层数的加深，丢失浅层提取出的细节特征信息。这些缺陷制约了识别准确度的进一步提升。

技术实现思路

[0005]本专利技术提出了一种基于双分支多流网络的肌电信号手势识别方法。首先，本专利技术
将每一个电极采集获得的肌电信号数据，直接对应一个网络流的独立输入，用于特征提取和分析。其次，本专利技术设计了一种双分支架构，分别从整体与局部的角度，分析肌电信号与对应手势类别之间的关联性。在此基础上，再使用投票机制结合两个分支网络的输出，从而确定最终的手势识别结果。本专利技术具体包含以下步骤。
[0006]一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述方法包括如下步骤：
[0007]步骤1：获取肌电信号数据；通过采集电极设备，记录人体在完成手势动作时对应的肌电信号数据；
[0008]步骤2：数据预处理；
[0009]步骤3：构建网络模型，用于特征提取与手势分类；该网络模型主要包含2个分支网络模块和1个投票机制模块；
[0010]步骤4：使用采集数据对构建的网络模型进行训练，获得最佳的模型参数；
[0011]步骤5：应用模型；向网络模型输入所需识别的肌电信号，模型输出手势识别结果。
[0012]进一步地，步骤1中，通过采集电极设备，以设定的采样率使用肌电信号采集设备对受测个体进行数据采集，采集电极设备的贴片电极分散地放置于受测个体的手背表面。
[0013]进一步地，步骤2的预处理包括如下分步骤：
[0014]步骤2.1，在采集获得的原始肌电数据中选取一定时间长度的稳态数据作为有效数据，并进行滤波和去噪处理；
[0015]步骤2.2，使用滑动窗口方法对各贴片电极采集到的对应各通道数据进行切分，将同一时间片段内的各通道数据放入同一个集合，并贴上对应的手势动作标签，将每一个集合
‑
标签对象作为一个单独数据样本；
[0016]步骤2.3，将步骤2.2处理后的全部数据样本划分为训练集和测试集。
[0017]进一步地，步骤3包括如下分步骤：
[0018]步骤3.1，构建分支网络模块，包括分支网络1和分支网络2；分支网络1从局部角度分析每一处肌肉与手势的关联性，包含多个并行的网络流、特征融合层、多个全连接层和分类器；每个网络流由多个卷积层和1个长短时记忆LSTM层构成；
[0019]分支网络2从整体角度分析肌电数据与手势的关联性，包含多个卷积层、多个全连接层和分类器；
[0020]步骤3.2，构建投票机制模块；该模块接收2个分支网络模块的输出，再使用投票机制计算最终的手势识别结果并输出。
[0021]进一步地，所述分支网络1的手势识别过程为：首先，将步骤2.2获得的数据样本作为网络的标准输入，将其包含的各通道数据分别对应地输入进各个网络流；然后，使用特征融合层将各个网络流输出的特征进行合并，再输入进全连接层进行维度变换；最终，由分类器接收全连接层输出的特征，再根据特征进行手势分类，进而输出识别结果。
[0022]进一步地，所述分支网络2的手势识别过程为：首先，将步骤2.2获得的数据样本中的各通道数据通过特征融合层合并为一个整体，作为网络的标准输入；然后，原始输入依次经过卷积层的特征提取和全连接层的维度变换，再被输入进分类器；最终，由分类器根据特征信息输出手势识别结果。
[0023]进一步地，所述投票机制模块接收2个分支网络模块的分类器输出，其输出格式为
一个含有K个实数的向量，K个实数对应采集时的K种手势的可能性大小，值介于0到1之间，总和为1，标记为S(i)，表示第i种手势的可能性大小；使用投票机制结合两个分支网络的输出来确定最终结果，其计算公式为：
[0024][0025]其中j代表分支网络的编号,S
j
(i)代表第j个分支网络输出的第i种手势的可能性大小，a
j
代表第j个分支网络的权重系数，probability(i)是经过计算后的第i种手势最终的可能性概率；将K个概率中最大的一项所对应的手势作为最终输出结果，记作g
final
，则
[0026]probability(g
final
)＝max(probability(i),i＝1
…
K)。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述方法包括如下步骤：步骤1：获取肌电信号数据；通过采集电极设备，记录人体在完成手势动作时对应的肌电信号数据；步骤2：数据预处理；步骤3：构建网络模型，用于特征提取与手势分类；该网络模型主要包含2个分支网络模块和1个投票机制模块；步骤4：使用采集数据对构建的网络模型进行训练，获得最佳的模型参数；步骤5：应用模型；向网络模型输入所需识别的肌电信号，模型输出手势识别结果。2.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤1中，通过采集电极设备，以设定的采样率使用肌电信号采集设备对受测个体进行数据采集，采集电极设备的贴片电极分散地放置于受测个体的手背表面。3.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤2的预处理包括如下分步骤：步骤2.1，在采集获得的原始肌电数据中选取一定时间长度的稳态数据作为有效数据，并进行滤波和去噪处理；步骤2.2，使用滑动窗口方法对各贴片电极采集到的对应各通道数据进行切分，将同一时间片段内的各通道数据放入同一个集合，并贴上对应的手势动作标签，将每一个集合
‑
标签对象作为一个单独数据样本；步骤2.3，将步骤2.2处理后的全部数据样本划分为训练集和测试集。4.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤3包括如下分步骤：步骤3.1，构建分支网络模块，包括分支网络1和分支网络2；分支网络1从局部角度分析每一处肌肉与手势的关联性，包含多个并行的网络流、特征融合层、多个全连接层和分类器；每个网络流由多个卷积层和1个长短时记忆LSTM层构成；分支网络2从整体角度分析肌电数据与手势的关联性，包含多个卷积层、多个全连接层和分类器；步骤3.2，构建投票机制模块；该模块接收2个分支网络模块的输出，再使用投票机制计算最终的手势识别结果并输出。5.根据权利要求4所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述分支网络1的手势识别过程为：首先...

【专利技术属性】
技术研发人员：郭剑，周杨，鲁捷敏，韩嘉琛，何玉鹏，杨琳，姚敏，褚萍萍，韩崇，王娟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：