一种基于双流网络的肌电信号手势识别方法技术

一种基于双流网络的肌电信号手势识别方法，包括以下步骤：1)采集多人各类手势的肌电信号。通过佩戴16通道的采集设备，受试者每个手势动作持续12秒，提取出其中10秒的稳态数据，进行数据预处理，选择300ms的时间窗口，每帧肌电图的尺寸为300×16。以此构建训练集。2)构建双流网络模型，此模型主要由三部分组成。第一部分为多层CNN，负责提取空间特征；第二部分为多层LSTM，负责学习时间特征；最后一部分为特征合并层，负责特征融合。3)对双流网络模型进行训练，采用Adam优化器进行梯度下降优化，直到其收敛。4)使用训练好的双流网络模型对手臂的sEMG进行手势识别。

A gesture recognition method of EMG signal based on dual flow network

【技术实现步骤摘要】
一种基于双流网络的肌电信号手势识别方法
本专利技术涉及人机交互和人工智能领域，特别涉及一种基于双流网络的肌电信号手势识别方法，可以应用在工业控制与医疗假肢等方向。
技术介绍
通过构建深度学习模型对表面肌电信号(sEMG)进行分类，将肌电信号转换为传递用户运动意图的指令，并将其传入机器中，构成了完整的肌电控制系统。基于表面肌电信号的手势识别是肌电控制系统的核心。在应用场景种，sEMG易受到外部环境的干扰，比如电极偏移、肌肉收缩力的变化和肌肉收缩力的变化，这些因素都会影响识别模型的准确率。在sEMG的应用领域，比如临床领域的智能假肢,工业领域的人机控制，都对识别准确率有着较高的要求。因此，基于sEMG的手势识别仍然有需要提升的空间。基于sEMG的手势识别可以很自然地被定义为一种模式识别问题，通常通过监督学习对分类器进行训练。在对sEMG信号进行模式识别时，主要有三部分：数据预处理，特征提取与分类。EMG的特征主要有四种类型：时域特征(TD)、谱域或频域(FD)、时间尺度或时频域和参数模型分析。在传统算法方面，提取肌电数据特征后，使用经典的机器学习算法进行分类。比如线性判别分析(LDA)，支持向量机(SVM)，K-最近邻(KNN)，高斯混混模型(GMM)。使用传统的机器学习算法构建识别模型主要有三个缺点。首先，设计者需要人工制造大量的特征，寻找最佳的特征组合费时又费力。其次，一个场景的最佳特征组合不一定适应于其它场景。最后，生物信号是复杂的，需要专业的领域知识。近年来，深度学习已经在图像分类、人脸识别和语音识别取得显著的效果。深度学习也称为特征学习，能够从输入数据中自动习得有效的特征。经典的网络架构有卷积神经网络()CNN)，循环神经网络(RNN)。许多研究将sEMG与深度学习结合。通用的思路是将多帧sEMG信号转换为灰度图像，此时sEMG的手势识别问题重构为图像分类问题。Manfreda等人发现一个结构简单的CNN比经典的分类方法拥有更好的效果。Geng等人构建深度卷积网络应用于高密度sEMG信号。Acharya等人利用卷积网络分析脑电图信号来诊断癫痫。Xia等人利用CNN处理sEMG信号，再转换为时频帧传入RNN中，从而实现手势分类模型。之前的研究大多使用CNN提取sEMG图的空间特征，多帧有序肌电信号会合并成肌电图，能够提取出数据的空间有效信息。虽然取得了不错的效果，但sEMG作为时间序列的一种，其内部的时间相关性则被忽略。
技术实现思路
本专利技术要克服现有技术的上述缺点，提供一种基于双流网络的肌电信号手势识别方法。本专利技术设计了一种结合卷积神经网络(CNN)和长短期记忆网络(LSTM)结构特征的双流网络结构，上层是多层CNN结构，包括卷积层、池化层与全连层，可以提取出肌电图的空间特征；下层由多层LSTM构成，目的是提取出sEMG序列的时间特征。多层LSTM串联。网络就能提取出肌电数据的时空特性。利用sEMG序列的时空特征进行手势识别分类，可以提升分类准确率，并在实时分类系统中取得良好的效果。实现本专利技术目的的技术方案是：一种基于双流网络的肌电信号手势识别方法，其特征包括以下步骤：步骤1.采集多人各类手势的肌电信号。通过佩戴16通道的采集设备，受试者每个手势动作持续12秒，进行6次重复。提取出其中10秒的稳态数据，进行数据预处理，选择300ms的时间窗口，每帧肌电图的尺寸为300×16，以此构建训练集；步骤2.构建双流网络模型，此模型主要由三部分组成。第一部分负责提取空间特征，第二部分负责学习时间特征，最后一部分负责特征融合；模型的第一部分是CNN，共有五层结构，输入的sEMG数据(300×16)经过CNN处理后，提取的空间特征维度是128×1。模型中的LSTM部分共有三层，多层叠加可以提取时间序列的有效信息。每层LSTM都有128个单元，输入的sEMG数据(300×16)经过LSTM处理后，提取的时间特征维度是128×1。第一部分与第二部分是并行结构，能同时分别处理肌电数据，然后将CNN部分提取出空间特征和LSTM部分提取出的时序特征进行融合，形成一个特征合并层，以此提取更全面的特征。随后通过两个完全连接层，将两种特征中的有效信息融合成时空特征，再使用Softmax层得到分类的概率估计；步骤3.对双流网络模型进行训练，采用Adam优化器进行梯度下降优化。训练损失函数为：其中a为模型的输出，y为样本的真实值，θ包括网络模型中的所有参数，为L2正则化公式，能够有效的防止过拟合问题；步骤4.使用训练好的双流网络模型对手臂的sEMG进行手势识别。进一步，所述步骤2中CNN的每个输入层与隐藏层后都采用reLu与BatchNorm。本专利技术的优点是：1、本专利技术设计合理，将深度神经网络应用于肌电信号手势识别，其模型具有较强的可塑性和识别能力。相较于传统机器学习方法，不需要繁琐的特征工程，且极大提高了识别准确率。有重要的应用意义。2、本专利技术将CNN与LSTM的特性相结合，构成一种新型的双流网络模型用于肌电信号手势识别。该网络模型可以同时提取sEMG数据的时间特征和空间特征，以此提升对不同手势产生的肌电信号的识别准确度。并且在训练数据集越大且手势数量越多的情况下，该双流模型相比较其他神经网络模型的识别精确度明显增加，且有更强的适应性。附图说明图1为本专利技术采集数据所用的非入侵式可穿戴的肌电采集设备。图2为本专利技术采集肌电信号的五种手势。图3为本专利技术中的双流网络结构图。图4为本专利技术在自采集数据集上的手势识别分类与其他机器学习算法比较。图5(a)为本专利技术使用不同数据规模作为训练集，在NinaproDB1数据集上进行手势识别分类的识别准确率。图5(b)为本专利技术对不同数量的手势数据进行分类，在NinaproDB1数据集上进行手势识别分类的识别准确率。图6(a)为肌电信号数据集原始数据的三维可视化图。图6(b)为使用CNN进行特征分类的三维可视化图。图6(c)为使用本专利技术进行特征分类的三维可视化图。具体实施方式下面结合附图，进一步说明本专利技术的技术方案。一种基于双流网络的肌电信号手势识别方法，包括如下步骤：步骤1.使用图1所示的一套非入侵式可穿戴的肌电采集设备来采集8名健康的志愿者如图2所示一共五种手势的sEMG数据，一共得到240个sEMG样本。每个样本中含有195帧的肌电图数据。每帧肌电图由300毫秒的sEMG构成，采集设备有16个电极通道，故肌电图的维度是300×16。步骤2.根据图3所示，建立双流网络模型，此模型主要由一个多层CNN与一个多层LSTM组成。模型中的CNN部分共有五层：前两层为卷积层，包含着64个步幅为1、填充为1的卷积核(5×5，3×3)，对其输出分别进行最大池化处理，在保留数据信息的同时降低维度；随后两层是带有64个非重叠卷积核(1×1)的本地连接层，为提取最有效的空间特本文档来自技高网...

【技术保护点】
1.一种基于双流网络的肌电信号手势识别方法，包括以下步骤：/n步骤1.采集多人各类手势的肌电信号；通过佩戴16通道的采集设备，受试者每个手势动作持续12秒，进行6次重复；提取出其中10秒的稳态数据，进行数据预处理，选择300ms的时间窗口，每帧肌电图的尺寸为300×16，以此构建训练集；/n步骤2.构建双流网络模型，此模型主要由三部分组成；第一部分负责提取空间特征，第二部分负责学习时间特征，最后一部分负责特征融合；/n模型的第一部分是CNN，共有五层结构，输入的sEMG数据(300×16)经过CNN处理后，提取的空间特征维度是128×1；模型中的LSTM部分共有三层，多层叠加可以提取时间序列的有效信息；每层LSTM都有128个单元，输入的sEMG数据(300×16)经过LSTM处理后，提取的时间特征维度是128×1；第一部分与第二部分是并行结构，能同时分别处理肌电数据，然后将CNN部分提取出空间特征和LSTM部分提取出的时序特征进行融合，形成一个特征合并层，以此提取更全面的特征；随后通过两个完全连接层，将两种特征中的有效信息融合成时空特征，再使用Softmax层得到分类的概率估计；/n步骤3.对双流网络模型进行训练，采用Adam优化器进行梯度下降优化；训练损失函数为：/n...

【技术特征摘要】
1.一种基于双流网络的肌电信号手势识别方法，包括以下步骤：
步骤1.采集多人各类手势的肌电信号；通过佩戴16通道的采集设备，受试者每个手势动作持续12秒，进行6次重复；提取出其中10秒的稳态数据，进行数据预处理，选择300ms的时间窗口，每帧肌电图的尺寸为300×16，以此构建训练集；
步骤2.构建双流网络模型，此模型主要由三部分组成；第一部分负责提取空间特征，第二部分负责学习时间特征，最后一部分负责特征融合；
模型的第一部分是CNN，共有五层结构，输入的sEMG数据(300×16)经过CNN处理后，提取的空间特征维度是128×1；模型中的LSTM部分共有三层，多层叠加可以提取时间序列的有效信息；每层LSTM都有128个单元，输入的sEMG数据(300×16)经过LSTM处理后，提取的时间特征维度是128×1；第一部...

【专利技术属性】
技术研发人员：杜怡辰，张敏霞，仝润泽，俞辉，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33