基于多特征融合CNN的肌电手势识别方法技术

基于多特征融合CNN的肌电手势识别方法，提出了基于并行的特征融合卷积神经网络架构。该方法为简化训练过程，减少训练集对于设计特定特征集的依赖，以深度学习方法中的卷积神经网络架构为基础进行设计；其次在架构上使用并行神经网络对时域信号和频域信号同时进行训练，有助于提升训练效率，减少训练时间；在训练模型中，提取训练初期的浅层数据特征与网络末端的深层特征相融合，输入分类层进行分类。

【技术实现步骤摘要】
基于多特征融合CNN的肌电手势识别方法
本专利技术属于生理信号识别领域，具体涉及一种基于多特征融合CNN的肌电手势识别方法。
技术介绍
生理信号是一种重要的数据资源，可在疾病的检测、治疗和康复等环节提供帮助。其主要包括人体正常生理活动中自发产生的信号，如心电信号、脑电信号、肌电信号、胃电信号等电生理信号和呼吸、脉搏、体温等非电生理信号。其中肌电信号(ElectroMyoGram，EMG)是随肌肉活动产生的一种重要生物电信号，它是众多肌纤维运动电位在时间和空间上的叠加。这一信息能够反映关节状态以及在运动过程中肢体的形状和位置等信息，是用于感知人体动作的重要方式。目前，sEMG由于在测量上具有非侵入性、无创伤、操作简单等优点，在临床医学、人机交互以及动作识别等方面均有重要的实用价值。随着肌电信号采集设备的不断优化、识别技术和分类方法的不断完善，基于sEMG信号的手势识别准确度也在不断提升。现在sEMG手势识别领域，主要有两大类研究类别，一种是基于传统机器学习方法进行手势识别，另一种是基于深度学习方法进行肌电手势分类。总的来看，两类方法都还存在不足之处，使用机器学习方法进行sEMG手势识别需要根据不同的应用场景选取不同的特征集，模型训练的时间较短，但对于研究人员来说，需要根据不同的输入数据设计相对应的特征提取方法，工作较为繁琐复杂；而使用深度学习方法，仅通过神经网络对于输入的sEMG信号进行不断的训练和迭代提取特征，容易导致经过一层层的卷积提取后特征过于简化，原始信号中的一部分特征信息丢失。
技术实现思路
针对以上问题，本专利技术从降低特征集依赖以及优化训练过程特征的角度出发，提出了基于多特征融合CNN的肌电手势识别方法。该方法为简化训练过程，减少训练集对于设计特定特征集的依赖，以深度学习方法中的卷积神经网络架构为基础进行设计；其次在架构上使用并行神经网络对时域信号和频域信号同时进行训练，有助于提升训练效率，减少训练时间；在训练模型中，提取训练初期的浅层数据特征与网络末端的深层特征相融合，输入分类层进行分类。基于多特征融合CNN的肌电手势识别方法，其特征在于：所述方法包括如下步骤：步骤1：数据预处理；在数据预处理阶段，在对原始数据进行去噪、裁剪和标记措施后，将数据分别按照时域信号和频域信号两种方法进行处理，获得不同类别的输入数据；步骤2：CNN架构获取输入数据浅层特征；CNN网络主要采取并行架构，初始网络是二并行，分别以时域信号和频域信号数据作为输入，经过两层卷积层后初步训练得到浅层数据特征，将并行特征融合后提取处理；步骤3：CNN架构获取输入数据深层特征；进行完整的CNN网络训练，共包含5层卷积层和两层局部连接层，每一层的卷积核参数以及神经元数目根据神经网络训练过程中的微调得到最优结果，其中加入批量归一化以及池化处理以便得到较高的训练效率以及较优的数据特征；步骤4：特征融合；将步骤2与步骤3中获得的浅层、深层特征经过Flatten和激活函数处理后得到相同尺寸的特征数据以便进行后续操作，再进行数据拼接后输入分类器；步骤5：手势分类；利用全连接层和分类层对步骤4得到的最终特征进行概率计算，获取手势分类结果。进一步地，步骤1中，采用双T型陷波滤波器来滤除信号中特定频率的噪声；其次，针对基线漂移，使用小波变换算法来去除基线干扰，通过小波变换对原始信号进行多尺度分解，观察分解出的低频系数，将原始信号减去基线，得到消除了基线漂移的信号值；然后，对于经过降噪处理的所有sEMG信号手动标记每个数据文件，对于不同受试者的不同手势添加相对应的标记，增加标签以便后续训练和测试环节使用；接下来是样本处理环节，将受试者动作过渡间隔的1s样本舍弃，其他样本标记为测试动作；最后，将肌电信号由一维格式转换为二维的时域信号图格式或是频谱图格式。进一步地，步骤2中，在每个卷积层后添加了批量归一化和激活函数ReLu。进一步地，步骤4中，将步骤2中提取出的浅层特征以及步骤3中提取出的深层特征进行融合处理，在经过Flatten函数操作以及全连接层处理后数据格式为Bi*Ui(i∈{1,2})，其中Bi为网络设置的batch_size，而Ui为全连接层中设置的输出空间维度，也即隐藏单元数目；在融合环节，使用Concatenate拼接函数进行特征的融合，输出一个由所有输入张量连接起来的输出张量，用于后续手势识别。进一步地，步骤5中，将上述步骤得到的融合特征进行分类，根据输入信号具体判别其属于哪种手势类别；首先将训练得到的特征输入全连接层，全连接层的神经元数目设置为N。再连接Softmax分类层，该层神经元数目设置为N’,N’的数值根据所需要分类的手势类别决定。最后输出当前输入信号可能属于的手势类别的概率值，其中概率值最大的一类即为网络判断得出的sEMG手势识别结果。本专利技术达到的有益效果为：1.在CNN架构中，对于训练数据提取浅层与深层两方面的特征进行融合后再输入分类层进行手势识别，保证训练数据得到的特征既包含浅层的具体特征，同时含有深层训练得到的抽象特征，增加特征的多样性，避免经过CNN训练得到的特征过于抽象导致的信息丢失，提升肌电信号手势识别准确率；2.对多种手势肌电信号的输入数据进行预处理，分别采用时域信号和频域信号，有助于收集信号波形的时间和空间两方面特征，减少原始信号在处理过程中可能产生的信息损失，增加数据信息量，有助于最终手势识别准确率的提高；3.CNN采用并行网络架构，对两组数据分别同时进行训练与特征提取，避免不同种类数据之间的相互干扰，同时有助于减少训练时间，增加训练效率。附图说明图1是本专利技术实施例中数据预处理的流程图。图2是本专利技术实施例中网络模型架构示意图。具体实施方式下面结合说明书附图对本专利技术的技术方案做进一步的详细说明。针对目前问题，本专利技术从降低特征集依赖以及优化训练过程特征的角度出发，提出了基于并行特征融合卷积神经网络架构的手势识别方法。本方法提出了基于并行的特征融合卷积神经网络架构。该方法为简化训练过程，减少训练集对于设计特定特征集的依赖，以深度学习方法中的卷积神经网络架构为基础进行设计；其次在架构上使用并行神经网络对时域信号和频域信号同时进行训练，有助于提升训练效率，减少训练时间；在训练模型中，提取训练初期的浅层数据特征与网络末端的深层特征相融合，输入分类层进行分类。具体包含以下步骤：步骤1：如图1所示，原始的表面肌电信号易受到来自生理、环境的多种噪声干扰，所以需要先进行降噪处理。首先是处理工频干扰导致的噪声，这里采用双T型陷波滤波器来滤除信号中特定频率的噪声，本方法设定阻带中心频率为50Hz，即可消除其影响；其次，针对基线漂移，使用小波变换算法来去除基线干扰，通过小波变换对原始信号进行多尺度分解，观察分解出的低频系数，将原始信号减去基线，即可得到消除了基线漂移的信号值。其次，对于经过降噪处理的所有sEMG信号手动标记每个数据文件，对于不同受试者的不同手势添本文档来自技高网...

【技术保护点】
1.基于多特征融合CNN的肌电手势识别方法，其特征在于：所述方法包括如下步骤：/n步骤1：数据预处理；在数据预处理阶段，在对原始数据进行去噪、裁剪和标记措施后，将数据分别按照时域信号和频域信号两种方法进行处理，获得不同类别的输入数据；/n步骤2：CNN架构获取输入数据浅层特征；CNN网络主要采取并行架构，初始网络是二并行，分别以时域信号和频域信号数据作为输入，经过两层卷积层后初步训练得到浅层数据特征，将并行特征融合后提取处理；/n步骤3：CNN架构获取输入数据深层特征；进行完整的CNN网络训练，共包含5层卷积层和两层局部连接层，每一层的卷积核参数以及神经元数目根据神经网络训练过程中的微调得到最优结果，其中加入批量归一化以及池化处理以便得到较高的训练效率以及较优的数据特征；/n步骤4：特征融合；将步骤2与步骤3中获得的浅层、深层特征经过Flatten和激活函数处理后得到相同尺寸的特征数据以便进行后续操作，再进行数据拼接后输入分类器；/n步骤5：手势分类；利用全连接层和分类层对步骤4得到的最终特征进行概率计算，获取手势分类结果。/n

【技术特征摘要】
1.基于多特征融合CNN的肌电手势识别方法，其特征在于：所述方法包括如下步骤：
步骤1：数据预处理；在数据预处理阶段，在对原始数据进行去噪、裁剪和标记措施后，将数据分别按照时域信号和频域信号两种方法进行处理，获得不同类别的输入数据；
步骤2：CNN架构获取输入数据浅层特征；CNN网络主要采取并行架构，初始网络是二并行，分别以时域信号和频域信号数据作为输入，经过两层卷积层后初步训练得到浅层数据特征，将并行特征融合后提取处理；
步骤3：CNN架构获取输入数据深层特征；进行完整的CNN网络训练，共包含5层卷积层和两层局部连接层，每一层的卷积核参数以及神经元数目根据神经网络训练过程中的微调得到最优结果，其中加入批量归一化以及池化处理以便得到较高的训练效率以及较优的数据特征；
步骤4：特征融合；将步骤2与步骤3中获得的浅层、深层特征经过Flatten和激活函数处理后得到相同尺寸的特征数据以便进行后续操作，再进行数据拼接后输入分类器；
步骤5：手势分类；利用全连接层和分类层对步骤4得到的最终特征进行概率计算，获取手势分类结果。


2.根据权利要求1所述的基于多特征融合CNN的肌电手势识别方法，其特征在于：步骤1中，采用双T型陷波滤波器来滤除信号中特定频率的噪声；其次，针对基线漂移，使用小波变换算法来去除基线干扰，通过小波变换对原始信号进行多尺度分解，观察分解出的低频系数，将原始信号减去基线，得到消除了基线漂移的信号值；然后，对于经过降噪处理的所有sEMG信号手动标记每个数...

【专利技术属性】
技术研发人员：郭剑，孙浩然，何玉鹏，鲁捷敏，韩嘉琛，韩崇，王娟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32