一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统技术方案

本发明专利技术提出了一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。以多流卷积神经网络(MS

【技术实现步骤摘要】
一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统


[0001]本专利技术属于信号处理、模式识别
，特别是涉及一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。

技术介绍

[0002]随着科学技术的发展，人机交互中的肌电信号手势识别被广泛应用。为了有效地提取各种手势信息，业界提出了诸多方法，其中通过肌电图可更好的捕获手势信息，因为它通过捕捉肌肉活动的生物电信号可以反映人体某一特定动作。而肌电信号的采集方式分为表面电极(电极贴片)和针式电极两种。前者只需在待测区域的皮肤表面放置电极贴片以此来测量肌肉动作电位，所以采集的信号称为表面肌电信号。相较于后者穿透皮肤的侵入式采集，该方式不会对人体造成伤害。
[0003]早期基于表面肌电信号的手势识别研究主要使用传统的机器学习模型
[7]，步骤包括信号检测、信号预处理、特征提取和模式分类四个阶段。其核心是特征提取和模式分类，目的是通过特征识别来区分表面肌电信号继而传输到分类器进行识别。近年来，相关人员研究了一些时域、频域和时频域相结合的特征提取方法。但传统的机器学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，包括采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS
‑
CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。2.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流MS
‑
CNN网络进行特征提取，具体是首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模；每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3
×
3的卷积滤波器组成，并在第二层后面加入了通道注意力层CAM；然后采用两个局部连接层，每层由64个1
×
1局部连接层来提取sEMG图像的局部特征；最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合；每层后都加入了批量归一化(BN)和修正线性单元ReLU，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。3.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流模块MS
‑
CNN选择自适应矩估计Adam作为网络优化器；CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量。4.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，使用长短期记忆模块LSTM进行时序信息提取在多流CNN网络的第七层后添加了两个堆叠的LSTM层，每个LSTM有128个单元，同时设置dropout的值为0.5，通过dropout方法来抑制过拟合；LSTM属于门控RNN的范畴，它使用门(Sigmoid激活函数，然后逐点相乘)来创建通过时间的路径，其导数既不会消失也不会爆炸；每个LSTM单元包含四种结构，分别为输入门、输出门、遗忘门和单元状态。5.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，长短期记忆模块LSTM结构基于以下公式：f
t
＝σ(W
f
.[h
t
‑1,g
t
]+b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)i
t
＝σ(W
i
.[h
t
‑1,g
t
]+b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)o
t
＝σ(W
o
[h
t
‑1,g
t
]+b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)(3)h
t
＝o
t
·
tanh(C
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中σ是Sigmoid激活函数，i
t
、f
t
、o
t
、C
t
分别是输入门、遗...

【专利技术属性】
技术研发人员：刘聪，许婷婷，刘粤，马钰同，易文涛，胡凯峰，袁功进，胡胜，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：