【技术实现步骤摘要】
一种用于自然手势识别的多模态混合融合方法及其应用
[0001]本专利技术属于生物信号处理领域,具体的说是一种用于自然手势识别的多模态混合融合方法。
技术介绍
[0002]利用肌电信号(Electromyograpy,EMG)进行手势识别是一个直观可行的人机交互方案。人体肌肉收缩时伴随的表面肌电信号(Surface Electromyography,sEMG)反映了运动关节活动强度和伸屈状态,以及手势完成过程中手的运动、形状、位置和朝向等信息,在手势识别方面具有独特优势,因此,能够用来表征用户的运动状态或运动意图。
[0003]肌电控制是一种使用表面肌电信号将运动或意图转化为操纵假体或其他外部机器人设备的命令的技术。多个自由度的肌电模式识别被认为是一项里程碑式的技术。由于上肢或手的灵巧性,这种能力对于实现上肢或手所需的控制是必要的。然而,肌电信号具有天然的非平稳性和微弱性,肌电信号会由于出汗、电极偏移和运动噪声等情况的干扰而出现信号质量下降的问题;特别的,截肢患者在截肢部位的肌电信号会更加微弱且低信噪比,以及自然手势识别中相似手势难以区分。从而导致基于肌电的手势识别性能严重下降,影响手势交互的体验,甚至引发误操作等安全问题。
[0004]利用多模态信号融合解决肌电模式识别性能下降问题是一种可靠方案。一般有两种传统多模态融合策略:前期融合或者后期融合。前期融合是指先将两种信号按一定规则融合,然后送入一个分类器得到手势分类结果,该策略能够充分利用两种信号之间的交互信息,但是对于单模态信息利用不充分。后期融合 ...
【技术保护点】
【技术特征摘要】
1.一种用于自然手势识别的多模态混合融合方法,其特征在于,包括以下步骤:步骤1、获取多模态手势数据集X={sEMG,ACC}及其手势类别标签集合Y0,并对多模态手势数据集X进行预处理和特征提取,从而构建含信号特征图样本的训练集;其中,sEMG表示稀疏通道的表面肌电信号,ACC表示加速度计信号;步骤1.1、数据预处理:对表面肌电信号sEMG和加速度计信号ACC分别进行滤波、归一化和活动段滑窗分割,得到包含N1个原始肌电信号样本的肌电信号样本集合S
raw
和包含N1个加速度计信号样本的加速度计信号样本集合A
raw
;步骤1.2、特征提取:使用时频域方法提取肌电信号样本集合S
raw
中每一个原始肌电信号样本的时频域特征图,得到包含N1个肌电信号特征图样本的肌电信号训练集S={S
i
|i=1,2,
…
,N1};其中,表示任意第i个肌电信号特征图样本;d1和ch1分别表示肌电信号特征图样本的单通道特征维度和通道数;令S
i
的手势类别标签为Y
i
;使用时域方法提取加速度计信号样本集合A
raw
中每一个加速度计信号样本的时域特征图,得到包含N1个加速度计信号特征图样本的加速度计信号训练集A={A
i
|i=1,2,
…
,N1};其中,表示任意第i个加速度计信号特征图样本;d2和ch2分别表示加速度计信号特征图样本的单通道特征维度和通道数;令A
i
的手势类别标签为Y
i
;步骤1.3、构建含多模态信号特征图样本的训练集{S,A,Y},其中,Y表示肌电信号训练集S和加速度计信号训练集A中信号特征图样本的标签集合,且Y包含L种手势类别;步骤2、构建多模态混合融合模型,包括:三条并行的网络分支以及决策层融合模块;每条网络分支均包括:特征提取子网络和模式识别子网络;所述特征提取子网络包括:升维单元、层级特征融合单元和降维单元;所述层级特征融合单元包括:K级残差网络和多尺度注意力模块;所述升维单元依次包括:一个批归一化层、λ1个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层;K级残差网络中的每一级依次包括:一个批归一化层、λ
′2个卷积核大小为1
×
1的卷积层、一个批归一化层、μ个卷积核大小为k
×
k的卷积层、一个批归一化层、λ2个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层;所述多尺度注意力模块包括:K种尺度的空间注意力单元和融合单元;K级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元;每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成;所述降维单元依次包括:λ3个卷积核大小为1
×
1的卷积层、一个批归一化层、ReLu激活函数层和一个dropout层;所述模式识别子网络由F个全连接层模块组成;其中,所述第一个全连接层模块依次包括:含w1个神经元的全连接层、一个批归一化层、ReLu激活函数层和一个dropout层;第d个全连接层模块依次包括:含w
d
个神经元的全连接层、一个批归一化层和ReLu激活函数层,d∈{2,3,
…
,F
‑
1};第F个全连接层模块为含w
F
个神经元的全连接层;
步骤2.1:将第i个肌电特征图样本S
i
输入第一条并行的网络分支中,并经过所述特征提取子网络中升维单元的处理,输出升维后的特征后再输入层级特征融合单元中,依次经过K级残差网络的处理,并由每一级输出残差特征其中,表示第k级残差网络的输出的残差特征;K级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注...
【专利技术属性】
技术研发人员:陈勋,段声才,吴乐,刘爱萍,
申请(专利权)人:中国科学技术大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。