一种用于自然手势识别的多模态混合融合方法及其应用技术

本发明专利技术公开了一种用于自然手势识别的多模态混合融合方法及其应用，该方法包括：1获取多模态数据，对多模态信号进行预处理和特征提取；2构建多模态信号混合融合模型，联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息；3设计多尺度空间注意力模块，通过融合多尺度层级特征来充分挖掘输入信号的关键信息；4设计度量学习损失函数，增强模型对相似手势的辨别能力；5训练多模态混合融合模型，获得最优的自然手势识别模型。本发明专利技术能提升自然手势识别的鲁棒性，尤其增加模型对大量手势和相似手势的识别精度，从而能促进基于手势的人机交互系统的推广应用。势的人机交互系统的推广应用。势的人机交互系统的推广应用。

【技术实现步骤摘要】
一种用于自然手势识别的多模态混合融合方法及其应用


[0001]本专利技术属于生物信号处理领域，具体的说是一种用于自然手势识别的多模态混合融合方法。

技术介绍

[0002]利用肌电信号(Electromyograpy,EMG)进行手势识别是一个直观可行的人机交互方案。人体肌肉收缩时伴随的表面肌电信号(Surface Electromyography，sEMG)反映了运动关节活动强度和伸屈状态，以及手势完成过程中手的运动、形状、位置和朝向等信息，在手势识别方面具有独特优势，因此，能够用来表征用户的运动状态或运动意图。
[0003]肌电控制是一种使用表面肌电信号将运动或意图转化为操纵假体或其他外部机器人设备的命令的技术。多个自由度的肌电模式识别被认为是一项里程碑式的技术。由于上肢或手的灵巧性，这种能力对于实现上肢或手所需的控制是必要的。然而，肌电信号具有天然的非平稳性和微弱性，肌电信号会由于出汗、电极偏移和运动噪声等情况的干扰而出现信号质量下降的问题；特别的，截肢患者在截肢部位的肌电信号会更加微弱且低信噪比，以及自然手势识别中相似手势难以区分。从而导致基于肌电的手势识别性能严重下降，影响手势交互的体验，甚至引发误操作等安全问题。
[0004]利用多模态信号融合解决肌电模式识别性能下降问题是一种可靠方案。一般有两种传统多模态融合策略：前期融合或者后期融合。前期融合是指先将两种信号按一定规则融合，然后送入一个分类器得到手势分类结果，该策略能够充分利用两种信号之间的交互信息，但是对于单模态信息利用不充分。后期融合是指先分别用两种信号训练两个分类器，然后按一定规则融合两个分类器的分类结果得到最终的分类结果，该策略能够充分利用单模态信号信息，但是忽略了模态间的交互信息。另外，现有的手势识别方法缺乏对极其相似手势的特殊处理，如抓取不同形状物体时的自然手势时极其相似的，导致模型对相似手势的分类效果较差。

技术实现思路

[0005]本专利技术是为了解决上述现有技术存在的不足之处，提出一种用于自然手势识别的多模态混合融合方法及其应用，以期能联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息，从多模态信号中获取更全面的有用信息用于手势分类，还通过引入度量学习强化模型对相似手势的辨别能力，从而能提升模型对大量手势和相似手势的识别精度，增强自然手势识别系统的鲁棒性。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种用于自然手势识别的多模态混合融合方法的特点在于，包括以下步骤：
[0008]步骤1、获取多模态手势数据集X＝{sEMG,ACC}及其手势类别标签集合Y0，并对多模态手势数据集X进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，
sEMG表示稀疏通道的表面肌电信号，ACC表示加速度计信号；
[0009]步骤1.1、数据预处理：
[0010]对表面肌电信号sEMG和加速度计信号ACC分别进行滤波、归一化和活动段滑窗分割，得到包含N1个原始肌电信号样本的肌电信号样本集合S
raw
和包含N1个加速度计信号样本的加速度计信号样本集合A
raw
；
[0011]步骤1.2、特征提取：
[0012]使用时频域方法提取肌电信号样本集合S
raw
中每一个原始肌电信号样本的时频域特征图，得到包含N1个肌电信号特征图样本的肌电信号训练集S＝{S
i
|i＝1,2,
…
,N1}；其中，表示任意第i个肌电信号特征图样本；d1和ch1分别表示肌电信号特征图样本的单通道特征维度和通道数；令S
i
的手势类别标签为Y
i
；
[0013]使用时域方法提取加速度计信号样本集合A
raw
中每一个加速度计信号样本的时域特征图，得到包含N1个加速度计信号特征图样本的加速度计信号训练集A＝{A
i
|i＝1,2,
…
,N1}；其中，表示任意第i个加速度计信号特征图样本；d2和ch2分别表示加速度计信号特征图样本的单通道特征维度和通道数；令A
i
的手势类别标签为Y
i
；
[0014]步骤1.3、构建含多模态信号特征图样本的训练集{S,A,Y}，其中，Y表示肌电信号训练集S和加速度计信号训练集A中信号特征图样本的标签集合，且Y包含L种手势类别；
[0015]步骤2、构建多模态混合融合模型，包括：三条并行的网络分支以及决策层融合模块；每条网络分支均包括：特征提取子网络和模式识别子网络；
[0016]所述特征提取子网络包括：升维单元、层级特征融合单元和降维单元；
[0017]所述层级特征融合单元包括：K级残差网络和多尺度注意力模块；
[0018]所述升维单元依次包括：一个批归一化层、λ1个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层；
[0019]K级残差网络中的每一级依次包括：一个批归一化层、λ
′2个卷积核大小为1
×
1的卷积层、一个批归一化层、μ个卷积核大小为k
×
k的卷积层、一个批归一化层、λ2个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层；
[0020]所述多尺度注意力模块包括：K种尺度的空间注意力单元和融合单元；
[0021]K级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元；每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成；
[0022]所述降维单元依次包括：λ3个卷积核大小为1
×
1的卷积层、一个批归一化层、ReLu激活函数层和一个dropout层；
[0023]所述模式识别子网络由F个全连接层模块组成；其中，所述第一个全连接层模块依次包括：含w1个神经元的全连接层、一个批归一化层、ReLu激活函数层和一个dropout层；第d个全连接层模块依次包括：含w
d
个神经元的全连接层、一个批归一化层和ReLu激活函数层,d∈{2,3,
…
,F
‑
1}；第F个全连接层模块为含w
F
个神经元的全连接层；
[0024]步骤2.1：将第i个肌电特征图样本S
i
输入第一条并行的网络分支中，并经过所述特征提取子网络中升维单元的处理，输出升维后的特征后再输入层级特征融合单元中，
依次经过K级残差网络的处理，并由每一级输出残差特征其中，表示第k级残差网络的输出的残差特征；
[0025]K级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注意力单元中，从而输出空间注意力权重其中，表示第k种尺度的空间注意力单元输出的空间注意力权重；所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自然手势识别的多模态混合融合方法，其特征在于，包括以下步骤：步骤1、获取多模态手势数据集X＝{sEMG,ACC}及其手势类别标签集合Y0，并对多模态手势数据集X进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，sEMG表示稀疏通道的表面肌电信号，ACC表示加速度计信号；步骤1.1、数据预处理：对表面肌电信号sEMG和加速度计信号ACC分别进行滤波、归一化和活动段滑窗分割，得到包含N1个原始肌电信号样本的肌电信号样本集合S
raw
和包含N1个加速度计信号样本的加速度计信号样本集合A
raw
；步骤1.2、特征提取：使用时频域方法提取肌电信号样本集合S
raw
中每一个原始肌电信号样本的时频域特征图，得到包含N1个肌电信号特征图样本的肌电信号训练集S＝{S
i
|i＝1,2,
…
,N1}；其中，表示任意第i个肌电信号特征图样本；d1和ch1分别表示肌电信号特征图样本的单通道特征维度和通道数；令S
i
的手势类别标签为Y
i
；使用时域方法提取加速度计信号样本集合A
raw
中每一个加速度计信号样本的时域特征图，得到包含N1个加速度计信号特征图样本的加速度计信号训练集A＝{A
i
|i＝1,2,
…
,N1}；其中，表示任意第i个加速度计信号特征图样本；d2和ch2分别表示加速度计信号特征图样本的单通道特征维度和通道数；令A
i
的手势类别标签为Y
i
；步骤1.3、构建含多模态信号特征图样本的训练集{S,A,Y}，其中，Y表示肌电信号训练集S和加速度计信号训练集A中信号特征图样本的标签集合，且Y包含L种手势类别；步骤2、构建多模态混合融合模型，包括：三条并行的网络分支以及决策层融合模块；每条网络分支均包括：特征提取子网络和模式识别子网络；所述特征提取子网络包括：升维单元、层级特征融合单元和降维单元；所述层级特征融合单元包括：K级残差网络和多尺度注意力模块；所述升维单元依次包括：一个批归一化层、λ1个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层；K级残差网络中的每一级依次包括：一个批归一化层、λ
′2个卷积核大小为1
×
1的卷积层、一个批归一化层、μ个卷积核大小为k
×
k的卷积层、一个批归一化层、λ2个卷积核大小为1
×
1的卷积层、一个批归一化层和ReLu激活函数层；所述多尺度注意力模块包括：K种尺度的空间注意力单元和融合单元；K级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元；每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成；所述降维单元依次包括：λ3个卷积核大小为1
×
1的卷积层、一个批归一化层、ReLu激活函数层和一个dropout层；所述模式识别子网络由F个全连接层模块组成；其中，所述第一个全连接层模块依次包括：含w1个神经元的全连接层、一个批归一化层、ReLu激活函数层和一个dropout层；第d个全连接层模块依次包括：含w
d
个神经元的全连接层、一个批归一化层和ReLu激活函数层,d∈{2,3,
…
,F
‑
1}；第F个全连接层模块为含w
F
个神经元的全连接层；
步骤2.1：将第i个肌电特征图样本S
i
输入第一条并行的网络分支中，并经过所述特征提取子网络中升维单元的处理，输出升维后的特征后再输入层级特征融合单元中，依次经过K级残差网络的处理，并由每一级输出残差特征其中，表示第k级残差网络的输出的残差特征；K级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注...

【专利技术属性】
技术研发人员：陈勋，段声才，吴乐，刘爱萍，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：