一种基于多源域自适应的跨用户手势识别方法技术

本发明专利技术提供了一种基于多源域自适应的跨用户手势识别方法，尤其是肌电惯性手势识别方法，属于人工智能的人机交互技术领域，包括：S1：通过传感器获取多个被试前臂的肌电信号和惯性信号，构建多源域数据集；S2:对S1步骤中得到的肌电、惯性信号进行预处理与数据处理；S3：构建共有特征提取器，获取时序特征；S4：构建域特征提取器，进行域特有特征对齐；S5：构建域分类器，进行域分类器对齐；S6：计算多领域自适应方法的损失估计，将S3获得的数据送入模型中，对模型进行训练直到模型损失函数不再提升，保存模型。存模型。存模型。

【技术实现步骤摘要】
一种基于多源域自适应的跨用户手势识别方法


[0001]本专利技术涉及人工智能的人机交互
，尤其是一种基于多源域自适应的跨用户手势识别方法。

技术介绍

[0002]手势识别技术已在众多人机交互领域都表现出了极具重要的研究价值和应用前景：科学研究已经证实，使用融合手势识别技术和机器人技术的手康复机器人辅助医师对患者手部进行康复训练，能够帮助重塑神经系统，促进患者手部运动功能恢复正常。在消费类电子领域，以手势识别作为人机交互的应用场景更加丰富，如远程控制的家庭服务机器人，虚拟现实交互，在工业领域，使用手势识别技术结合机械手臂，可以保证工人在极限环境作业下的安全。在军事作战领域，语言和表情往往不适合士兵之间的交流及指挥方式，使用手势能够安全且清晰的表达作战命令。
[0003]由于信号的个体性差异，动作识别可以分为单用户动作识别算法和跨用户动作识别算法，区别在于训练数据集用户和测试数据集用户是否相同。
[0004]采用经典分类器的手势识别技术普遍包含四个步骤：信号检测、信号预处理及分段、特征提取、和手势动作分类。其中特征提取是决定手势识别效果的关键步骤。早期的研究重点是从时域角度对信号进行特征提取，比如使用均方根值、波形长度等特征；随着研究的继续深入，研究者使用更多的方式对信号进行提取，比如使用峰值频率、中值频率等频域特征；使用小波系数的绝对平均值、小波系数的平均能量等时频域特征。但人工设计特征中容易存在一些冗余信息而导致模型泛化能力弱、模型训练耗时长等问题，对于冗余特征问题，常用的方法是利用特征选择方法对提取到的特征进行筛选，从所有特征中保留高信息量和高价值的特征，从而构建一个特征维度较小，包含信息量较大的特征子集，常用特征筛选方法可以分为过滤式(Filter)、包裹式(Wrapper)和嵌入式(Embedded)三种方式。虽然特征筛选在一定程度上解决了特征冗余的问题，但效果和适用性仍有待进一步提高。
[0005]不同人之间由于肌肉的发达程度和肌肉收缩方式不同，执行相同动作时产生的肌电信号会存在差异，尤其是健康人和残疾人的肌电信号差异更大，因此限制了模型在多个用户之间的实用性。因此如何解决跨用户间的动作识别问题引起了研究者的广泛关注。现在常有的方法为使用迁移学习方法对跨用户动作识别进行研究，通过少量的新用户数据来更新已知用户的识别模型权重因子，使模型能够快速适应于新用户数据。以及采用领域自适应方法，通过一定的变换将已知用户数据和未知用户数据共同映射到同一个特征空间，通过微调模型可快速匹配新用户。但是由于不同用户的动作数据分布差异不可避免，即使训练再好的模型在面对新用户数据时，也会因数据分布差异而导致准确率下降。

技术实现思路

[0006]本专利技术目的针对上述现有技术不足，设计一种基于多源域自适应的跨用户手势识别方法，以解决现有技术中存在的技术缺陷。
[0007]为解决上述技术问题，本专利技术所采用的技术方案是：
[0008]S1：通过传感器获取多个被试前臂的肌电信号和惯性信号，构建多源域数据集。
[0009]S2：对S1步骤中得到的肌电、惯性信号进行预处理，包括带通滤波、工频陷波；进行数据处理，包括数据标签矫正，数据增强。
[0010]S3：构建共有特征提取器，通过长短时记忆(LSTM)以及激励网络(SENET)获取时序特征。
[0011]S4：构建域特征提取器，全连接层作为每个域域特征提取器对各个源域和目标域的共有特征进行进一步特征提取，进而获得每个源域特有特征，以此实现将各个源域数据映射到每个域特定的特征空间。域特有特征对齐，使用CORAL作为对域特征之间分布差异的度量函数，通过计算协方差来计算特征之间的距离。
[0012]S5：域分类器，每个域分类器后各加入SoftMax分类器，每个域的特有特征进行通过域分类器获得分类结果。域分类器对齐，利用目标域在所有域分类器上输出的交叉熵差异的绝对值作为对齐距离。
[0013]S6：多领域自适应方法的损失估计，包括分类损失、域特有特征差异损失和域分类器差异损失。将获得的数据送入模型中，对模型进行训练直到模型损失函数不再提升，保存模型。
[0014]本专利技术的改进如下：
[0015]所述步骤S3中的LSTM由遗忘门、更新门和输出门组成。LSTM的遗忘门使用tanh函数作为最终输出，也选用了一个输出值在[0,1]区间内的函数作为门的激活函数，这里决定了上一个细胞状态C
t
‑1是否被遗忘，当f
t
为0时遗忘；为1时保留。激励网络SE NET为改进压缩激励网络，将短时平均能量引入至SE Block，可以使用短时平均能量来描述肌电信号，使用短时能量可以更好地获取每块肌肉力量和收缩信息，能够反应各个通道的重要性。短时平均能量公式如下：
[0016][0017]传统的迁移学习算法：1.单源域最优方式，使用源域数据集其中一组源域数据进行迁移，遍历整个数据集，选取最优的实验结果最为单源域最优方式的结果2.源域组合方法，将所有非目标域的源域数据组合成一个数据集作为自适应算法的源域。
[0018]本专利技术的方法通过LSTM和SENET完成了对时序特征的获取，通过多源域迁移学习的方法，解决了需要收集大量带标签源域数据的问题，同时通过数据增强提高了模型的识别精度，满足了对手势识别的实时性快捷性的需求。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术一种基于多源域的自适应的手势识别方法流程图；
[0021]图2为本专利技术改进后SE Block操作流程；
[0022]图3为本专利技术的多源域自适应网络结构。
具体实施方式
[0023]下面结合实施例对本专利技术做进一步详细说明：
[0024]为详尽本专利技术之
技术实现思路
、结构特征、所达成目的及功效,以下将结合说明书附图对本专利技术的一种实施方式进行说明：
[0025]S1：信号采集与数据集，采集肌电信号，采用差分放大电路作为信号输入端，能够获得放大信号并抑制采集中的共模干扰。输入端采用三个电极，分别为差分电极对和参考电极，差分电极对放置在肌肉中心位置，参考电极放置于远离目标肌肉或者无肌肉位置；采集惯性信号，惯性信息是通过固定坐标系与惯性传感器坐标系间的相对位移关系进行计算，两个坐标轴位置之间形成的夹角主要由航向角、俯仰角和翻转角组成，根据坐标系映射关系及输出的上述角度值，即可计算出被采集物体的惯性信息。
[0026]采集的实验数据，本专利技术选择目标肌肉为：尺侧腕屈肌、桡侧腕屈肌、拇长屈肌、指伸肌、小指伸肌和示指伸肌共6个肌肉。数据集共采集10名健康受试者53种手势，每个受试者对每个手势重复6次，每个动作维持5秒，每个动作执行完休息本文档来自技高网...

【技术保护点】

【技术特征摘要】
被遗忘；当f
t
为1时上一个细胞状态Ct 1被保留；时序特征是通过LSTM网络来获取；数学表达式如下所示：f
t
＝singmoid(w
f
*[h
t
‑1,x
t
]+b
i
)式中，X
T
为当前时刻网络的输入值，H
t
‑1为上一时刻LSTM的输出值，W
F
为遗忘门的权重矩阵，b
i
为输入门的偏置项；最新的细胞状态C
t
是由上一个细胞状态C
t
‑1和新的待定细胞状态一起决定的；f
t
和i
t
是C
t
‑1和的权重系数项，是细胞的更新或遗忘的体现，数学表达式如下所示：i
t
＝sigmoid(w
i
*[h
t
‑
1,x
t
]+b
i
))式中，W
i
为输入门的权重矩阵，W
c
为计算单元状态的权重矩阵，b
c
为计算单元状态的偏置项，i
t
为输入门，C
T
‑1为上个细胞状态；输出门负责确定当前细胞状态C
t
有多少会输出至输出值H
t
中，数学表达式如下所示：o
t
＝sigmoid(w
o
*[h
t
‑
1,x
t
]+b
o
)h
t
＝o
t
*tanh(C
t
)。5.根据权利要求1所述的一种基于多源域自适应的跨用户手势识别方法，其特征在于：SENet通过将每个特征通道看作一个整体，使用特征重标定方式利用通道全局特征来标定模型通道的权重，使模型在训练过程中能够学习到不同特征通道的重要程度，...

【专利技术属性】
技术研发人员：谢平，徐猛，江国乾，王颖，张经纬，王崑宇，
申请(专利权)人：燕山大学，
类型：发明
国别省市：