一种基于元学习与关系网络的人体动作识别方法及装置制造方法及图纸

本发明专利技术属于人体特征识别技术领域，提供了一种基于元学习与关系网络的人体动作识别方法及装置，包括：获取人体动作所产生的表面肌电信号与惯性的测量数据，在对所采集数据进行预处理后形成人体动作数据集；利用所述人体动作数据集对元学习网络模型进行训练；将训练后的元学习网络模型与关系网络模型拼接，并用所述人体动作数据集对关系网络模型进行训练；基于训练后的元学习网络模型与关系网络模型对采集的人体动作进行识别。本发明专利技术的优点在于所提出的模型不仅能对普通信号数据有较好的识别准确度，能在小样本的情况下实现对特定状态的数据有一定的识别能力，能够有效解决肌电受生物和环境影响较大的问题。生物和环境影响较大的问题。生物和环境影响较大的问题。

【技术实现步骤摘要】
一种基于元学习与关系网络的人体动作识别方法及装置


[0001]本专利技术涉及人体特征识别
，尤其涉及一种基于元学习与关系网络的人体动作识别方法及装置。

技术介绍

[0002]现阶段的外骨骼热门研究方向为面向残疾或行动不便的人群的医疗康复型外骨骼机器人。而为了使外骨骼人机交互更加智能化，更加符合人操作逻辑，需要让外骨骼其去检测人体运动意图，再利用电机带动人体。但这样的交互逻辑需要延迟更低、识别准确度更高得模型，并同时也需要更加灵活、可靠的控制方案，才能给使用者带来更加舒适的使用体验。由于肌电信号会早于人体动作的产生，以肌电信号作为人体运动的意图识别输入能有效提高识别速度，现在已有很多研究者开始研究如何将肌电信号与外骨骼融合。目前虽然已有比较深入的肌电信号研究，但真正能将肌电外骨骼产品化的却极少，其主要原因在于基于肌电的外骨骼仍有以下的问题与挑战。
[0003]肌电信号是人体肌肉收缩时伴随产生的一种电信号，是众多肌肉纤维中运动单元动作电位在时间与空间上的叠加，由于其采集自人体，肌电信号会受到个体差异与环境影响的巨大影响。在实际应用场景中，不同位置的肌肉、不同状态的人体、不同的受测者抑或是电极片的粘贴误差都会使数据分布改变，这对于训练完的网络来说，会造成网络识别的失效。针对这种状况，需要重新采集各个情况下的人体动作数据重新训练模型，但这会带来巨大的时间消耗，同时也给应用带来极大的不便。目前对于此类问题，已有部分研究者开始着手研究解决电极偏移、个体性差异引起的准确度下降问题，但依旧没有较好的有普适性的提升肌电模型鲁棒性的方案。特别对于多种情况同时出现时，模型的准确度会极大的下降，导致人体动作识别失效。

技术实现思路

[0004]本专利技术的目的在于提供一种基于元学习与关系网络的人体动作识别方法及装置，用以解决上述问题。
[0005]为了实现上述目的，本专利技术采用的技术方案为：
[0006]一种基于元学习与关系网络的人体动作识别方法，包括：
[0007]获取人体动作所产生的表面肌电信号与惯性的测量数据，在对所采集数据进行预处理后形成人体动作数据集；
[0008]利用所述人体动作数据集对元学习网络模型进行训练；
[0009]将训练后的元学习网络模型与关系网络模型拼接，并用所述人体动作数据集对关系网络模型进行训练；
[0010]基于训练后的元学习网络模型与关系网络模型对采集的人体动作进行识别。
[0011]进一步的，所述人体动作数据集中包括多个测试者正常状态与特定状态下的人体不同类型动作所产生的表面肌电信号与惯性的测量数据，所述正常状态的数据样本包括支
持集数据和查询集数据。
[0012]进一步的，所述特定状态包括采集电极发生偏移后、人体肌肉处于疲劳时或两者的组合状态。
[0013]进一步的，对所采集数据进行预处理的步骤包括：
[0014]对所采集数据进行滤波处理，以保留预设频率段的数据；
[0015]使用滑动事件窗口将滤波后的数据划分为多个固定长度的窗口；
[0016]对每个窗口内的幅值数据计算其能量值，根据设定阈值将各窗口内的数据划分为动作段或静息段，以形成人体动作数据集。
[0017]进一步的，在对模型进行训练前，按照时序信号的扩充方法进行数据增强以增加数据集中的训练样本，所述扩充方法包括抖动、缩放以及幅值扭曲中的一种或组合。
[0018]进一步的，所述元学习网络模型嵌套在ResNet网络模型上，以实现多种人体动作的特征识别及分类。
[0019]进一步的，利用所述人体动作数据集对元学习网络模型进行训练的步骤包括：
[0020]将元学习网络模型的所有参数随机初始化进行预设轮次的训练；
[0021]在每一个训练轮次的循环中随机抽取预设个数的任务，每个任务中有预设数量支持集和查询集中的数据样本；
[0022]复制对应任务数量且为预设参数的子网络，在子网络中对每一个任务输入支持集中的样本进行训练，在预设参数的子网络基础上依据梯度下降法进行预设步数的更新；
[0023]在循环的每一步更新前，计算查询集的样本损失函数，将每步查询集损失函数加权求和，并利用各任务的加权损失函数更新子网络的参数；
[0024]使用预设数量人体特定状态下的数据样本对网络模型进行训练以调整网络参数。
[0025]进一步的，对关系网络模型进行训练的步骤包括：
[0026]将训练后的元学习网络模型去除全连接层后拼接在所述关系网络模型上；
[0027]利用所述元学习网络模型提取的特征值，将查询集中的数据样本与输入关系网络模型的训练样本拼接而对所述关系网络模型进行训练。
[0028]进一步的，基于训练后的元学习网络模型与关系网络模型对采集的人体动作进行识别的步骤包括：
[0029]获取待测样本，并对待测样本中的数据进行预处理；
[0030]将预处理后的数据输入训练后的元学习网络模型中以提取数据的特征值；
[0031]在训练后的关系网络模型中将已知标签的人体特定状态下的数据样本与该待测样本拼接而计算样本相似度，利用均方差损失函数作为相似度得分，判定相似度得分最高的动作类别作为识别结果。
[0032]本专利技术还提供了一种基于元学习与关系网络的人体动作识别装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于元学习与关系网络的人体动作识别方法。
[0033]本专利技术与现有技术相比，至少包含以下有益效果：
[0034](1)该方法结合了元学习与关系网络的优势，利用少样本学习的方法，使网络对正常数据识别准确度较高；
[0035](2)本专利技术结合卷积神经网络ResNet、元学习和关系网络对sEMG和IMU信号特征进行提取、分类识别，同时能对非理想条件信号有一定的鲁棒性；
[0036](3)本专利技术所提出的模型不仅能对普通信号数据有较好的识别准确度，能在小样本的情况下实现对特定状态的数据有一定的识别能力，能够有效解决肌电受生物和环境影响较大的问题。
附图说明
[0037]图1是本专利技术实施例中基于元学习与关系网络的人体动作识别方法的流程图；
[0038]图2是本专利技术实施例中网络模型搭建的流程图；
[0039]图3是本专利技术实施例中对所采集数据进行预处理的步骤流程图；
[0040]图4是本专利技术实施例中元学习网络的训练流程示意图；
[0041]图5是本专利技术实施例中关系网络模型的示意图；
[0042]图6是本专利技术实施例中通过训练后的网络模型对人体动作进行识别步骤流程图。
具体实施方式
[0043]需要说明，本专利技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习与关系网络的人体动作识别方法，其特征在于，包括：获取人体动作所产生的表面肌电信号与惯性的测量数据，在对所采集数据进行预处理后形成人体动作数据集；利用所述人体动作数据集对元学习网络模型进行训练；将训练后的元学习网络模型与关系网络模型拼接，并用所述人体动作数据集对关系网络模型进行训练；基于训练后的元学习网络模型与关系网络模型对采集的人体动作进行识别。2.根据权利要求1所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，所述人体动作数据集中包括多个测试者正常状态与特定状态下的人体不同类型动作所产生的表面肌电信号与惯性的测量数据，所述正常状态的数据样本包括支持集数据和查询集数据。3.根据权利要求2所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，所述特定状态包括采集电极发生偏移后、人体肌肉处于疲劳时或两者的组合状态。4.根据权利要求2所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，对所采集数据进行预处理的步骤包括：对所采集数据进行滤波处理，以保留预设频率段的数据；使用滑动事件窗口将滤波后的数据划分为多个固定长度的窗口；对每个窗口内的幅值数据计算其能量值，根据设定阈值将各窗口内的数据划分为动作段或静息段，以形成人体动作数据集。5.根据权利要求4所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，在对模型进行训练前，按照时序信号的扩充方法进行数据增强以增加数据集中的训练样本，所述扩充方法包括抖动、缩放以及幅值扭曲中的一种或组合。6.根据权利要求2所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，所述元学习网络模型嵌套在ResNet网络模型上，以实现多种人体动作的特征识别及分类。7.根据权利要求6所述的一种基于元学习与关系网络的人体动作识别方法，其特征在于，利用所述人体动作...

【专利技术属性】
技术研发人员：裘焱枫，诸莹杰，黄勇，徐晓东，魏炳胜，张克勤，胡宇清，
申请(专利权)人：宁波工业互联网研究院有限公司，
类型：发明
国别省市：