基于虚拟惯性测量信号生成模型的动作识别方法及系统技术方案

本发明专利技术提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，包括构建包括若干训练样本的训练样本集；利用所述训练样本集，对基于生成对抗网络模型的虚拟惯性测量信号生成模型进行迭代对抗训练，在肢体表面肌电信号与肢体惯性测量信号之间构建起跨模态关联关系模型，实现由表面肌电信号生成虚拟的惯性测量信号，并将基于生成对抗网络模型的虚拟惯性测量信号生成模型应用于肢体动作识别中，通过输入的表面肌电信号生成尽可能逼真的虚拟惯性测量信号，进而在不更改硬件的情况下，拓展现有单模态肢体动作识别系统输入信息的模态数量，提升其识别人体动作时的精度。提升其识别人体动作时的精度。提升其识别人体动作时的精度。

【技术实现步骤摘要】
基于虚拟惯性测量信号生成模型的动作识别方法及系统


[0001]本专利技术涉及动作识别
，特别是涉及一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

技术介绍

[0002]肢体动作识别系统主要通过表面肌电电极、惯性测量单元(IMU)或数据手套等传感器获取的肢体动作数据识别用户的肢体动作，并将识别结果转化为对设备的指令，是实现自然人机交互的重要途径之一。其中肢体动作识别系统又分为单模态的肢体动作识别系统和多模态的肢体动作识别系统。单模态的肢体动作识别系统依赖一种类型传感器获取的肢体动作数据进行肢体动作识别，而多模态的肢体动作识别系统依赖两种或多种类型传感器获取的肢体动作数据进行肢体动作识别。
[0003]多模态的肢体动作识别系统由于增加了输入数据的模态数量，对于提升识别复杂肢体动作的准确率具有重要的意义。表面肌电信号可用于解析手指和手腕运动，而肢体动作惯性测量信号可用于解析前臂运动和位置，因此融合表面肌电与运动传感信号的多模态肢体动作识别系统将有助于提升肢体动作识别系统在识别复杂肢体动作时的精度。另一方面，虽然多模态的肢体动作识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟惯性测量信号生成模型的训练方法，其特征在于，所述训练方法包括：构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型。2.根据权利要求1所述的训练方法，其特征在于，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；所述生成器根据所述近似程度调整生成器中的各权重系数。3.根据权利要求2所述的训练方法，其特征在于，所述利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，具体包括：所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征；所述生成器：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器；所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值；判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，开始下一轮对抗训练。4.根据权利要求1所述的训练方法，其特征在于，所述构建虚拟惯性测量信号生成模型，具体包括：构建包括卷积神经网络...

【专利技术属性】
技术研发人员：卫文韬，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：