基于虚拟惯性测量信号生成模型的动作识别方法及系统技术方案

本发明专利技术提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，包括构建包括若干训练样本的训练样本集；利用所述训练样本集，对基于生成对抗网络模型的虚拟惯性测量信号生成模型进行迭代对抗训练，在肢体表面肌电信号与肢体惯性测量信号之间构建起跨模态关联关系模型，实现由表面肌电信号生成虚拟的惯性测量信号，并将基于生成对抗网络模型的虚拟惯性测量信号生成模型应用于肢体动作识别中，通过输入的表面肌电信号生成尽可能逼真的虚拟惯性测量信号，进而在不更改硬件的情况下，拓展现有单模态肢体动作识别系统输入信息的模态数量，提升其识别人体动作时的精度。提升其识别人体动作时的精度。提升其识别人体动作时的精度。

【技术实现步骤摘要】
基于虚拟惯性测量信号生成模型的动作识别方法及系统


[0001]本专利技术涉及动作识别
，特别是涉及一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

技术介绍

[0002]肢体动作识别系统主要通过表面肌电电极、惯性测量单元(IMU)或数据手套等传感器获取的肢体动作数据识别用户的肢体动作，并将识别结果转化为对设备的指令，是实现自然人机交互的重要途径之一。其中肢体动作识别系统又分为单模态的肢体动作识别系统和多模态的肢体动作识别系统。单模态的肢体动作识别系统依赖一种类型传感器获取的肢体动作数据进行肢体动作识别，而多模态的肢体动作识别系统依赖两种或多种类型传感器获取的肢体动作数据进行肢体动作识别。
[0003]多模态的肢体动作识别系统由于增加了输入数据的模态数量，对于提升识别复杂肢体动作的准确率具有重要的意义。表面肌电信号可用于解析手指和手腕运动，而肢体动作惯性测量信号可用于解析前臂运动和位置，因此融合表面肌电与运动传感信号的多模态肢体动作识别系统将有助于提升肢体动作识别系统在识别复杂肢体动作时的精度。另一方面，虽然多模态的肢体动作识别系统相比的单模态的肢体动作识别系统可实现更高的识别精度，其需要多模态肢体动作数据作为输入，导致硬件的传感器数量和种类都有所增加，也增加了硬件成本和研发难度。
[0004]针对以上问题，本专利技术结合生成对抗网络模型，在前臂表面肌电信号数据与肢体动作惯性测量信号数据之间构建此类跨模态关联关系模型，提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。
专利
技术实现思路

[0005]本专利技术的目的是提供一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，解决现有的动作识别方法中，采用单模态的肢体动作识别系统的精度不够，而采用多模态的肢体动作识别系统又会增加硬件成本以及研发的复杂程度的问题。
[0006]为实现上述目的，本专利技术提供了一种虚拟惯性测量信号生成模型的训练方法，包括以下步骤：
[0007]构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；
[0008]构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；
[0009]利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代
对抗训练，得到训练好的虚拟惯性测量信号生成模型。
[0010]可选地，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；
[0011]所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；
[0012]所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；
[0013]所述生成器根据所述近似程度调整生成器中的各权重系数。
[0014]可选地，所述利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，具体包括：
[0015]所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征；
[0016]所述生成器：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器；
[0017]所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值；
[0018]判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，开始下一轮对抗训练。
[0019]可选地，所述构建虚拟惯性测量信号生成模型，具体包括：
[0020]构建包括卷积神经网络和全连接网络的参考特征提取器；在所述参考特征提取器中，所述卷积神经网络包括4个卷积层；所述全连接网络包括3个全连接层；
[0021]构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器；在所述生成器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层，所述反卷积神经网络包括3个反卷积层和1个卷积层；所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；
[0022]构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层。
[0023]可选地，所述训练方法还包括：
[0024]生成所述参考特征提取器的初始输入信号：构建一个与所述训练用惯性测量信号具有相同尺寸的图像，并对图像中每个像素赋予值域范围在[0,1]区间内的随机实数值，得到所述初始输入信号。
[0025]另一方面，本专利技术还提供了一种基于虚拟惯性测量信号生成模型的动作识别方法，包括以下步骤：
[0026]获取表面肌电信号；
[0027]利用前文所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型；
[0028]将表面肌电信号输入到训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；
[0029]将表面肌电信号和虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。
[0030]可选地，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。
[0031]另一方面，本专利技术还提供了一种基于虚拟惯性测量信号生成模型的动作识别系统，包括以下单元：
[0032]表面肌电信号获取单元，用于获取表面肌电信号；
[0033]虚拟信号生成模型训练单元，用于根据前文所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型；
[0034]虚拟惯性测量信号获取单元，用于将所述表面肌电信号输入到所述训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；
[0035]动作识别单元，用于将所述表面肌电信号和所述虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。
[0036]可选地，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。
[0037]根据本专利技术提供的具体
技术实现思路
，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟惯性测量信号生成模型的训练方法，其特征在于，所述训练方法包括：构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型。2.根据权利要求1所述的训练方法，其特征在于，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；所述生成器根据所述近似程度调整生成器中的各权重系数。3.根据权利要求2所述的训练方法，其特征在于，所述利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，具体包括：所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征；所述生成器：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器；所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值；判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，开始下一轮对抗训练。4.根据权利要求1所述的训练方法，其特征在于，所述构建虚拟惯性测量信号生成模型，具体包括：构建包括卷积神经网络...

【专利技术属性】
技术研发人员：卫文韬，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：