基于残差网络的穿戴式外肢体穿戴者行为识别方法及系统技术方案

本发明专利技术属于可穿戴式外肢体技术领域，提供了一种基于残差网络的穿戴式外肢体穿戴者行为识别方法及系统，在残差网络模型中，首先对姿态信息进行浅层特征提取；然后使用两个残差块提取姿态信息的深层特征；在每一次训练迭代过程中随机地失活部分神经元；最后，通过全连接层与激活函数，将数值向量归一化为概率分布向量，得到最终的动作类别；本发明专利技术中对姿态信息进行浅层特征提取，使用两个残差块提取姿态信息的深层特征，在每一次训练迭代过程中随机地失活部分神经元，防止了过拟合问题，设计包括两个残差块的残差网络模型，在一定程度上避免了梯度消失与深层网络退化问题。免了梯度消失与深层网络退化问题。免了梯度消失与深层网络退化问题。

【技术实现步骤摘要】
基于残差网络的穿戴式外肢体穿戴者行为识别方法及系统


[0001]本专利技术属于可穿戴式外肢体
，尤其涉及一种基于残差网络的穿戴式外肢体穿戴者行为识别方法及系统。

技术介绍

[0002]在建筑装修行业、飞机生产制造和核电运行维护等工业领域，由于受到工作空间、操作规模和特殊环境等条件限制，大型机器人和机械设备难以进入和发挥作用，只能依靠单人作业完成任务。可穿戴式外肢体可在上述受限环境及复杂工况下，通过机械肢体与穿戴者肢体的对接融合和协作互助，实现单人作业能力的增强。识别穿戴者行为活动，有助于外肢体机器人更好地完成辅助作业。为了让外肢体机器人能够准确、快速地识别出穿戴者意图，从而更好地完成辅助作业功能，行业内一般使用惯性测量单元(Inertial Measurement Unit，IMU)收集穿戴者三维姿态角等信息，进行数据处理与特征提取后，使用深度学习模型进行分类识别。
[0003]专利技术人发现，基于IMU的行为识别流程中，当深度学习模型神经网络达到一定深度时，随着神经网络层数的增加，神经网络的准确性会饱和，甚至会出现迅速下降现象，即使使用批量归一化，也会出现训练误差不降反升的现象；且一旦输入的数据量增加，神经网络也会在一定程度上出现网络退化现象，从而导致输入信息的部分特征丢失问题。

技术实现思路

[0004]本专利技术为了解决上述问题，提出了一种基于残差网络的穿戴式外肢体穿戴者行为识别方法及系统，本专利技术通过残差网络的设计，解决了基于IMU的行为识别流程中，神经网络存在网络退化，导致输入信息的部分特征丢失等问题。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0006]第一方面，本专利技术提供了一种基于残差网络的穿戴式外肢体穿戴者行为识别方法，包括：
[0007]获取穿戴者多个部位的姿态信息；
[0008]依据所述姿态信息，以及预设的残差网络模型，对穿戴者行进行识别；
[0009]其中，在残差网络模型中，首先对姿态信息进行浅层特征提取；然后使用两个残差块提取姿态信息的深层特征；在每一次训练迭代过程中随机地失活部分神经元；最后，通过全连接层与激活函数，将数值向量归一化为概率分布向量，得到最终的动作类别。
[0010]进一步的，所述姿态信息至少包括姿态角和加速度中的一种或多种。
[0011]进一步的，去除姿态信息对应的曲线中的尖峰和毛刺，对采集姿态信息对应的曲线进行光滑处理。
[0012]进一步的，将姿态信息切割成相同长度没有间隔的多个窗口；多个窗口的长度以及窗口重叠率固定。
[0013]进一步的，将姿态信息的特征数据映射到均值为0标准差为1的分布上。
[0014]进一步的，所述残差网络模型包括依次串联的一个门控循环单元、两个残差块和一个随机失活模块。
[0015]进一步的，所述残差块包括两个串联的残差子模块；
[0016]所述残差子模块中采用门控循环单元模块来提取时间序列特征；输入数据通过跨层的恒等变换映射数据线路向前传播。
[0017]第二方面，本专利技术还提供了一种基于残差网络的穿戴式外肢体穿戴者行为识别系统，包括：
[0018]数据采集模块，被配置为：获取穿戴者多个部位的姿态信息；
[0019]行为识别模块，被配置为：依据所述姿态信息，以及预设的残差网络模型，对穿戴者行进行识别；
[0020]其中，在残差网络模型中，首先对姿态信息进行浅层特征提取；然后使用两个残差块提取姿态信息的深层特征；在每一次训练迭代过程中随机地失活部分神经元；最后，通过全连接层与激活函数，将数值向量归一化为概率分布向量，得到最终的动作类别。
[0021]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法的步骤。
[0022]第四方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法的步骤。
[0023]与现有技术相比，本专利技术的有益效果为：
[0024]1、本专利技术中对姿态信息进行浅层特征提取，使用两个残差块提取姿态信息的深层特征，在每一次训练迭代过程中随机地失活部分神经元，防止了过拟合问题，设计包括两个残差块的残差网络模型，在一定程度上避免了梯度消失与深层网络退化问题，解决了基于IMU的行为识别流程中，神经网络存在网络退化，导致输入信息的部分特征丢失等问题；
[0025]2、本专利技术中通过对姿态信息的过滤、分割和归一化等预处理，避免了采集姿态信息时由于受到传感器抖动、外界噪音干扰等因素的影响，提高了行为识别精度。
附图说明
[0026]构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
[0027]图1为本专利技术实施例1的基于IMU的行为识别流程图；
[0028]图2为本专利技术实施例1的穿戴方式与传感器点位图；
[0029]图3为本专利技术实施例1的采集的原始数据曲线图；
[0030]图4为本专利技术实施例1的滤波后曲线图；
[0031]图5为本专利技术实施例1的窗口重叠率为0的示意图；
[0032]图6为本专利技术实施例1的窗口重叠率为λ的示意图；
[0033]图7为本专利技术实施例1的归一化后关节角变化曲线图；
[0034]图8为本专利技术实施例1的RNN结构原理图；
[0035]图9为本专利技术实施例1的RNN Cell计算过程图；
[0036]图10为本专利技术实施例1的LSTM Cell原理图；
[0037]图11为本专利技术实施例1的GRU Cell原理图；
[0038]图12为本专利技术实施例1的网络直连示意图；
[0039]图13为本专利技术实施例1的带有残差的网络连接；
[0040]图14为本专利技术实施例1的Res
‑
GRU Block结构图；
[0041]图15为本专利技术实施例1的深度残差GRU网络；
[0042]图16为本专利技术实施例1的训练过程中的loss曲线变化图；
[0043]图17为本专利技术实施例1的训练过程中的准确率曲线变化图；
[0044]图18为本专利技术实施例1的混淆矩阵可视化图。
具体实施方式
[0045]下面结合附图与实施例对本专利技术作进一步说明。
[0046]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0047]实施例1：
[0048]本实施例提供了一种基于残差网络的穿戴式外肢体穿戴者行为识别方法，包括：
[0049]获取穿戴者多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，包括：获取穿戴者多个部位的姿态信息；依据所述姿态信息，以及预设的残差网络模型，对穿戴者行进行识别；其中，在残差网络模型中，首先对姿态信息进行浅层特征提取；然后使用两个残差块提取姿态信息的深层特征；在每一次训练迭代过程中随机地失活部分神经元；最后，通过全连接层与激活函数，将数值向量归一化为概率分布向量，得到最终的动作类别。2.如权利要求1所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，所述姿态信息至少包括姿态角和加速度中的一种或多种。3.如权利要求1所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，去除姿态信息对应的曲线中的尖峰和毛刺，对采集姿态信息对应的曲线进行光滑处理。4.如权利要求1所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，将姿态信息切割成相同长度没有间隔的多个窗口；多个窗口的长度以及窗口重叠率固定。5.如权利要求1所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，将姿态信息的特征数据映射到均值为0标准差为1的分布上。6.如权利要求1所述的基于残差网络的穿戴式外肢体穿戴者行为识别方法，其特征在于，所述残差网络模型包括依次串联的一个门控循环单元、两个残差块和一个随...

【专利技术属性】
技术研发人员：姬冰，崔贺，孙如月，宋锐，
申请(专利权)人：山东大学，
类型：发明
国别省市：