一种基于深度学习的人体行为识别方法及系统技术方案

本发明专利技术涉及人体行为识别方法，更具体地，涉及一种基于深度学习的人体行为识别方法及系统，通过IMU传感器可十分便捷地获取人体行为数据，将人体行为数据传输至IMUT网络模型，通过IMUT网络模型识别人体行为，最终将对应的人体行为识别结果输出，本发明专利技术利用IMU传感器，降低了获取信息门槛，不需通过视觉信息进行人体识别，不易受到干扰，且能降低模型训练和推理所消耗的资源。理所消耗的资源。理所消耗的资源。

【技术实现步骤摘要】
一种基于深度学习的人体行为识别方法及系统


[0001]本专利技术涉及人体行为识别的
，更具体地，涉及一种基于深度学习的人体行为识别方法及系统。

技术介绍

[0002]人体行为识别可以应用于多个领域，例如虚拟现实、增强现实、医疗保健，安防等场景，随着深度学习技术的发展，越来越多的领域都使用到了深度学习技术，并且都取得了非常好的效果，人体行为识别领域也不例外，在目前的人体行为识别中，主要有3个方向使用了深度学习算法，分别是RGB视频、深度视频和3D骨架。现有的现有的人体行为识别算法都是需要视频作为输入的，获取信息门槛较高；基于RGB视频输入很容易受到异常的干扰，例如少部分身体的遮挡甚至全部身体的遮挡；深度视频需要深度摄像头才能够获得是深度信息；3D骨架需要从RGB视频中先提前抽取出来才能进行识别；使用3D CNN进行训练以及推理都要消耗大量的资源。
[0003]现有技术公开了一种基于多尺度注意力图卷积网络的人体行为识别方法，包括步骤：获取待识别的原始3D骨架图序列；将所述原始3D骨架图序列输入经过预先训练的人体行为识别模型中，首先通过多分支输入模块从所述原始3D骨架图序列中提取关节信息、骨架信息和运动信息作为行为特征数据；然后通过多尺度注意力图卷积模块基于所述行为特征数据学习3D骨架关节点的相关性，提取各种行为在不同持续时间的时序信息；最后通过全局注意力池化层识别所述原始3D骨架图序列对应的人体行为；输出对应的人体行为识别结果。该方案通过多尺度注意力图卷积网络学习3D骨架关节点的相关性、并提取各种行为在不同持续时间的时序信息，使得能够捕捉3D骨架关节之间的相关性和时间上的连续性，进而能够有效的表现出人体在不同行为下多变的关节间关联信息，能够提升人体行为识别的识别准确性，从而能够保证人体行为识别的识别效果。同时，本专利技术通过提取行为特征的方式，解决了骨架序列中关节特征冗余性的问题，然而，该方案中，3D骨架需要从RGB视频中先提出出来才能进行识别，获取信息门槛高，且通过多尺度注意力图卷积模块和全局注意力池化层，模型数量多，计算过程繁琐，进行训练和推理都要消耗大量的资源。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习的人体行为识别方法及系统，可便捷地获取人体行为数据，降低信息获取门槛，不易受到干扰，且能降低模型训练和推理所消耗的资源。
[0005]为解决上述技术问题，本专利技术采用的技术方案是：
[0006]提供一种基于深度学习的人体行为识别方法，包括以下步骤：
[0007]S1：使用IMU传感器采集人体行为数据；
[0008]S2：将所述人体行为数据输入经过预先训练的IMUT网络模型中；
[0009]S3：输出对应的人体行为识别结果。
[0010]本专利技术的基于深度学习的人体行为识别方法，通过IMU传感器可十分便捷地获取人体行为数据，将人体行为数据传输至IMUT网络模型，通过IMUT网络模型识别人体行为，最终将对应的人体行为识别结果输出。本专利技术的人体行为识别方法，利用IMU传感器，降低了获取信息门槛，不需通过视觉信息进行人体识别，不易受到干扰，且能降低模型训练和推理所消耗的资源。
[0011]优选地，步骤S2中，IMUT网络模型对输入的人体行为数据进行预测的过程包括：
[0012]S21：利用特征嵌入层让输入的人体行为数据进行相邻时空特征的融合；
[0013]S22：利用特征抽取层抽取出特征中的特征；
[0014]S23：利用分类层通过抽取后的特征进行人体行为的识别。
[0015]优选地，步骤S22中，特征抽取层由一个卷积核为3，填充为1，步长为1的卷积层来实现特征抽取的，具体公式为：
[0016][0017]其中，C
in
表示输入特征层数；表示输出特征层数；N
i
表示每一个批次所输入的数据数量；k表示卷积核的大小；input(N
i
，k)表示输入的张量；表示与输出特征大小一致的偏置；表示最终输出的张量。
[0018]优选地，步骤S22中，特征抽取层由6个特征抽取block构成，每一个特征抽取block中有一个self
‑
attention和一个全连接层。
[0019]优选地，每个特征抽取block中还包含有两个批标准化层，两个批标准化层分别位于self
‑
attention之后和全连接层之后，以优化特征抽取层。本专利技术中，不同于大多数现有的方法只适用卷积神经网络进行人体行为的识别，而是基于自注意力机制的模型，能更好的对人体行为进行全局的识别，将自注意力机制用于IMU数据体征的提取与人体行为识别，可降低干扰，同时减少资源的消耗。
[0020]优选地，特征抽取层的构成方法具体为：
[0021]Q＝W
Q
X
[0022]K＝W
K
X
[0023]V＝W
V
X
[0024][0025][0026]z＝Wa+b
[0027]RwLU＝max(0，V)
[0028]其中，Q表示query矩阵；K表示key矩阵；V表示value矩阵；W
Q
表示query的权重矩阵；W
K
表示key的权重矩阵；W
V
表示value的权重矩阵；X表示输入值；d
k
表示key矩阵的维度；z
i
表示第i个节点的输出值；C表示输出节点的个数；c表示每一个节点；z表示全连接层的输
出；W表示全连接层的权重；a表示全连接层的输入；b表示全连接层的偏置；ReLU表示激活函数；Attention(Q，K，V)表示对特征进行自注意力计算；softmax表示输出结果的概率。
[0029]优选地，步骤S2中，IMUT网络模型的训练过程包括：
[0030]S201：获取IMU数据集，将数据集分为训练集和测试集；
[0031]S202：搭建IMUT网络架构；
[0032]S203：将训练集输入IMUT网络中训练得到初始IMUT网络模型；
[0033]S204：将测试集输入初始IMUT网络模型进行测试，得到最终的IMUT网络模型。
[0034]优选地，步骤S201中，将数据集分为训练集和测试集前，对数据集进行标注。
[0035]本专利技术还提供一种应用于上述的基于深度学习的人体行为识别方法的人体行为识别系统，包括：IMU传感器、数据传输模块和服务器端处理程序模块，所述IMU传感器与所述数据传输模块的输入端连接，所述服务器端处理程序模块与所述数据传输模块的输出端连接；所述IMU传感器用于采集人体行为数据；所述数据传输模块用于将从IMU传感器输入的人体行为数据转发至服务器端处理程序模块；所述服务器端处理程序模块用于解算数据传输模块发送过来的数据并存储解算后的数据，利用解算后的数据及IMUT网络模型进行人体行为识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人体行为识别方法，其特征在于，包括以下步骤：S1：使用IMU传感器采集人体行为数据；S2：将所述人体行为数据输入经过预先训练的IMUT网络模型中；S3：输出对应的人体行为识别结果。2.根据权利要求1所述的基于深度学习的人体行为识别方法，其特征在于，步骤S2中，IMUT网络模型对输入的人体行为数据进行预测的过程包括：S21：利用特征嵌入层让输入的人体行为数据进行相邻时空特征的融合；S22：利用特征抽取层抽取出特征中的特征；S23：利用分类层通过抽取后的特征进行人体行为的识别。3.根据权利要求2所述的基于深度学习的人体行为识别方法，其特征在于，步骤S22中，特征抽取层由一个卷积核为3，填充为1，步长为1的卷积层来实现特征抽取的，具体公式为：其中，C
in
表示输入特征层数；表示输出特征层数；N
i
表示每一个批次所输入的数据数量；k表示卷积核的大小；input(N
i
，k)表示输入的张量；表示与输出特征大小一致的偏置；表示最终输出的张量。4.根据权利要求3所述的基于深度学习的人体行为识别方法，其特征在于，步骤S22中，特征抽取层由6个特征抽取block构成，每一个特征抽取block中有一个self
‑
attention和一个全连接层。5.根据权利要求4所述的基于深度学习的人体行为识别方法，其特征在于，每个特征抽取block中还包含有两个批标准化层，两个批标准化层分别位于self
‑
attention之后和全连接层之后。6.根据权利要求5所述的基于深度学习的人体行为识别方法，其特征在于，特征抽取层的构成方法具体为：Q＝W
Q
XK＝W
K
XV＝W
V
XXz＝Wa+bReLU＝max(0，V)其中，Q表示query矩阵；K表示key矩阵；V表示value矩阵；W
Q
表示query的权重矩阵；W
K
表示key的权重矩阵；W
V
表示value的权重...

【专利技术属性】
技术研发人员：尹选春，丁朋旭，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：