一种基于人体关节点的动作识别方法技术

本发明专利技术涉及动作识别，具体涉及一种基于人体关节点的动作识别方法，获取动作行为视频，从帧画面中提取图像特征和图卷积核，并基于人体骨骼信息获得帧画面对应的人体关节点序列；将图像特征与人体关节点序列输入图卷积神经网络，获得第一动作识别结果；基于图卷积核、人体关节点序列获取时空特征向量，根据时空特征向量获得第二动作识别结果；分析判断第一动作识别结果、第二动作识别结果分别与对应帧画面中人体姿态之间的逻辑匹配度，并确定最终动作识别结果；本发明专利技术提供的技术方案能够有效克服现有技术所存在的对人体动作识别的准确度不佳的缺陷。佳的缺陷。佳的缺陷。

【技术实现步骤摘要】
一种基于人体关节点的动作识别方法


[0001]本专利技术涉及动作识别，具体涉及一种基于人体关节点的动作识别方法。

技术介绍

[0002]人体动作识别的研究在计算机视频监控、人机交互等多个领域具有重要的科学意义。动作识别的目的之一是提供用户相关行为信息，利用计算机系统主动协助用户完成任务。人体动作识别可以用于自然人机交互，在运动分析、虚拟现实、增强现实、教育、影视动画制作等众多领域应用广泛。
[0003]人体动作识别始于九十年代末，研究方法大致可以分为两类：基于视觉的方法、基于传感器的方法。随着Kinect等RGB
‑
D传感器设备的出现，人体动作识别的研究有了新的契机。此类RGB
‑
D体感传感器可以用全身骨骼跟踪，能够提供15
‑
20个人体关节点姿态等信息，成本低且具有良好的便携性，为人体动作识别的研究提供了极大的便利条件。在研究方法上，用于动作识别主要方法有决策树、贝叶斯网络、近邻取样、模糊逻辑、神经网络、支持向量机、隐马尔科夫模型和条件随机场等。
[0004]人体动作识别是一个极具挑战性的任务，人体动作模式具有多参数、不易描述、辨识度低等特点。虽然Kinect等RGB
‑
D传感器可以用于人体骨骼关节点的位置跟踪，但是这些位置数据存在维度空间大、信息量冗余等缺点，严重影响人体动作识别的准确度和效率。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术所存在的上述缺点，本专利技术提供了一种基于人体关节点的动作识别方法，能够有效克服现有技术所存在的对人体动作识别的准确度不佳的缺陷。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于人体关节点的动作识别方法，包括以下步骤：
[0010]S1、获取动作行为视频，从帧画面中提取图像特征和图卷积核，并基于人体骨骼信息获得帧画面对应的人体关节点序列；
[0011]S2、将图像特征与人体关节点序列输入图卷积神经网络，获得第一动作识别结果；
[0012]S3、基于图卷积核、人体关节点序列获取时空特征向量，根据时空特征向量获得第二动作识别结果；
[0013]S4、分析判断第一动作识别结果、第二动作识别结果分别与对应帧画面中人体姿态之间的逻辑匹配度，并确定最终动作识别结果。
[0014]优选地，S1中获取动作行为视频，从帧画面中提取图像特征和图卷积核，并基于人体骨骼信息获得帧画面对应的人体关节点序列，包括：
[0015]获取连续帧动作行为视频，并对帧画面进行重采样和预处理；
[0016]对帧画面进行行为检测，以获得人体关节点序列；
[0017]获取预设权重矩阵和初始图卷积核，将预设权重矩阵与初始图卷积核相加，以获得图卷积核。
[0018]优选地，S2中将图像特征与人体关节点序列输入图卷积神经网络，获得第一动作识别结果，包括：
[0019]获取用于表征帧画面图像特征的第一向量；
[0020]基于人体关节点序列构建人体关节点图，并将人体关节点图输入图卷积神经网络，得到第二向量；
[0021]将第一向量和第二向量输入全连接层，得到第三向量，并将第三向量输入分类器，以获得第一动作识别结果。
[0022]优选地，所述获取用于表征帧画面图像特征的第一向量，包括：
[0023]从动作行为视频中选取若干帧画面，将帧画面分别输入至训练好的ResNet残差网络，将最后一个全连接层的输出作为帧画面图像特征，获得多个初始向量，将初始向量的平均值作为第一向量。
[0024]优选地，所述将人体关节点图输入图卷积神经网络，得到第二向量，包括：
[0025]由多个执行相同操作图卷积层堆叠的图卷积神经网络，分别在时间维度、空间维度上对人体关节点图进行卷积操作，对图卷积神经网络的输出进行变换即可得到第二向量。
[0026]优选地，所述图卷积神经网络分别在时间维度、空间维度上对人体关节点图进行卷积操作，包括：
[0027]在时间维度上，图卷积神经网络针对相邻帧人体关节点图之间同一个关节点进行卷积操作，以捕捉每个关节点随着时间发生的变化；
[0028]在空间维度上，图卷积神经网络对每一帧人体关节点图执行卷积操作，以捕捉不同关节点之间的关联性。
[0029]优选地，S3中基于图卷积核、人体关节点序列获取时空特征向量，包括：
[0030]对图卷积核进行维度变换，得到图卷积特征向量；
[0031]对人体关节点序列进行时间进行时间卷积操作，得到时间关节点序列，对时间关节点序列进行降维处理，并进行维度变换，得到关节点特征向量；
[0032]对图卷积特征向量、关节点特征向量进行卷积操作，得到时空特征向量。
[0033]优选地，所述对图卷积核进行维度变换，得到图卷积特征向量，包括：
[0034]提取图卷积核中卷积核数，基于卷积核数对图卷积核进行置换、重塑处理，以得到设定维度的图卷积特征向量。
[0035]优选地，所述对人体关节点序列进行时间进行时间卷积操作，得到时间关节点序列，对时间关节点序列进行降维处理，并进行维度变换，得到关节点特征向量，包括：
[0036]对人体关节点序列在维度D上进行迭代更新，以得到时间关节点序列；
[0037]将时间关节点序列中关节点特征与识别人数融合，保留其他数据信息，提取图卷积核中卷积核数，基于卷积核数对降维后的时间关节点序列进行置换、重塑处理，以得到设定维度的关节点特征向量。
[0038]优选地，S4中分析判断第一动作识别结果、第二动作识别结果分别与对应帧画面中人体姿态之间的逻辑匹配度，并确定最终动作识别结果，包括：
[0039]从动作行为视频中获取与待识别帧画面相邻的多幅帧参考图像，并利用人体姿态识别模型对各帧参考图像进行识别，获得对应的参考人体姿态；
[0040]按照动作行为视频中各帧参考图像的时间顺序对参考人体姿态进行排序，得到人体姿态变化序列；
[0041]检测第一动作识别结果、第二动作识别结果分别与人体姿态变化序列之间的逻辑匹配度，并优选逻辑匹配度高的作为最终动作识别结果。
[0042](三)有益效果
[0043]与现有技术相比，本专利技术所提供的一种基于人体关节点的动作识别方法，一方面基于帧画面获取第一向量，同时基于人体关节点序列构建人体关节点图，并将人体关节点图输入图卷积神经网络，得到第二向量，将第一向量和第二向量输入全连接层，得到第三向量，并将第三向量输入分类器，获得第一动作识别结果；另一方面，基于图卷积核得到图卷积特征向量，同时对人体关节点序列进行时间进行时间卷积、降维、维度变换等处理，得到关节点特征向量，对图卷积特征向量、关节点特征向量进行卷积操作，得到时空特征向量，根据时空特征向量获得第二动作识别结果，最终通过分析判断第一动作识别结果、第二动作识别结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体关节点的动作识别方法，其特征在于：包括以下步骤：S1、获取动作行为视频，从帧画面中提取图像特征和图卷积核，并基于人体骨骼信息获得帧画面对应的人体关节点序列；S2、将图像特征与人体关节点序列输入图卷积神经网络，获得第一动作识别结果；S3、基于图卷积核、人体关节点序列获取时空特征向量，根据时空特征向量获得第二动作识别结果；S4、分析判断第一动作识别结果、第二动作识别结果分别与对应帧画面中人体姿态之间的逻辑匹配度，并确定最终动作识别结果。2.根据权利要求1所述的基于人体关节点的动作识别方法，其特征在于：S1中获取动作行为视频，从帧画面中提取图像特征和图卷积核，并基于人体骨骼信息获得帧画面对应的人体关节点序列，包括：获取连续帧动作行为视频，并对帧画面进行重采样和预处理；对帧画面进行行为检测，以获得人体关节点序列；获取预设权重矩阵和初始图卷积核，将预设权重矩阵与初始图卷积核相加，以获得图卷积核。3.根据权利要求1所述的基于人体关节点的动作识别方法，其特征在于：S2中将图像特征与人体关节点序列输入图卷积神经网络，获得第一动作识别结果，包括：获取用于表征帧画面图像特征的第一向量；基于人体关节点序列构建人体关节点图，并将人体关节点图输入图卷积神经网络，得到第二向量；将第一向量和第二向量输入全连接层，得到第三向量，并将第三向量输入分类器，以获得第一动作识别结果。4.根据权利要求3所述的基于人体关节点的动作识别方法，其特征在于：所述获取用于表征帧画面图像特征的第一向量，包括：从动作行为视频中选取若干帧画面，将帧画面分别输入至训练好的ResNet残差网络，将最后一个全连接层的输出作为帧画面图像特征，获得多个初始向量，将初始向量的平均值作为第一向量。5.根据权利要求3所述的基于人体关节点的动作识别方法，其特征在于：所述将人体关节点图输入图卷积神经网络，得到第二向量，包括：由多个执行相同操作图卷积层堆叠的图卷积神经网络，分别在时间维度、空间维度上对人体关节点图进行卷积操作，对图卷积神经网络的输出进行变换即可得到第二向量。6.根据权利要求5所述的基于人体关节点的动作识别方法，其特征在于：所述图卷积神经网络分别在...

【专利技术属性】
技术研发人员：张云龙，
申请(专利权)人：安徽兰臣信息科技有限公司，
类型：发明
国别省市：