【技术实现步骤摘要】
本专利技术属于计算机视觉和人工智能领域，特别是涉及一种基于图神经网络的轻量级特征保留的人体动作检测方法。
技术介绍
1、近年来，人体动作姿态识别已经成为了研究的热点问题，也是目前计算机视觉领域中一项极具挑战性的任务。人体动作识别主要是指通过计算机视觉和机器学习算法，从人体的姿态，动作等视觉信息中识别出人类个体的运动动作类别，并对其进行分类或描述。人体动作识别技术可以应用于很多领域，例如智能监控、视频内容理解、人机交互、虚拟现实等。
2、人类行为是非常复杂和多样的，具有极高的维度和变化性。人类在日常生活中的行为涵盖了很多方面，这些行为具有很多变化的细节，而且在不同的环境和情境下可能会出现各种背景噪声和干扰。早期的研究关注从骨架序列中提取手工制作的空间和时间特征用于人体动作识别，基于手工特征制作的方法可以根据使用的特征提取技术大致分为基于关节的和基于身体部位的方法。这些方法仅仅将骨骼数据表示为由rnn处理的向量序列，无法完全模拟身体关节的复杂时空配置和相关性。
3、上述的方法大多只利用自身骨架运动的特征信息，但会存在对环境光照敏感、对于现实的动作识别时易出错、提取信息时会丢失局部信息的问题。同时，现有的基于gcn的网络模型参数量和计算量都很大，无法在嵌入式设备和边缘计算设备中部署。
技术实现思路
1、本专利技术的目的是提供一种基于图神经网络的轻量级特征保留的人体动作检测方法，以解决上述现有技术存在的问题。
2、为实现上述目的，本专利技术提供了一种基于
3、获取人体行为视频数据集，将所述人体行为视频数据集进行处理，获得骨架图数据集；
4、构建主干时空图卷积神经网络，将所述骨架图数据集输入至所述主干时空图卷积神经网络中进行训练后优化，获得轻量级动作识别模型；
5、构建循环生成网络，将所述骨架图数据集输入至所述循环生成网络中进行训练后优化，获得重要特征的动作识别模型；
6、将所述轻量级动作识别模型和所述重要特征的动作识别模型进行融合，获得人体动作检测模型，基于所述人体动作检测模型对人体动作进行检测。
7、优选的，所述获得骨架图数据集的过程包括：
8、将所述人体行为数据集处理为序列化的图片集；
9、将所述序列化的图片集进行姿态估计，获得人体关节点集合和关节点的边的集合；
10、对所述人体关节点集合和关节点的边的集合进行无向时空图构建，获得所述骨架图数据集。
11、优选的，所述获得轻量级动作识别模型的过程包括：
12、构建所述主干时空图卷积神经网络，将所述骨架图数据集输入至所述主干时空图卷积神经网络的时间域和空间域上进行训练；
13、基于奇异值分解方法将训练后的主干时空图卷积神经网络进行裁剪和压缩，获得轻量化模型；
14、对所述轻量化模型进行循环训练，获得所述轻量级动作识别模型。
15、优选的，基于奇异值分解方法将训练后的主干时空图卷积神经网络进行裁剪和压缩的总目标函数的表达式为：
16、
17、其中，是分解网络层次的训练损失，是向量s的稀疏性损失函数，代表对需分解矩阵的正交正则化过程。b是网络层次的总数，λ0和λh是衰减参数，s是分解变量，用以表示原始卷积核或权重矩阵，其中卷积层的输入通道数为输出通道数为卷积核大小为k1×k2，j表示矩阵和的秩。
18、优选的，所述获得重要特征的动作识别模型的过程包括：
19、构建基于门控的循环生成网络，对所述基于门控的循环生成网络添加注意力机制，获得添加注意力机制的gru网络；
20、将所述骨架图数据集输入至所述添加注意力机制的gru网络中进行训练，获得所述重要特征的动作识别模型。
21、优选的，所述注意力机制的表达式为：
22、
23、
24、eij＝wi tanh(wihi-1+vixj+bi)
25、其中eij是一种校验模型，ei·表示第i时刻隐藏层状态向量hi所决定的各节点注意力概率分布的值，j表示节点序号，xj表示第j个节点的注意力值。aij为计算的中间量，以一种类softmax的计算方式来归一化节点值xj的权重系数，其中表示第i时刻所有节点分布值之和。hi-1表示第i-1时刻的隐藏状态，wi,wi,vi分别表示第i时刻总权重系数矩阵、隐藏状态hi-1和节点值xj的权重系数矩阵，bi表示对应时刻的偏移量。通过上述公式计算出第i时刻包含节点信息的重要特征向量si。
26、优选的，所述获得人体动作检测模型的过程包括：
27、基于梯度下降算法将所述轻量级动作识别模型和所述重要特征的动作识别模型中的特征向量进行权重计算，获得轻量级向量和重要特征向量；
28、将所述轻量级向量和所述重要特征向量进行计算，获得融合向量；
29、对所述融合向量进行计算，获得所述人体动作检测模型。
30、优选的，所述获得融合向量的过程包括：
31、将所述轻量级向量和所述重要特征向量进行拼接，获得拼接特征向量；
32、基于预设卷积核将所述轻量级向量和所述重要特征向量进行卷积，获得两个新的特征向量并相加，获得卷积特征向量；
33、将所述拼接特征向量和所述卷积特征向量相加后进行计算，获得所述人体动作检测模型。
34、本专利技术的技术效果为：
35、本申请提出了一种基于图神经网络的轻量级特征保留的人体动作检测方法。该方法训练出的模型具有一个特征保留模块，通过门控单元和注意力机制实现对人体运动中重要特征进行留存，解决一般训练中可能存在的特征丢失的问题。
36、在神经网络的训练中，我们的方法对训练中的模型使用svd压缩的方法对模型进行分解，在保证精度的前提下大大降低模型的复杂程度，让其可部署至边缘设备上以供应用。
37、模型在目前动作检测领域公开的数据集上进行实验，并与目前主流的动作检测方法进行比较，所提出的模型均取得较好的性能，并且可部署至嵌入式设备中进行应用，具有很强的鲁棒性和泛化能力。
本文档来自技高网...【技术保护点】
1.一种基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得骨架图数据集的过程包括：
3.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得轻量级动作识别模型的过程包括：
4.根据权利要求3所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，基于奇异值分解方法将训练后的主干时空图卷积神经网络进行裁剪和压缩的总目标函数的表达式为：
5.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得重要特征的动作识别模型的过程包括：
6.根据权利要求5所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述注意力机制的表达式为：
7.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得人体动作检测模型的过程包括：
8.根据权利要求7所述的基于图神经
...【技术特征摘要】
1.一种基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得骨架图数据集的过程包括：
3.根据权利要求1所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，所述获得轻量级动作识别模型的过程包括：
4.根据权利要求3所述的基于图神经网络的轻量级特征保留的人体动作检测方法，其特征在于，基于奇异值分解方法将训练后的主干时空图卷积神经网络进行裁剪和压缩的总目标函数的表达式...
【专利技术属性】
技术研发人员：卫星，蒋文豪，翟琰，周浩伟，钟浩然，刘敏睿，夏炅，杨帆，赵冲，陆阳，毕翔，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。