一种基于多流快慢图卷积网络的人体骨骼行为识别方法技术

本发明专利技术公开了一种基于多流快慢图卷积网络的人体骨骼行为识别方法。本发明专利技术涉及图像识别技术领域，本发明专利技术将快慢网络的思想与图卷积网络相结合，快网络可以有效提取骨骼序列的时间信息，慢网络可以有效期提取骨骼序列的空间信息，侧向连接的方式加强了两路网络之间的信息交互。通过应用不同的注意力机制加强了时空特征的提取和整合。由于采样和降低通道数的做法也大幅减少了计算量。通过引入多流结构，进一步增强了空间上的信息提取能力，提高了基于骨骼关节点的行为识别方法的识别率和鲁棒性。

【技术实现步骤摘要】
一种基于多流快慢图卷积网络的人体骨骼行为识别方法
本专利技术涉及图像识别
，具体涉及一种基于多流快慢图卷积网络的人体骨骼序列行为识别方法。
技术介绍
行为识别在智能视频监控，自动驾驶，人机交互，运动分析等许多应用起着重要作用。根据输入数据类型，行为识别可以大致分为两类：RGB图像序列和骨骼序列。对于RGB图像序列，通常使用空间外观和时间光流来对人体行为进行建模，但是，RGB图像序列中的人体外观易受光照、视角和背景等因素影响。骨骼序列是人体关节点在时间和空间上的集合，与RGB图像序列相比，具有数据量小，不易受干扰的优点。骨骼序列以及被验证可以有效地表征人体行为的动力学特征。同时，随着以微软Kinect为代表的深度摄像机的普及和以Openpose为代表的高性能姿态估计算法的出现使得获取人体骨骼序列信息越来越便捷，由此也极大地促进了基于骨骼序列的行为识别方法的研究。近年来，不少研究者使用图卷积网络，对人体骨骼序列进行时空建模，并基于上述特征成功地识别其包含的行为类别。在空间维度上，骨骼数据利用少数关节点可以精炼地表征人体的当前姿态；但是在时间维本文档来自技高网...

【技术保护点】
1.一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，包括以下步骤：/n步骤(1.1)、创建人体的骨骼序列行为数据库，使用姿态估计算法提取数据库内视频片段中每个人体的骨骼关节点；/n将骨骼关节点的一阶坐标信息扩展至包括关节点空间差、关节点时间差和骨骼边的二阶信息，及包括骨骼边的空间差和骨骼边的时间差的三阶信息上，得到六种不同骨骼类型的骨骼序列数据；/n对上述六种不同骨骼类型的骨骼序列数据进行校准，制作标签，从而获得人体骨骼行为数据集；/n步骤(1.2)、构建多流快慢图卷积网络，所述的多流快慢图卷积网络由六路快慢图卷积网络组成；/n其中，每一路快慢图卷积网络均由一个快网络、一个慢网络...

【技术特征摘要】
1.一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，包括以下步骤：
步骤(1.1)、创建人体的骨骼序列行为数据库，使用姿态估计算法提取数据库内视频片段中每个人体的骨骼关节点；
将骨骼关节点的一阶坐标信息扩展至包括关节点空间差、关节点时间差和骨骼边的二阶信息，及包括骨骼边的空间差和骨骼边的时间差的三阶信息上，得到六种不同骨骼类型的骨骼序列数据；
对上述六种不同骨骼类型的骨骼序列数据进行校准，制作标签，从而获得人体骨骼行为数据集；
步骤(1.2)、构建多流快慢图卷积网络，所述的多流快慢图卷积网络由六路快慢图卷积网络组成；
其中，每一路快慢图卷积网络均由一个快网络、一个慢网络、侧向连接结构及注意力机制组成；
步骤(1.3)、对多流快慢图卷积网络进行训练，训练中的技巧包括随机梯度下降法训练策略，选择交叉熵作为反向传播梯度的损失函数；
步骤(1.4)、在行为类别的测试过程中，将人体骨骼序列数据输入到多流快慢图卷积网络中，得到该行为的分类结果。


2.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，步骤(1.1)中所述的骨骼关节点：是使用姿态估计算法提取视频行为数据集中每个视频帧中的人体骨骼关节点，并将其处理为维度为(N,C,T,V,M)的骨骼序列，
其中，所述N表示视频的数量，C表示关节的特征，T表示帧数，V表示关节的数量，M表示一帧图像中存在的人体数量。


3.根据权利要求1所述的一种基于多流快慢图卷积网络的人体骨骼行为识别方法，其特征在于，在步骤(1.1)中...

【专利技术属性】
技术研发人员：孙宁，冷令，李晓飞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32