【技术实现步骤摘要】
一种基于图卷积神经网络的人类动作识别方法
本专利技术涉及计算机视觉
，特别是一种基于图卷积神经网络的人类动作识别方法。
技术介绍
人工智能技术已经辐射到各行各业，动作识别技术更是诸多热门应用和需求的关键技术，已经成了当下计算机视觉领域最受关注的方向之一。例如在智能监控摄像头中对人类异常行为的检测和报警，在视频中对人类行为的分类和检索，包括采用在高画质游戏中的动作采集技术，可以将职业演员的动作放入游戏之中，给玩家带来沉浸感。相信在未来动作识别技术将会有越来越多的应用。目前计算机视觉领域常常将类似技术应用在人类动作识别方向，其中主要分为两种方法，一种是基于视频的RGB和光流的方法，另一种是基于人类骨骼关键点的方法。其中基于视频的RGB和光流的方法可以对任务进行端到端的学习，但是对视频提取光流是一项非常繁重的任务，虽然目前已有各种方法来减小提取光流带来的损耗，但是光流对动作识别始任务始终是一种强有力的特征。而基于人类骨骼关键点的方法是在姿态估计技术发展成熟后新兴起的一种动作识别方法，与传统基于视频的RGB和光流的方法...
【技术保护点】
1.一种基于图卷积神经网络的人类动作识别方法，其特征在于，包括如下步骤：/n步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；/n步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；/n步骤3：将拼接好的数据传入图神经网络；/n步骤4：将图卷积从空间域扩展到时间域；/n步骤5：使用一个交叉注意力模型来增强网络的性能；/n步骤6：构建由九个时空卷积模块加全局池化层，和S...
【技术特征摘要】
1.一种基于图卷积神经网络的人类动作识别方法，其特征在于，包括如下步骤：
步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；
步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；
步骤3：将拼接好的数据传入图神经网络；
步骤4：将图卷积从空间域扩展到时间域；
步骤5：使用一个交叉注意力模型来增强网络的性能；
步骤6：构建由九个时空卷积模块加全局池化层，和Softmax层组成的图卷积神经网络，全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出人类动作视频中人的动作编号。
2.根据权利要求1所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤2具体包括：
步骤2.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；
步骤2.2：使用openpose姿态估计算法进行人体骨骼关键点提取，对视频S取15个等分点S＝(T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15)，将每个点的骨骼关键点数据保存下来，每次提取出18个骨骼关键点，分别代表人体的18个部位，将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn：
其中xn为第n个骨骼关键点的横坐标，yn为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标；
步骤2.3：计算相邻帧关键点变化速度，速度Vn：
Vn＝((x1n-x1n-1,y1n-y1n-1),(x2n-x2n-1,y2n-y2n-1),...,(x18n-x18n-1,y18n-y18n-1))；其中x和y的具体意义与步骤2.2中相同；获得速度V之后进行特征拼接，拼接后的总特征Dn：
Dn＝Cancate(Tn,Tn′,Vn)；
其中Tn和T'n分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接；
步骤2.4：对openpose提取的的骨骼关键点进行筛选，保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；
步骤2.5：计算夹角：
(1)膝盖：
(2)腰：
(3)肩膀：
(4)手肘：
3.根据权利要求2所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤3具体包括：
步骤3.1：采用openpose姿态估计算法识别出的默认人体骨骼结构作为图神经网络的基础连接，将图神经网络结构的邻接矩阵设为A...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。