一种基于图卷积神经网络的骨架数据行为识别方法技术

本发明专利技术公开了一种基于图卷积神经网络的骨架数据行为识别方法，其中，方法包括：通过对训练集中的每一段骨架数据的时间维度进行下采样获得时间维度固定的骨架数据，以训练神经网络；将输入数据按照三维坐标拆分成三个通道，对每一个空间通道分别做带双重注意力的图卷积，再将三个通道合并；对合并后的向量作时空卷积；通过标注动作类别更新神经网络权重；最终获得和指定标注结果强相关的行为识别模型。该方法充分利用骨架数据的拓扑结构和时空关系，提高行为识别性能。

A Skeleton Data Behavior Recognition Method Based on Graph Convolution Neural Network

【技术实现步骤摘要】
一种基于图卷积神经网络的骨架数据行为识别方法
本专利技术涉及深度学习、行为识别
，尤其涉及一种基于图卷积神经网络的骨架数据行为识别方法。
技术介绍
行为识别一直是计算机视觉领域的一个热点，近年来随着深度学习和计算机视觉的技术融合和发展，行为识别被广泛应用在视频分析、智能监控、人机交互、增强显示等领域。传统的基于彩色视频数据的行为识别方法需要大量的数据，难以学习到视频中的人体关键信息，而基于骨架的三维人体动作识别由于其对人体运动的高水平的表征性和对视角、外观、尺度和环境干扰的鲁棒性，近年来吸引了许多研究人员的兴趣。基于骨架的三维人体动作识别方法可以分为手工特征提取和深度学习特征提取两大类。其中手工特征提取有基于人体骨架建模的Lie群方法等，这些方法使用相对关节坐标来描述人体动作，忽略了骨架关节的绝对运动和运动的时间信息，这些手工提取的特征难以表征从骨架结构到动作类别这样复杂的非线性映射。而基于深度学习的方法普遍采用循环神经网络、长短时记忆网络、门控循环单元网络、卷积神经网络等方法，这些方法在基于骨架的人体行为识别上取得了较好的效果，但是基于序列的深度学习方法受限于方法本身难以构建本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络的骨架数据行为识别方法，其特征在于，包括以下步骤：步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定，以训练神经网络；步骤(2)、将步骤(1)中输入网络的骨架数据按空间坐标拆分成三个通道，把每一个空间通道分别送入带双重注意力的图卷积模块，再将输出的三个通道合并；步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块；步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类，获得动作类别和得分，归一化指数分类器为：

【技术特征摘要】
1.一种基于图卷积神经网络的骨架数据行为识别方法，其特征在于，包括以下步骤：步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定，以训练神经网络；步骤(2)、将步骤(1)中输入网络的骨架数据按空间坐标拆分成三个通道，把每一个空间通道分别送入带双重注意力的图卷积模块，再将输出的三个通道合并；步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块；步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类，获得动作类别和得分，归一化指数分类器为：Z′是时空卷积模块输出的特征向量，Z′j是时空卷积模块输出的特征向量的第j个值，N是时空卷积模块输出的特征向量的维度，经过归一化指数分类器得到的结果与时空卷积模块的输出特征向量的维度相同，选取经归一化指数分类器得到的结果中数值最高的维度作为动作分类的结果，该数值为动作类别相应的得分；步骤(5)、将人工标注的动作类别作为监督，更新神经网络权重。2.根据权利要求1所述的一种基于图卷积神经网络的骨架数据行为识别方法，其特征在于，所述带双重注意力的图卷积模块，进一步包括：带双重注意力的图卷积模块包括图卷积子模块和注意力子模块；将输入的特征向量input送入一个全连接层获得向量x，该全连接层输入和输出维度相同，向量x的维度为(T，N)，T表示时间维度，N表示骨架点空间维度；在图卷积子模块中，利用向量x和原始图结构A学习带权重骨架图结构Aattention，使用公式(2)表示：Aattention＝softmax(LeakyReLU(fc(x)+fc(x)T)+Mask(A))(2)上式中，fc(.)是全连接层，该全连接层输入和输出维度相同，LeakyReLU(.)是修正线性激活函数，softmax(.)是归一化指数函数，Mask(.)是掩膜函数，该掩膜函数使用公式(3)表示...

【专利技术属性】
技术研发人员：李策，徐频捷，盛龙帅，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京,11