基于图卷积网络的人体骨架行为识别方法、系统、装置制造方法及图纸

本发明专利技术属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置，旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明专利技术方法包括：获取骨架视频帧并归一化；构建每一帧图对应的人体关节自然连接图；学习非自然连接边，获得人体关节连接图；为人体关节连接图各条边分配权重值；进行图卷积操作，获得骨架序列的空间信息；在时间维度上进行卷积操作，获得骨架序列的行为类别。本发明专利技术自然连接边能够学习到基本的人体行为特征，同时非自然连接边可以学习到附加的行为特征，通过自然连接边和非自然连接边共同构成一张图，可以更加充分的表征人体运动信息，提高识别性能。

Human skeleton behavior recognition method, system and device based on graph convolution network

【技术实现步骤摘要】
基于图卷积网络的人体骨架行为识别方法、系统、装置
本专利技术属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置。
技术介绍
行为识别作为计算机视觉的一个重要研究领域，旨在从一段给定视频中区分出人体所做的行为所属类别。行为识别应用广泛，在智能家居、运动分析、视频监控以及人机交互等多个领域具有重要的研究价值。目前的行为识别方法主要从基于RGB视频和基于人体骨架关节点两个角度进行研究。基于RGB视频的方法易受光照、遮挡的影响，鲁棒性较差，而基于人体骨骼关节点的方法则具有极强的判别性，不受光照影响，对视角变换、尺度变换等都具有较高的鲁棒性。因此，基于人体骨架关节点的行为识别方法也越来越受到研究者的关注。基于人体骨架节点的行为识别方法主要分为两类，一类是基于传统的机器学习方法，这类方法需要进行手工特征设计，描述行为属性，然后训练分类器，进行行为识别。例如，通过将人体骨架序列建模为图结构，通过图核设计提取不同行为特征，最后利用SVM分类器进行行为识别，这类方法的主要缺点是手工设计的特征表征能力有限，无法保证良好的区分效果；另一类是基于深度学习的方法，这类本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于，该识别方法包括：步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；步骤S30，基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；步骤S50，对所述待识别骨架序列每...

【技术特征摘要】
1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于，该识别方法包括：步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；步骤S30，基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。2.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S10中“获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列”，其方法为：步骤S11，对所述骨架视频进行预设间隔的均匀采样，获得预设帧数的骨架序列；步骤S12，对所述预设帧数的骨架序列中每一帧关节点坐标值进行归一化处理，获得待识别骨架序列。3.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S20中“对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边”，其方法为：将所述人体关节自然连接图记做其中，x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；为待识别骨架序列图像帧之间人体关节自然连接图的邻接矩阵；其中，的维度为N×N，T待识别骨架序列中图像帧数。4.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S30中“基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图”，其方法为：步骤S31，计算所述待识别骨架序列中每一帧图中预设关节点之间的距离；步骤S32，以所述待识别骨架序列第一帧图中预设关节点之间的距离为初始值，依次计算相邻两帧间对应预设关节点之间距离的相对变化值；步骤S33，将所述相对变化值低于预设阈值的预设关节点进行连接，作为待识别骨架序列图像帧之间非自然连接边邻接矩阵W1T,W1T∈RN×N：其中，W1T的维度为N×N，T待识别骨架序列中图像帧数；步骤S34，将所述人体关节自然连接图的自然连接边邻接矩阵与所述非自热连接边的邻接矩阵进行求和，得到各人体关节连接图的邻接矩阵W以及相应的人体关节连接图G(x,WT)。5.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S40中“分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图”，其方法为：步骤S41，构建权重矩阵，并对矩阵中所有元素赋值；步骤S42，将所述赋值后的权重矩阵与人体关节连接图的邻接矩阵对应元素相乘，获得对应的带有不同权重值的人体关节连接图。6.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S50中“对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息”，其方法为：其中，*代表图卷积操作；代表图卷积核；x是维度为N×c的矩阵，代表人体关节自然连接图的...

【专利技术属性】
技术研发人员：原春锋，吕红杰，李兵，段运强，胡卫明，刘雨帆，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11