【技术实现步骤摘要】
一种基于图卷积网络的人体骨架行为识别方法
本专利技术属于计算机视觉及深度学习
，具体涉及一种基于图卷积网络的人体骨架行为识别方法。
技术介绍
基于视频的人类行为识别与理解是图像处理与计算机视觉领域中备受关注的前沿方向，随着深度学习和计算机视觉的技术融合和发展，行为识别被广泛应用在视频分析、智能监控、人机交互、增强现实、视频检索等领域。相比于单人的动作，双人交互行为在日常生活中存在更普遍，也更具有难度。双人交互行为主要分为基于RGB与基于骨架关节点数据的研究。传统的RGB视频由于光照变化，遮挡，背景复杂等因素鲁棒性较差。而基于骨架关节点数据包含了主要身体关节的紧凑三维位置，对视点、身体尺度和运动速度的变化具有鲁棒性。因此，基于骨架关节点数据的行为识别在近年来受到了越来越多的关注。基于骨架关节点的双人交互行为识别方法主要分为基于手工特征和基于深度学习方法两大类。对于第一类，Vemulapalli[1]等人将人体骨架表示为Lie群中的一个点，并在Lie代数中实现了时间建模和分类。Weng[2]等人将朴素贝叶斯最近邻(...
【技术保护点】
1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于：所述识别方法包括获取双人交互骨架视频；对获取视频的关节点坐标进行归一化处理；构建人体关节内在依赖图、个体外在依赖图、交互依赖图；为三种关节连接图的连接边分配不同的权重；送入图卷积网络中进行学习提取空间特征；基于每一帧得到的空间特征，送入长短时期记忆网络中进行时序建模；得到交互行为类别的识别结果。/n
【技术特征摘要】
1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于：所述识别方法包括获取双人交互骨架视频；对获取视频的关节点坐标进行归一化处理；构建人体关节内在依赖图、个体外在依赖图、交互依赖图；为三种关节连接图的连接边分配不同的权重；送入图卷积网络中进行学习提取空间特征；基于每一帧得到的空间特征，送入长短时期记忆网络中进行时序建模；得到交互行为类别的识别结果。
2.根据权利要求1所述的一种基于图卷积网络的人体骨架行为识别方法，其特征在于：所述识别方法具体包括：
步骤S10，拍摄视频：启动摄像头，录制双人交互视频，收集不同动作执行人的各类交互动作的骨架视频，作为交互动作的训练视频，并对各类训练视频进行交互行为含义标记，建立视频训练集；
步骤S20，对获取的骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
步骤S30，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节内在依赖连接图，关节点为图的节点，关节点之间的自然连接为图的内在依赖连接边；构造单人各自的外在依赖连接边与双人的交互依赖连接边，三者一起构成待识别骨架序列每一帧人体关节连接图；
步骤S40，分别为所述待识别骨架序列每一帧图对应的三种关节连接图的边分配权重，获得对应的带有不同权重值的人体关节连接图；
步骤S50，对所述待识别骨架序列每一帧对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间特征；
步骤S60，基于所述待识别骨架序列的空间特征，在时间维度上进行时序建模，获得待识别骨架序列的行为类别。
3.根据权利要求2所述的一种基于图卷积网络的人体骨架行为识别方法，其特征在于：所述步骤S20中“对获取的骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列”，其方法为：
步骤S11，对获取到的原始骨架视频进行预设等间隔采样作为训练与识别骨架序列；
步骤S12，对获得所述骨架序列中每一帧关节点坐标进行旋转，平移以及尺度归一化处理，获得待识别骨架序列，具体方法为：
其中为原始获取第t帧的第i个坐标值，J和T表示关节点和获得帧的集合，为处理后的坐标值；
旋转矩阵R和旋转原点oR定义为：
其中v1和v2是垂直于地面的矢量和每个序列中初始骨架的左髋关节和右髋关节的差矢量，和v1×v2分别表示v1和v2上的向量投影和这两个向量的外积，与表示各序列初始骨架的左髋关节和右髋...
【专利技术属性】
技术研发人员：曹江涛，赵挺，洪恺临，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。