一种基于人体骨架的人体行为识别方法及系统技术方案

本发明专利技术公开了一种基于人体骨架的人体行为识别方法及系统，包括：获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。根据人体骨架关节点的三维坐标、点帧间坐标差和骨架特征等数据，以图卷积网络为主体，采用基于人体部位的注意力机制网络辅助寻找更加具有区分能力的骨架点，对人体行为动作进行分类识别，提高识别精度。

【技术实现步骤摘要】
一种基于人体骨架的人体行为识别方法及系统
本专利技术涉及行为识别
，特别是涉及一种基于人体骨架的人体行为识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。近年来，基于骨架的人类行为识别变得越来越重要，相对于传统的基于RGB视频的行为识别，基于骨架的方法对背景的适应力更强，对光照条件的鲁棒性更强，同时还拥有较少的计算量。一个人体行为的骨架数据主要是一个骨架序列，骨架序列中的每一帧包含了多个骨架点，每个骨架点包含三维坐标信息，而骨架点的三维坐标则是直接通过多模态传感器(如Kinect等)进行提取，或是采用一些姿态估计算法(如Openpose等)间接地从RGB视频和深度图像视频中获取。传统的基于骨架的行为识别方法主要有两类。第一类是基于卷积神经网络的方法，该方法主要是将一个骨架序列看作是一副图像，或通过某些技巧将其改变成一幅图像，然后利用卷积神经网络的方法来进行特征提取，最终判断出行为类别；但是专利技术人认为，通常同一帧上的骨架点的空间上下文相关性并不如RGB像素强，采用基于本文档来自技高网...

【技术保护点】
1.一种基于人体骨架的人体行为识别方法，其特征在于，包括：/n获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；/n根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；/n根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。/n

【技术特征摘要】
1.一种基于人体骨架的人体行为识别方法，其特征在于，包括：
获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；
根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；
根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。


2.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述骨架点坐标包括骨架的三维绝对坐标和中心点的相对坐标，所述骨架点帧间坐标差包括相邻帧间坐标差和间隔帧间坐标差，所述骨架特征包括骨架长度和骨架旋转角。


3.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述图卷积网络包括3条输入流，所述骨架点坐标、骨架点帧间坐标差和骨架特征分别输入三条输入流中，将其输出合并后输入注意力机制网络中。


4.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，基于人体部位的注意力机制网络包括6层注意力模块，每层注意力模块中包含1层图卷积模块和1层基于人体部位的注意力子模块。


5.如权利要求4所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述图卷积模块采用Bottleneck结构，所述Bottleneck结构的空间模块包括图卷积操作，并在图卷积操作的两边分别加入1*1的普通卷积操作，降低输入特征的维数，所述普通卷积操作连接批归一化操作，激活函数...

【专利技术属性】
技术研发人员：王亮，张彰，宋一帆，单彩峰，纪文峰，
申请(专利权)人：中科人工智能创新技术研究院青岛有限公司，
类型：发明
国别省市：山东;37