基于深度图和骨骼点的人体行为识别方法技术

本发明专利技术提供了一种基于深度图和骨骼点的人体行为识别方法，使用时间金字塔对行为序列进行不同尺度的分割，保留了行为内部的时序信息；只使用对行为贡献大的重要部位的相关数据进行特征提取，去除了不同行为中较为相似的数据，特征“纯度”高；通过划分空间子格的方式，较为精确的表达了人体重要部位的运动轨迹在空间中的分布情况。实际应用情况表明，该方法提取的特征，对于人体行为识别具有较好的区分度。

【技术实现步骤摘要】
基于深度图和骨骼点的人体行为识别方法
本专利技术涉及计算机视觉
，尤其涉及一种基于深度图和骨骼点的人体行为识别方法。
技术介绍
人体行为识别是指根据传感器采集到的信息，对人体的行为进行分类和识别；按照所使用的传感器的不同，可将人体行为识别方法分为基于视觉的和基于非视觉的方法；本专利技术关注的是基于视觉的人体行为识别。早期的行为识别使用RGB传感器采集到的彩色图像序列，基于颜色提取了如梯度直方图、光流直方图和稠密轨迹等特征；这些特征来源于颜色，因此易受到环境中复杂背景和光照变化带来的影响，导致识别效果较差。随着深度传感器的发展，获取深度数据的成本大大降低，研究人员开始使用深度数据进行人体行为识别的研究，包括深度图和从中恢复出来的三维人体骨骼坐标；深度数据较好的避免了复杂环境和光照变化带来的影响，但在行为识别中简单地应用深度数据，识别的效果较差。现有的人体行为识别存在的难点和挑战主要有：（1）容易忽略人体行为的执行顺序；（2）容易丢失人体各部位之间的空间信息；（3）行为执行过程中位移量很小的部位也参与特征构成，导致特征本文档来自技高网...

【技术保护点】
1.基于深度图和骨骼点的人体行为识别方法，其特征在于，包括以下步骤：/n步骤1，获得单个行为的人体行为数据序列；/n步骤2，将深度图序列按帧转化为三维点云，只保留重要部位附近的点云；/n步骤3，使用时间金字塔模型，对整个人体行为序列进行动作片段的划分；/n步骤4，在每个动作片段中，将重要部位的三维点云每帧叠加，得到重要部位的运动轨迹；/n步骤5，将单个行为的完整动作中人体所在的空间中划分子格，统计每个子格所包含三维点云的点数量并形成一个特征向量；/n步骤6，将所有动作片段的特征向量值归一化到[0,1]区间，并按照相同的动作片段顺序拼接成历史运动轨迹特征向量；/n步骤7，使用分类算法对历史运动轨...

【技术特征摘要】
1.基于深度图和骨骼点的人体行为识别方法，其特征在于，包括以下步骤：
步骤1，获得单个行为的人体行为数据序列；
步骤2，将深度图序列按帧转化为三维点云，只保留重要部位附近的点云；
步骤3，使用时间金字塔模型，对整个人体行为序列进行动作片段的划分；
步骤4，在每个动作片段中，将重要部位的三维点云每帧叠加，得到重要部位的运动轨迹；
步骤5，将单个行为的完整动作中人体所在的空间中划分子格，统计每个子格所包含三维点云的点数量并形成一个特征向量；
步骤6，将所有动作片段的特征向量值归一化到[0,1]区间，并按照相同的动作片段顺序拼接成历史运动轨迹特征向量；
步骤7，使用分类算法对历史运动轨迹特征进行训练和分类。


2.基于权利要求1所述的方法，其特征在于，步骤2包括：
将深度图中像素的xy坐标作为三维点的xy坐标，将代表深度数据的像素值作为三维点的z坐标，从而形成三维点云；三维点云也称点云；
所述重要部位附近点云，指以表示重要部位的一个或一组骨骼点为中心，取一适当大小的长方体，被该长方体包含的三维点云的集合即为该重要部位附近点云。


3.基于权利要求1所述的方法，其特征在于，步骤3包括：
时间金字塔模型是一种通过划分尺度大小不同的时间段从而保留内部时...

【专利技术属性】
技术研发人员：冯子亮，黄潇逸，王洋，杨斌，朱鑫，李东璐，单强达，郭照康，司马铭骏，窦芙蓉，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51