一种基于人体骨架的动作识别方法技术

本发明专利技术涉及一种基于人体骨架的动作识别方法，其特征在于，基本步骤包括：步骤一，从体感设备获取人在执行目标动作下的连续骨架数据帧序列；步骤二，从骨架数据中筛选出可以表征动作的主要关节点数据；步骤三，从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列；步骤四，对特征向量进行预处理；步骤五，将动作样本集的特征向量序列保存下来作为动作样本模板库；步骤六，实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值；步骤七，对动作进行分类识别。本发明专利技术具有很好的实时性、鲁棒性和准确性，实施简便可靠，适用于实时的动作识别系统。

【技术实现步骤摘要】

本专利技术属于模式识别和人机交互
，特别是涉及一种基于人体骨架的动作识别方法。
技术介绍
随着计算机视觉和人机交互技术的发展，越来越多的人机交互系统选择使用人体姿势或动作作为输入，微软公司Kinect体感技术的出现使得人与计算机交互变得更加自然，以姿势或动作作为输入来控制系统变得更加普遍。然而由于人体差异、动作执行的多样性以及动作的复杂性等各种原因，使得能够实时、稳定、准确的识别出人体动作变成了一项难度很大的课题。中国专利申请CN201110046975.4公开了“一种基于动作分解和行为分析实现实景游戏的方法”，该方法涉及的动作识别是将获取到的归一化的人体3D骨架模型与离线动作库中的动作进行匹配，包括单帧图像匹配和多帧图像匹配，然后进行动作识别。该方法还存在以下明显不足：一是该方法首先要对3D人体骨架模型做归一化处理，将人体身高归一化为1，且将人体位置调整到离摄像机的距离与动作库中设定的距离一致，进而调整人体各关节点位置和肢体长度信息，这样做一方面使得归一化的计算量非常大，因为每一帧骨骼数据和所有关节点都要做处理，另一方面根据人体与摄像头距离来调整关节点位置和肢体长度的方法的科学性及准确性存在很大问题；二是该方法所用的匹配信息(特征值)不合理，使用了节点连线长度而且是2D长度作为匹配度度量之一，该值无法有效的作为动作的特征值；三是该方法使用的匹配度算法太简单，计算固定帧数的度量值之间的差异度，并作为动作识别的匹配度，这种计算匹配度的方法无法衡量动作执行快慢不同时的动作相似性的问题，因而无实际应用价值。中国专利申请CN201310486754公开了“一种基于Kinect的人体动作识别方法”，该方法利用Kinect获取目标人体的骨架关节点的空间位置信息，然后通过判断其是否满足预设的各种人体动作的判定标准来识别目标人体的动作类型。虽然该方法可以识别出一些动作和姿势，但存在着以下明显不足，一是该方法中预设的各种人体动作判定标准依赖于一系列骨架关节点的参数和阈值，既要有丰富的经验，又要有大量反复的测试，使得这些参数和阈值
本身很难设定，一方面需要依靠丰富的经验，另一方面需要大量反复的测试；二是定义和识别人体动作需要很长的时间的编程工作和较大的代码量；三是该方法的鲁棒性和准确性很难保证，特别是在人体大小、动作执行快慢不同的情况下；四是该方法仅适用于简单的动作或者姿势识别，对于复杂的动作，该方法显得无能为力。中国专利申请CN201310192961公开了“一种基于深度图像序列的实时人体动作识别方法”，该方法首先从目标深度图像序列中提取目标动作剪影，从训练深度图像集中提取训练动作剪影；然后对训练动作剪影进行姿势聚类，并对聚类结果进行动作标定；然后计算目标动作剪影以及训练动作剪影的姿势特征；然后结合训练动作剪影的姿势特征进行基于高斯混合模型的姿势训练并构建姿势模型；接着计算聚类结果的每个动作中各姿势间的转移概率并构建动作图模型；最后根据所述目标动作剪影的姿势特征、姿势模型以及动作图模型对目标深度图像序列进行动作识别。该方法虽然可以识别出一些动作，但也存在明显的不足：一是该方法是基于深度图进行动作识别，使得方法识别的准确性很大程度上依赖于深度图的质量，同时也会受到外部环境的影响，二是该方法需要复杂的模式识别算法支持，训练集需要大量的离线训练，实现难度较大，三是方法的实时性不好，识别结果有较大延迟。中国专利申请CN201410009445公开了“一种基于图像深度信息的3D高斯空间人体行为识别方法”，该方法首先提取深度信息中的人体骨骼3D坐标并对其进行归一化操作，过滤对人体行为识别率低的关节及冗余关节，然后针对各个行为构建兴趣关节群，并基于高斯距离核对人体动作空间特征进行AP聚类，获得行为特征单词表并对其进行数据清理，最后构建人体行为条件随机场识别模型，据此实现对人体行为的分类。该方法存在如下不足：一是其所用到的人体骨骼3D坐标是采用基于随机决策森林分类器的单像素物体识别方法确认人体部位并提取出来的，即该方法需要首先建立能够从深度图像获取人体骨骼数据的分类器学习算法，这无疑会增加了其实现的复杂性和难度，并且识别骨骼坐标数据的好坏给整个方法的识别准确性带来了不确定性，同时也会造成方法的实时性较差；二是方法仅用了骨骼的坐标数据，动作特征单一；三是该方法最后需要构建人体行为识别模型，模型建立在特定动作的训练样本基础之上，对于新的行为动作需要重新训练建模，这使得该方法的适用性和扩展性不强。综上所述，如何克服现有技术所存在的不足已成为模式识别和人机交互
中亟待解决的重点难题之一。
技术实现思路
本专利技术的目的是为克服现有技术所存在的不足而提供一种基于人体骨架的动作识别方法，本专利技术具有很好的实时性、鲁棒性、准确性，实现简便可靠，适用于实时的动作识别系统。根据本专利技术提出的一种基于人体骨架的动作识别方法，其特征在于，包括如下基本步骤：步骤一，从体感设备获取人在执行目标动作下的连续骨架数据帧序列：所述体感设备是指至少能够获取包括人体骨架的各个关节点的3D空间位置信息和角度信息的采集设备；所述人体骨架数据包括该采集设备所提供的人体关节点的数据。步骤二，从骨架数据中筛选出可以表征动作的主要关节点数据：所述表征动作的主要关节点数据是对动作识别起关键作用的关节点的数据；若在对手势动作的检测识别中，可以选取上肢的关节点数据：包括右手关节点、右手腕关节点、右肘关节点、右肩关节点、左肩关节点、左肘关节点、左手腕关节点、左手关节点，其他动作的主要关节点的选取以此类推。步骤三，从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列：所述动作特征包括位置、角度、速度、关节点的速度和关节夹角；所述特征向量序列是由特征值组成的特征向量并构成的序列。步骤四，对特征向量进行预处理：所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理。步骤五，将动作样本集的特征向量序列保存下来作为动作样本模板库。步骤六，实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值：所述动态时间规整算法是指计算两个长度不同的时间序列的距离值，并以此距离值作为评判两个序列的相似度的方法。步骤七，对动作进行分类识别：根据步骤六中计算的距离值，计算出目标动作与模板库中动作模板的相似度，最后依据相似度对目标动作进行分类识别。本专利技术提出的一种基于人体骨架的动作识别方法的进一步优选方案是：步骤三所述特征提取是指从骨骼数据中提取合适的特征，这些特征可以是关节点的位置P、速度V，关节间角度θ等，但不仅限于提到的所述的特征；特征向量序列是指由每帧骨架数据计算出的特征向量组成的特征向量序列R，则R可以表示为：R＝{R1,R2,...,Rn,...RN本文档来自技高网...

【技术保护点】
一种基于人体骨架的动作识别方法，其特征在于，包括如下基本步骤：步骤一，从体感设备获取人在执行目标动作下的连续骨架数据帧序列：所述体感设备是指至少能够获取包括人体骨架的各个关节点的3D空间位置信息和角度信息的采集设备；所述人体骨架数据包括该采集设备所提供的人体关节点的数据；步骤二，从骨架数据中筛选出可以表征动作的主要关节点数据：所述表征动作的主要关节点数据是对动作识别起关键作用的关节点的数据；步骤三，从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列：所述动作特征包括位置、角度、速度、关节点的速度和关节夹角；所述特征向量序列是由特征值组成的特征向量并构成的序列；步骤四，对特征向量进行预处理：所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理；步骤五，将动作样本集的特征向量序列保存下来作为动作样本模板库；步骤六，实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值：所述动态时间规整算法是指计算两个长度不同的时间序列的距离值，并以此距离值作为评判两个序列的相似度的方法；步骤七，对动作进行分类识别：根据步骤六中计算的距离值，计算出目标动作与模板库中动作模板的相似度，最后依据相似度对目标动作进行分类识别。...

【技术特征摘要】
1.一种基于人体骨架的动作识别方法，其特征在于，包括如下基本步骤：步骤一，从体感设备获取人在执行目标动作下的连续骨架数据帧序列：所述体感设备是指至少能够获取包括人体骨架的各个关节点的3D空间位置信息和角度信息的采集设备；所述人体骨架数据包括该采集设备所提供的人体关节点的数据；步骤二，从骨架数据中筛选出可以表征动作的主要关节点数据：所述表征动作的主要关节点数据是对动作识别起关键作用的关节点的数据；步骤三，从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列：所述动作特征包括位置、角度、速度、关节点的速度和关节夹角；所述特征向量序列是由特征值组成的特征向量并构成的序列；步骤四，对特征向量进行预处理：所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理；步骤五，将...

【专利技术属性】
技术研发人员：王行，周晓军，李骊，盛赞，
申请(专利权)人：南京华捷艾米软件科技有限公司，
类型：发明
国别省市：江苏;32