基于骨骼关节点数据的人体行为识别方法技术

本发明专利技术提供一种基于骨骼关节点数据的人体行为识别方法，通过从骨骼关节点数据序列中提取描述人体行为运动信息的运动轨迹特征、运动偏移特征，以及描述人体行为静态信息的静态姿势特征；通过建立基于骨骼关节点数据的运动量模型，实现了对时间段的自适应划分；上述自适应时间段划分以及段内的特征表征方法，可达到表达动作顺序的目的，同时也增强特征表达能力，从而可提升人体行为的识别效果。

【技术实现步骤摘要】
基于骨骼关节点数据的人体行为识别方法
本专利技术涉及计算机视觉及人体行为识别
，尤其涉及一种基于骨骼关节点数据的人体行为识别方法。
技术介绍
人体行为识别是指利用计算机将传感器获取到的数据进行处理、建模和分析，从中提取与人体行为相关信息，并建立这些信息与高层语义之间的关系，从而使计算机可以识别个体行为、个体之间的交互行为或群体之间的交互行为。传统的基于视频数据的人体行为识别方法，由于摄像头在成像时容易受到光照变化、复杂背景干扰等因素的影响，且无法得到目标的三维信息，其识别结果不理想。随着计算机技术的发展和硬件成本的降低，市场上出现了新型传感器，例如微软的Kinect，该设备不仅能获取彩色图像数据，还能获取深度数据和骨骼关节点数据；相较于视频图像数据和深度数据来说，骨骼关节点数据具有数据量较小，不易受环境光照和复杂背景干扰等因素的影响，并且具有能有效描述人体三维结构的优势，受到了广泛的关注。目前基于骨骼关节点数据的识别方法在实际应用中存在一些困难，表现在获得的人体行为特征中行为信息量相对较少，且较为单一；在时间序列上倾向于使用动作的整体时间段的特征而忽略了动作过程，导致识别结果不理想。本专利技术提供一种基于骨骼关节点数据的人体行为识别方法，通过从骨骼关节点数据序列中提取描述人体行为运动信息的运动轨迹特征、运动偏移特征，以及描述人体行为静态信息的静态姿势特征；通过建立基于骨骼关节点数据的运动量模型，实现了对时间段的自适应划分；上述自适应时间段划分以及段内的特征表征方法，可达到表达动作顺序的目的，同时也增强特征表达能力，从而可提升人体行为的识别效果。
技术实现思路
基于骨骼关节点数据的人体行为识别方法，包括以下步骤。步骤1，获取单个行为的骨骼关节点数据序列。所述骨骼关节点数据序列包含人体骨骼关节点的三维坐标信息，为提高运算速度，可只选择部分骨骼关节点、骨骼向量、关节夹角参与计算。步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量。所述运动变化量指当前帧与前一帧对应骨骼向量间的偏转角度；将所有所选骨骼向量的偏转角度绝对值累加，作为该帧的骨骼关节点的运动变化量。所述运动量是指当前帧之前的所有帧的运动变化量的累加；最后一帧的运动量称为该动作的总运动量。步骤3，将运动量归一化到[0,1]区间，构建该动作的人体行为运动量模型。所述将运动量归一化到[0,1]区间，包括：将每一帧的运动量，除以最后一帧的运动量，得到归一化后的运动量。所述构建该动作的人体行为运动量模型，包括：以帧索引为横坐标，每帧中经过归一后的运动量作为纵坐标，绘制成图形，称为该动作的人体行为运动量模型。步骤4，根据人体行为的运动量模型来对时间进行自适应划分。所述对时间进行自适应划分，包括：设时间金字塔的层数为n，对运动量模型的纵坐标进行n-1次均分，得到纵坐标分割点；根据该分割点，在运动量模型曲线上得到对应的即帧索引分割点，作为时间分割点；该时间分割点是按时间金字塔方式划分的，划分的时间段称为自适应划分时间段，每个时间段长度不同；时间金字塔是一种通过划分尺度大小不同的时间段，从而保留内部时序信息的方式，可用来对不同时间长度的行为序列进行比较；通常采用二分并构成不同的金字塔层；本专利采用的是类似方式，称为时间金字塔方式。步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征。所述计算骨骼关节点特征，包括：对骨骼关节点数据序列中的每一帧，提取运动轨迹特征、运动偏移特征和静态姿势特征，并将这三种特征进行拼接作为骨骼关节点特征。所述运动轨迹特征，包括：计算当前帧与前一帧对应骨骼关节点的三维坐标变化量作为局部轨迹变化量；计算当前帧与初始帧对应骨骼关节点的三维坐标变化量作为全局轨迹变化量；将局部轨迹变化量和全局轨迹变化量拼接作为运动轨迹特征；将所有所选骨骼关节点的运动轨迹特征拼接，构成该帧的运动轨迹特征。所述运动偏移特征，包括：计算当前帧与前一帧对应骨骼向量的偏转角度作为局部偏移量；计算当前帧与初始帧间对应骨骼向量的偏转角度作为全局偏移量；将局部偏移量和全局偏移量拼接作为运动偏移特征；将所有所选骨骼向量的运动偏移特征拼接，构成该帧的运动偏移特征。所述静态姿势特征，包括：计算当前帧内相邻骨骼关节点间的关节点夹角，来描述人体行为的静态姿势特征；将所有所选关节点夹角数据相拼接，构成该帧的静态姿势特征。步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部按自适应划分时间段的特征进行拼接，得到该动作的特征向量。所述使用特征编码方法，对各时间段内的特征进行特征编码，包括：用特征编码技术得到特征码书；用其对各时间段内的骨骼关节点特征进行特征编码；此时得到的特征向量长度相同。所述对全部按自适应划分时间段的特征进行拼接，包括：将按自适应划分时间段的经过编码后的特征，以特征向量拼接的方式进行组合，得到该动作的特征向量。尽管不同动作的持续时间不同，但其时间段划分个数是一致的，因此最终得到的特征向量长度是一致的。步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别。所述使用分类算法对各动作特征向量进行训练，包括：按照训练集和测试集的划分方法，用训练集数据进行训练，用测试集数据进行测试，从而获得分类器的最佳分类参数，最终实现对人体行为的识别。本方法首先构建人体运动量模型，并使用时间金字塔方式进行自适应时间段划分；对每个时间段，统计其骨骼关节点特征并进行编码，使用特征编码方法对特征进行降维，使用分类算法对其进行训练和分类。本方法依据时间金字塔方式对时间进行划分，有效地包含了动作的顺序信息；骨骼关节点特征使用运动轨迹特征、运动偏移特征和静态姿势特征的融合，增强特征的表达能力；特征编码方法对特征进行了降维和归一化，有效地降低了计算量；最终提升了人体动作的识别结果。附图说明图1为本专利技术方法的流程示意图。图2为选取的14个骨骼关节点示意图。图3为选取的9个骨骼向量示意图。图4为选取的9个关节点夹角示意图。图5为某动作的运动量模型示意图。图6为该动作按自适应时间划分示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面通过具体的实施例，对本专利技术的技术方案进行更加详细和完整的描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。一种基于骨骼关节点数据的人体行为识别方法，如图1所示，包含以下步骤。步骤1，选择包含人体骨骼关节点信息的人体行为数据集如选用MSRAction3D数据集，每个样本均包含多帧数据，每帧可以得到20个骨骼关节点三维数据。为提高运算速度，可只选择部分骨骼关节点、骨骼向量本文档来自技高网...

【技术保护点】
1.基于骨骼关节点数据的人体行为识别方法，其特征在于，包括以下步骤：/n步骤1，获取单个行为的骨骼关节点数据序列；/n步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量；/n步骤3，将运动量归一化到[0,1]区间，构建该动作的人体行为运动量模型；/n步骤4，根据人体行为的运动量模型来对时间进行自适应划分；/n步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征；/n步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部时间段的特征进行拼接，得到该动作的特征向量；/n步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别。/n

【技术特征摘要】
1.基于骨骼关节点数据的人体行为识别方法，其特征在于，包括以下步骤：
步骤1，获取单个行为的骨骼关节点数据序列；
步骤2，对骨骼关节点数据序列中的每一帧，计算运动变化量和运动量；
步骤3，将运动量归一化到[0,1]区间，构建该动作的人体行为运动量模型；
步骤4，根据人体行为的运动量模型来对时间进行自适应划分；
步骤5，对自适应划分时间段内的数据，计算骨骼关节点特征；
步骤6，使用特征编码方法，对各时间段内的特征进行特征编码，然后对全部时间段的特征进行拼接，得到该动作的特征向量；
步骤7，使用分类算法对各动作特征向量进行训练，最终实现人体行为识别。


2.根据权利要求1所述的方法，其特征在于，所述步骤1，包括：
所述骨骼关节点数据序列包含人体骨骼关节点的三维坐标信息；
为提高运算速度，可只选择部分骨骼关节点、骨骼向量、关节夹角参与计算。


3.根据权利要求1所述的方法，其特征在于，所述步骤2，包括：
所述运动变化量指当前帧与前一帧对应骨骼关节点间的偏转角度；
将所有所选骨骼向量的偏转角度绝对值累加，作为该帧的骨骼关节点的运动变化量；
所述运动量是指当前帧之前的所有帧的运动变化量的累加；最后一帧的运动量称为该动作的总运动量。


4.根据权利要求1所述的方法，其特征在于，所述步骤3，包括：
将每一帧的运动量，除以最后一帧的运动量，得到归一化后的运动量；
以帧索引为横坐标，每帧中经过归一后的运动量作为纵坐标，绘制成图形，称为该动作的人体行为运动量模型。


5.根据权利要求1所述的方法，其特征在于，所述步骤4，包括：
设时间金字塔的层数为n，对运动量模型的纵坐标进行n-1次均分，得到纵坐标分割点；根据该分割点，在运动量模型曲线上得到对应的即帧索引...

【专利技术属性】
技术研发人员：冯子亮，丁健伟，杨斌，王洋，司马铭骏，贺思睿，郭照康，李东璐，单强达，何旭东，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51