一种基于3D关节点序列的人体行为识别方法技术

本发明专利技术公开一种基于3D关节点序列的人体行为识别方法，对给定的人体运动序列，包括以下步骤：步骤1、提取基于运动引导的关节点帧内偏移和帧间偏移；步骤2、通过偏移特征集合的聚类中心将其转换为由“视觉单词”组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；步骤3、基于融合特征分析模型的监督哈希映射生成哈希编码，并采用K最近邻进行分类。

A human behavior recognition method based on 3D joint sequence

The invention discloses a human behavior recognition method based on 3D joint point sequence, which includes the following steps for a given human motion sequence: step 1, extracting the intra-frame offset and inter-frame offset of the motion-guided node; step 2, converting it into a \visual word\ by the clustering center of the offset feature set A high-dimensional feature vector is obtained by aggregating the difference between all codebooks and offset vectors. Step 3. Supervised hash mapping based on fused feature analysis model generates hash codes and classifies them by K-nearest neighbors.

【技术实现步骤摘要】
一种基于3D关节点序列的人体行为识别方法
本专利技术属于计算机视觉和模式识别领域，尤其涉及一种基于3D关节点序列的人体行为识别方法。
技术介绍
基于计算机视觉技术的人体行为识别在人类生活的众多领域得到广泛应用，如视频监控、运动检索、人机交互、智能家居以及医疗保健等。传统的基于RGB相机获取视频序列进行行为识别的方法有很多，取得了较好的识别结果，但是基于RGB信息获取的人体行为数据存在多方面的缺陷：1)复杂背景、遮挡、阴影、尺度变化以及不同的光照条件下所获得的行为数据；2)同样的行为数据随投影采样视角的变化呈现出的不确定性；3)不同类行为数据存在视觉相似性的同时，同类行为数据表现出行为主体的多样性。这些固有缺陷限制了基于RGB信息的人体行为识别的性能的进一步提升。随着科技的发展，传感器技术在过去几年得到迅速的发展，给我们带来了高清的深度相机，例如微软公司的Kinect和华硕公司的XtionPROLIVE。这在很大程度上弥补了感知过程中将三维行为信息投影为二维视觉信息时的维度信息缺失。此外相比RGB视觉信息，深度图像可极大地减轻遮挡、复杂背景、光照条件变化所造成的数据缺陷。事实上，基于Kinect的工具包可以实时逐帧输出3D运动人体各关节点的位置。以人体骨架关节点表示的人体行为数据不会受尺度、视角、光照等变化的影响，便于识别。所以基于3D关节点序列进行行为识别成为热点研究方向。基于人体关节点序列的行为识别方法通常需计算帧间或帧内各关节点之间的偏移作为人体行为的初级特征。目前的大部分方法在此基础上设计人体行为表示模型并面临着两难的选择。一方面保持行为特征的高维度以避免识别精度下降，但这使得识别效率低下。另一方面以先验或后验的方式进行特征降维，以提高计算效率，但行为表示复杂耗时，且精度不能保证。而在特征维度与识别精度折衷的情况下，识别效率的提高非常有限。哈希算法可以通过一组短的二进制编码来编译图像、视频等，从而提高计算效率，并且可以保留原始数据的相似性。对于有关哈希的方法，由于其具有速度快、特征维度低等特点，已经广泛的应用到信息检索、数据压缩、视频追踪等问题中。但是目前基于哈希的方法主要以降低精度为代价提高计算效率，并且在人体行为识别方面的应用目前尚处于起步阶段。为了解决上述这些问题，本专利技术提出了一种新的基于3D关节点的行为识别方法。首先我们依据行为运动进行特征简化，提出了一种基于局部聚合的运动学引导的关节点特征表示，然后根据稀疏表示和哈希编码的优势互补提出了一种融合特征分析模型的监督哈希映射，联合学习了哈希函数、稀疏编码和分类器。本专利技术不仅提高了计算效率，还提高了识别精度。
技术实现思路
为了能够在行为识别时既提高识别率又提高计算效率，本专利技术提出了一种新的基于3D关节点序列的行为识别方法。为此，需要解决的关键技术问题包括：基于运动学引导的关节点特征提取及行为表示(LAKS)以较低维度的特征精确表示运动行为；融合特征分析模型的监督哈希映射(SHA)实现精度和效率的双提升。附图说明图1深度相机获取的人体关节点的示意图；图2(a)为五个帧间偏移特征的描述；图2(b)为四个帧内偏移特征的描述；图3LAKS和LAKS+SHA在MSR-Action3D数据库上的比较结果；图4在MSR-Action3D数据库上的组稀疏约束的稀疏表示可视化；图5在Florence3Daction数据库上的组稀疏约束的稀疏表示可视化；图6本专利技术方法在MSR-Action3D数据库上的混淆矩阵；图7本专利技术方法在Florence3Daction数据库上的混淆矩阵；图8为本专利技术的流程图。具体实施方式如图8所示，本专利技术提供一种基于3D关节点序列的人体行为识别方法，包括三个关键的技术点：1)基于运动引导的关节点特征提取；2)基于局部聚合的行为特征表示；3)融合特征分析模型的监督哈希映射。其基本思想是：对给定的人体运动序列，首先提取基于运动引导的关节点帧内偏移和帧间偏移；其次通过偏移特征集合的聚类中心将其转换为由“视觉单词”组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；然后基于融合特征分析模型的监督哈希映射生成哈希编码；最后采用K最近邻进行分类。(1)原始数据：定义是N个动作序列的训练集。ln是第n个动作序列的标签，χn是第n个动作序列所有帧的3D位置的集合，即：其中i，j分别代表关节点数和帧数，表示第j帧的第i个关节点的3D位置，Jn表示第n个动作序列的总帧数。图1描述了人体骨架的15个关节点。(2)基于运动引导的人体关节点特征提取：根据人体的运动结构，人体主要由五部分组成：左右臂、左右腿和躯干(如图2a)。一个动作就是由这几部分的运动组成的。一些简单的动作只有人体的一个部分完成，而一些复杂动作会有多个部分同时完成。为了更好地描述一个动作，考虑到这五部分运动的独立性，本专利技术将人体分为五部分，分别计算每一部分关节点帧间的偏移，从而生成了五个帧间的偏移特征。本专利技术通过计算第t帧与第t-τ帧的关节点位置偏移信息获取动作序列的帧间偏移特征：此外，帧内大部分关节点之间的偏移在运动中变化较小，所以选择一些主要的关节点之间的偏移特征可以减小特征的冗余，从而减小特征维度。所以本专利技术通过计算四个基点(头、脊椎、左臀、右臀)与人体运动中起主要作用的关节点的关系(具体关系如图2b所示)，生成四种帧内的偏移特征。通过计算帧内不同关节点的位置偏移信息获取动作序列的帧内偏移特征：所以九个偏移特征表示为：(3)基于局部聚合的人体运动行为特征表示：对九个偏移特征中的每一个特征，用Ωs表示这些特征的集合，即：并对Ωs利用K-均值聚类算法，生成K个子集和相应的聚类中心，即：其中T表示K-均值聚类的次数。第n个训练样本的一个特征表示的组成部分就可以通过将所有的偏移向量和相应的最近聚类中心的差值相加来获得，即：这样，第n个训练样本的特征表示就可以通过连接向量集合来获得，表示形式为：(4)融合特征分析模型的监督哈希映射：为了更好的描述类内的差异，本专利技术提出了一种融合特征分析模型的监督哈希映射作为一种新的行为特征表示。我们的目标就是学习训练样本的哈希编码，即B＝[b1,...,bN]∈{-1,1}L×N，其中L是汉明空间中哈希编码的长度。哈希函数可以定义为其中W为投影矩阵。为了充分利用标签信息，我们同时考虑了哈希编码和标签信息，期望学习到的哈希编码是最优的，所以在目标函数中加入分类误差项。此外，由于提取的特征yn能量分布是均匀的，而哈希函数是一组离散的切平面，所以直接用哈希编码不能很好地描述特征yn。而稀疏模型可以将特征的能量聚集在少量的元素中。所以本专利技术对样本Y＝[y1,y2,...,yN]使用了稀疏约束，从而提出了融合特征分析模型的监督哈希映射，如下所示：其中是训练样本标签矩阵，C是类别数，是第n个样本的标签向量，它的第c个元素是1，其它元素是0。是分类矩阵，Y[c]是类别c的训练样本集合，T是分析字典，第三项采用了同类训练样本的组稀疏约束，λ1＞0和λ2＞0是正则参数。(5)动作分类在我们的实验中，使用的分类方法为K最近邻分类法，即如果一个测试样本在特征空间中的K个最相邻的训练样本中的大多数属于某一个类别，则该测试样本也属于这个类别。实验结论：本专利技术已经应用到M本文档来自技高网...

【技术保护点】
1.一种基于3D关节点序列的人体行为识别方法，其特征在于，对给定的人体运动序列，包括以下步骤：步骤1、提取基于运动引导的关节点帧内偏移和帧间偏移；步骤2、通过偏移特征集合的聚类中心将其转换为由“视觉单词”组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；步骤3、基于融合特征分析模型的监督哈希映射生成哈希编码，并采用K最近邻进行分类。

【技术特征摘要】
1.一种基于3D关节点序列的人体行为识别方法，其特征在于，对给定的人体运动序列，包括以下步骤：步骤1、提取基于运动引导的关节点帧内偏移和帧间偏移；步骤2、通过偏移特征集合的聚类中心将其转换为由“视觉单词”组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；步骤3、基于融合特征分析模型的监督哈希映射生成哈希编码，并采用K最近邻进行分类。2.如权利要求1所述的基于3D关节点序列的人体行为识别方法，其特征在于，步骤1具体为：定义是N个动作序列的训练集，ln是第n个动作序列的标签，是第n个动作序列所有帧的3D位置的集合，即：其中，i，j分别代表关节点数和帧数，表示第j帧的第i个关节点的3D位置，Jn表示第n个动作序列的总帧数。根据人体的运动结构，将人体分为五部分：左右臂、左右腿和躯干，分别计算每一部分关节点帧间的偏移。通过计算第t帧与第t-τ帧的关节点位置偏移信息获取动作序列的帧间偏移特征：此外，帧内大部分关节点之间的偏移在运动中变化较小，所以选择一些主要的关节点之间的偏移特征可以减小特征的冗余，从而减小特征维度。所以通过计算四个基点(头、脊椎、左臀、右臀)与人体运动中起主要作用的关节点的关系，生成四种帧内的偏移特征。通过计算帧内不同关节点的位置偏移信息获取动作序列的帧内偏移特征：所以九个偏移特征表示为：3.如权利要求1所述的基于3D关节点序列的人体行为识别方法，其特征在于，步骤2具体为：基...

【专利技术属性】
技术研发人员：孔德慧，孙彬，王少帆，王玉萍，王立春，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11