基于图像深度信息的3D高斯空间人体行为识别方法技术

本发明专利技术公开了一种基于图像深度信息的3D高斯空间人体行为识别方法。基于图像深度信息的3D高斯空间人体行为识别方法包括以下步骤：提取深度信息中的人体骨骼3D坐标并对其进行归一化操作，过滤对人体行为识别率低的关节及冗余关节；针对各个行为构建兴趣关节群，基于高斯距离核对人体动作空间特征进行AP聚类，获得行为特征单词表并对其进行数据清理；构建人体行为条件随机场识别模型，据此实现对人体行为的分类。本发明专利技术对人体具体方向、骨骼尺寸、空间位置都具有较强的抗干扰性，对不同实验个体引入的动作差异有很强的泛化能力，对不同类的相似行为也有很好的识别能力。

【技术实现步骤摘要】

：本专利技术涉及机器视觉领域，特别涉及一种基于图像深度信息的3D高斯空间人体行为识别方法。
技术介绍
：视频中的人体行为识别在很多视频监控、人机交互、视频恢复等领域中都有重要的应用。尽管在近十年内，各国专家学者提出了很多方法，在该领域内取得了很多激动人心的进展，但是高精度的人体行为识别依然是一项极具挑战的工作。原因之一就是人体行为是一种动态的动作时间序列，各种动作分界模糊，即使是同一人其动作亦会变形，甚至各种动作相互组合，同时在动作进行中可能发生被遮挡的情况的发生。人体本身从背景中的分割就是一项艰巨的任务，进一步加剧了行为识别的难度。近几年推出的深度摄像机提供了毫米级的3D深度信息。这在很大程度上降低了人体分割的难度。针对深度信息，Shotton提出了一种基于随机决策森林分类器的单像素物体识别方法(Shotton，J.，et al.Real-Time Human Pose Recognition in Parts from Single Depth Images.in Computer Vision and Pattern Recognition (CVPR)，2011 IEEE Conference on.2011.)，该方法借鉴了物体识别理论，采用一种人体部位中间表达方法将比较困难的动作估计映射为简单的面向像素的分类问题，并采用基于均值漂移的局部最优的方法找到各关节最优估计。基于该方法，可以直接获得人体3D骨架关节坐标。人体动作是一种铰链结构，给定如图1所示的骨架，左图为深度图像，右图为Shotton提出的基于随机决策森林分类器的单像素物体识别方法获取的对应的骨骼图像，人眼视觉系统可以轻松判定其动作，即使部分关节被遮挡。但是，基于单目深度信息估计的3D关节带有很多噪声，甚至有明显的错误，尤其是在遮挡的情况下，如双手交叉、多个人体相互触碰等。基于此3D关节推理，依然不能保证人体行为识别精度。
技术实现思路
：本专利技术是为了克服上述现有技术中缺陷，提供了一种鲁棒的基于图像深度信息的3D高斯空间人体行为识别方法。为了实现上述目的，本专利技术提供如下技术方案：基于图像深度信息的3D高斯空间人体行为识别方法，其步骤为：步骤一，针对每帧图像的深度信息，采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标；步骤二，将所述人体3D关节坐标数据归一化；步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节；步骤四，分析每类行为，基于AP聚类算法，统计每类行为中，关节空间运动行程突出的关节点，构建兴趣关节群；步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特征；步骤六，采用AP聚类算法，构建高斯距离核，将投影到人体动作空间的3D高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心；步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，并对每组动作进行数据清理准备；步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模型；步骤九，对新样本进行识别。上述技术方案中，步骤二中将所述人体3D关节坐标数据归一化包括骨架肢体矢量尺寸归一、骨架参考零点归一和骨架方向归一。其中所述骨架肢体矢量尺寸归一的步骤包括：a)选择一个人体3D关节坐标为标准模型；b)保持各样本肢体段矢量方向不变，将各矢量缩放至标准模型长度；c)以臀部中心为参考点，构造关节树，根据缩放长度移动各关节，移动矢量为：这里Δdfi是当前节点的第fi个祖先的移动矢量，n为当前节点的祖先个数。其中所述骨架参考零点归一的步骤包括：以臀部中心为新坐标参考空间零点O′，移动骨架。其中所述骨架方向归一的步骤包括：a)选择原坐标系X轴，使其与左臀到右臀的矢量平行，以新坐标参考空间零点O′为臀部中心构建直线垂直于新的地面参考平面，得到新坐标参考空间Z轴；b)旋转骨架，将骨架映射到新的坐标参考空间。上述技术方案中，步骤三通过筛选保留对人体行为识别贡献大的关节组，保留的关节组包括12个关节：头、左/右手肘、左/右手腕、左/右膝盖、左/右脚腕、左/右臀、臀部中心。上述技术方案中，步骤四通过AP算法构建兴趣关节群的步骤为：a)计算相邻帧各个关节的运动距离，设在相邻帧(i帧，i+1帧)中某关节的坐标分别为：(xik，yik，zik)，(xi+1，k，yi+1，k，zi+1，k)，则运动距离dik为：dik2＝(xik-xi+1k)2+(yik-yi+1k)2+(zik-zi+1k)2b)累加所有运动距离得到一个关节的总行程Dk：Dk=Σi=1n-1dik2]]>c)基于AP算法，指定聚类数，采用欧氏距离为相似度度量，根据上一步计算所得运动距离将所有关节分为3类；d)摒弃运动距离最短的关节，取运动距离较长的两类作为贡献度较高的关节，构建该行为的兴趣关节群。上述技术方案中，步骤五中每个动作的3D高斯空间特征的计算过程为：a)将3D空间划分为m×n×l(m，n，l∈Z)个子空间，每个关节必在一个子空间内；b)计算除臀部中心外的其余11个关节的子空间高斯密度：(1)对每个关节，计算其子空间高斯密度，p(X,u,Σ)=1(2π)n|Σ|e-12(x-μ)TΣ-1(x-μ)]]>其中X代表关节坐标，u代表子空间中心，∑代表协方差矩阵，令∑＝d/3*n*I，这里d为每个子空间对角线长度，n是子空间个数，I为单位矩阵；(2)对于正态分布，99％的信息包含在正负3个标准差内(即d*n*I，n＝3.5)，令距离子空间中心距离djoint，bin＞ε(ε＝d；)的关节对应子空间高斯密度p(X，u，∑)＝0；c)每个动作的11个关节的子空间高斯密度即构成了稀疏的动作特征表达。上述技术方案中，步骤六中高斯距离核的构造方法为：这里x，y代表两组特征向量，σ为标准差。步骤六中人体动作空间的3D高斯空间特征聚类方法为：a)采用上述高斯距离核，计算各组动作高斯密度特征相似度s(x，y)；b)针对大数量矩阵，令的相似度为0，构建稀疏相似矩阵；c)取为参考值，n为样本个数，根据样本，通过消息传递，自动确定聚类数，应用支持稀疏矩阵的AP聚类，得到k′个聚类中心动作。上述技术方案中，步骤七中行为特征单词表的构造方法为：...

【技术保护点】
基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于，包括下列步骤：步骤一，针对每帧图像的深度信息，采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标；步骤二，将所述人体3D关节坐标数据归一化；步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节；步骤四，分析每类行为，基于AP聚类算法，统计每一类行为中，关节空间运动行程突出的关节点，构建兴趣关节群；步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特征；步骤六，采用AP聚类算法，构建高斯距离核，将投影到人体动作空间的3D高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心；步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，并对每组动作进行数据清理准备；步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模型；步骤九，对新样本进行识别。

【技术特征摘要】
1.基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于，包括
下列步骤：
步骤一，针对每帧图像的深度信息，采用Shotton提出的基于随机决策森林
分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标；
步骤二，将所述人体3D关节坐标数据归一化；
步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节；
步骤四，分析每类行为，基于AP聚类算法，统计每一类行为中，关节空间
运动行程突出的关节点，构建兴趣关节群；
步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特
征；
步骤六，采用AP聚类算法，构建高斯距离核，将投影到人体动作空间的3D
高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心；
步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，
并对每组动作进行数据清理准备；
步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模
型；
步骤九，对新样本进行识别。
2.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方
法，其特征在于：所述步骤二中将所述人体3D关节坐标数据归一化包括骨架肢
体矢量尺寸归一、骨架参考零点归一和骨架方向归一；
其中所述骨架肢体矢量尺寸归一的步骤包括：
a)选择一个人体3D关节坐标为标准模型；
b)保持各样本肢体段矢量方向不变，将各矢量缩放至标准模型长度；
c)以臀部中心为参考点，构造关节树，根据缩放长度移动各关节，移动矢
量为：这里Δdfi是当前节点的第fi个祖先的移动矢量，n为当
前节点的祖先个数；
其中所述骨架参考零点归一的步骤包括：以臀部中心为新坐标参考空间零
点O′，移动骨架；
其中所述骨架方向归一的步骤包括：
a)选择原坐标系X轴，使其与左臀到右臀的矢量平行，以新坐标参考空
间零点O′为臀部中心构建直线垂直于新的地面参考平面，得到新坐标参考空间Z
轴；
b)旋转骨架，将骨架映射到新的坐标参考空间。
3.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方
法，其特征在于：所述步骤三通过筛选保留对人体行为识别贡献大的关节组，
保留的关节组包括12个关节：头、左/右手肘、左/右手腕、左/右膝盖、左/右
脚腕、左/右臀、臀部中心。
4.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方
法，其特征在于：所述步骤四通过AP算法构建兴趣关节群的步骤为：
a)计算相邻帧各个关节的运动距离，设在相邻帧(i帧，i+1帧)中某关节的
坐标分别为：(xik，yik，zik)，(xi+1，k，yi+1，k，zi+1，k)，则运动距离dik为：
dik2＝(xik-xi+1k)2+(yik-yi+1k)2+(zik-zi+1k)2b)累加所有运动距离得到一个关节的总行程Dk：
Dk=Σi=1n-1dik2]]>c)基于AP算法，指定聚类数，采用欧氏距离为相似度度量，根据上一步
计算所得运动距离将所有关节分为3类；
d)摒弃运动距离最短的关节，取运动距离较长的两类作为贡献度较高的关
节，构建该行为的兴趣关节群。
5.根据权利要求1所述的基于图像深度信息的3...

【专利技术属性】
技术研发人员：蒋敏，孔军，唐晓微，姜克，郑宪成，
申请(专利权)人：江南大学，
类型：发明
国别省市：