一种基于多层级特征的人体动作识别方法技术

本发明专利技术公开了一种基于多层级特征的人体动作识别方法，包括：提取原始视频中每一帧图像的时空兴趣点；按照人体骨架位置将得到的时空兴趣点进行归类，获取人体区域；根据得到的人体区域，建立多个层级；同时通过聚类算法对训练集中上述层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典；使用词袋模型分别提取训练集和测试集的每个人体区域的词袋特征；对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别。本方法能够更加有效地表征局部特征，并通过试验验证，本方法提升了动作识别的准确率。

【技术实现步骤摘要】
一种基于多层级特征的人体动作识别方法
本专利技术涉及计算机视觉、人体动作识别领域，尤其涉及一种基于多层级特征的人体动作识别方法。
技术介绍
人体动作识别是计算机视觉和机器学习领域中非常重要的一个研究课题，因为其在智能视频监控、人机交互等领域中有着广泛的应用。近年来，随着多视角摄像机以及深度摄像机的普及，利用多模态信息来进行人体动作识别已经越来越流行。然而，由于人体外形的多样性、光照变化、遮挡等因素的干扰，人体动作识别仍然是一项具有挑战性的工作。传统的动作识别方法使用整个人体的特征来获取全局信息，然而在一些情况下，多层级特征能够更加有效地表征局部特征。当人体受到遮挡时，基于整个人体特征的识别方法很容易产生误判，而基于多层级的特征则能够利用局部信息来进行动作识别，可以提升动作识别的准确率。
技术实现思路
本专利技术提供了一种基于多层级特征的人体动作识别方法，本专利技术能够显著的提高动作识别的准确率，详见下文描述：一种基于多层级特征的人体动作识别方法，所述方法包括以下步骤：提取原始视频中每一帧图像的时空兴趣点；按照人体骨架位置将得到的时空兴趣点进行归类，获取人体区域；根据得到的人体区域，建立多个层级；同时通过聚类算法对训练集中上述层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典；使用词袋模型分别提取训练集和测试集的每个人体区域的词袋特征；对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别。所述根据得到的人体区域，建立多个层级的步骤具体为：1)底层：包括头肩、胳膊、膝部以及脚部四个区域，每一个区域包括相应位置的所有特征点；2)中层：包含头肩和胳膊组成的上部区域，以及膝部和脚部组成的下部区域，每一个区域包括相应位置的特征点；3)高层：包含提取到的全部特征点。所述对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别的步骤具体为：1)将高层对应的人体区域训练集的特征序列及其真实的标号输入到分类器中进行学习，产生第一模型；将测试集的特征序列及其真实的标号输入到分类器中进行判断，输出测试所得的第一动作标号；通过对比第一动作标号和测试集词袋特征真实的标号来判定动作识别是否正确；2)将中层对应的两个人体区域中每个视频所对应的词袋特征进行前期融合；将训练集融合后的特征序列及其真实的标号输入到分类器中进行学习，产生第二模型；将测试集融合后的特征序列及其真实的标号输入到分类器中进行判断，输出测试所得的第二动作标号；通过对比第二动作标号和测试集词袋特征真实的标号来判定动作识别是否正确；3)将底层对应的四个人体区域中每个视频所对应的词袋特征进行前期融合；将训练集融合后的特征序列及其真实的标号输入到分类器中进行学习，产生第三模型；将测试集融合后的特征序列及其真实的标号输入到分类器中进行判断，输出测试所得的第三动作标号；通过对比第三动作标号和测试集词袋特征真实的标号来判定动作识别是否正确。本专利技术提供的技术方案的有益效果是：本方法通过提取原始视频中每一帧图像的时空兴趣点，按照人体骨架位置进行归类并建立多个层级。通过聚类算法对训练集的各层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典。使用词袋模型分别提取训练集和测试集的每个人体区域的词袋特征，并进行融合处理。使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别。本方法能够更加有效地表征局部特征，提升动作识别的准确率。附图说明图1为一种基于多层级特征的人体动作识别方法的流程图；图2为人体20个骨架点的示意图；图3为天津大学数据集动作图例。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。为了提高动作识别的准确率，本专利技术实施例提供了一种基于多层级特征的人体动作识别方法，参见图1，详见下文描述：101：提取原始视频中每一帧图像的时空兴趣点；对于给定的任意人体动作数据集，可以划分为训练集和测试集。不失一般性的，本专利技术实例使用Laptev[1]等人提出的时空兴趣点方法来提取特征。时空兴趣点是在沿着时间分布的图像序列中，对特定时间、特定地点发生的事件的响应。Laptev将二维局部兴趣点检测方法扩展至三维时空域，使用Harris3D检测子[2]从视频中检测出时空兴趣点，并在视频中每帧图像的每个时空兴趣点处提取HOG(梯度方向直方图)和HOF(光流方向直方图)特征，分别为72维和90维，将二者串联形成162维特征向量。具体实现时，本专利技术实施例对特征维数不做限制。同时，可以得到每个时空兴趣点的位置坐标(xj,yj)。102：按照人体骨架位置将步骤101中得到的时空兴趣点进行归类；获取原始视频中每一帧的人体20个骨架点所对应的位置坐标(xzi,yzi)，其中i＝1,2,…,20。本专利技术使用Kinect深度摄像机直接获取人体骨架点所对应的位置坐标。具体实现时，本专利技术实例对获取骨架点方式不做限制。如图2所示。根据不同的实验需要，可将人体划分为不同区域。不失一般性的，本专利技术实例分别将(xz3,yz3)、(xz10,yz10)、(xz6,yz6)、(xz18,yz18)、(xz14,yz14)、(xz19,yz19)、(xz15,yz15)作为人体头肩、左胳膊、右胳膊、左膝、右膝、左脚以及右脚等7个部分的参考中心点，分别记为(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)、(a5,b5)、(a6，b6)、(a7,b7)。计算步骤101中所得到的每个时空兴趣点(xj,yj)与上述7个部分的参考中心点之间的欧式距离Li，即1)上述欧式距离Li最小时所对应的人体区域即为该时空兴趣点所在的区域，即时空兴趣点的部位区域标号为n；arg表示参数，n即为能使目标函数Li取得最小值时的变量值。2)通过以上步骤，可以将步骤101中得到的所有时空兴趣点归类为头肩、左胳膊、右胳膊、左膝、右膝、左脚以及右脚等7个区域，分别标号为n＝1,2,3,4,5,6,7。103：根据步骤102得到的人体区域，建立多个层级；同时通过聚类算法对训练集中上述层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典；根据步骤102得到的人体7个部分，可以建立多个层级。不失一般性的，本专利技术实例分别建立以下3个层级。具体实现时，本专利技术实施例对层级划分方法及数目不做限制。1)底层(LowLevel,LL)：这一层精细表征了人体的各个部分，包括头肩、胳膊(左胳膊和右胳膊)、膝部(左膝和右膝)以及脚部(左脚和右脚)四个区域，每一个区域包括相应位置的所有特征点，分别命名为LL-AUS1，LL-AUS2，LL-AUS3，LL-AUS4。2)中层(MiddleLevel,ML)：这一层较为粗略的表征了人体的各个部分，包含上部(头肩+胳膊)和下部(膝部+脚部)两个区域，每一个区域包括相应位置的特征点，分别命名为ML-AUS1，ML-AUS2。3)高层(HighLevel,HL)：这一层关注人体的全局特征，包含提取到的全部特征点，命名为HL-AUS。本专利技术实施例使用训练集来构建词典。对训练集中上述3个层级中7个人体区域(LL-AUS1，LL-AUS2，LL-AUS3，LL-AUS4、ML-AUS1本文档来自技高网...

【技术保护点】
一种基于多层级特征的人体动作识别方法，其特征在于，所述方法包括以下步骤：提取原始视频中每一帧图像的时空兴趣点；按照人体骨架位置将得到的时空兴趣点进行归类，获取人体区域；根据得到的人体区域，建立多个层级；同时通过聚类算法对训练集中上述层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典；使用词袋模型分别提取训练集和测试集的每个人体区域的词袋特征；对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别。

【技术特征摘要】
1.一种基于多层级特征的人体动作识别方法，其特征在于，所述方法包括以下步骤：提取原始视频中每一帧图像的时空兴趣点；按照人体骨架位置将得到的时空兴趣点进行归类，获取人体区域；根据得到的人体区域，建立3个层级；同时通过聚类算法对训练集中上述层级中每个人体区域所包含的时空兴趣点进行聚类，获取相应词典；使用词袋模型分别提取训练集和测试集的每个人体区域的词袋特征；对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行学习和判断来进行动作识别；其中，所述根据得到的人体区域，建立3个层级的步骤具体为：1)底层：包括头肩、胳膊、膝部以及脚部四个区域，每一个区域包括相应位置的所有特征点；2)中层：包含头肩和胳膊组成的上部区域，以及膝部和脚部组成的下部区域，每一个区域包括相应位置的特征点；3)高层：包含提取到的全部特征点。2.根据权利要求1所述的一种基于多层级特征的人体动作识别方法，其特征在于，所述对得到的3个层级的词袋特征分别进行融合处理，使用隐条件随机场模型对人体动作进行...

【专利技术属性】
技术研发人员：苏育挺，刘安安，马莉，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12