一种基于深度运动轨迹的人体动作识别方法技术

本发明专利技术公开了一种基于深度运动轨迹的人体动作识别方法，实现对基于深度信息的人体动作鲁棒描述和识别。具体包含以下步骤：（1）视频预处理，（2）多尺度空间构建，（3）各尺度空间的空间网格化及特征点选取，（4）特征点跟踪，（5）基于深度运动轨迹的描述（6）基于“词袋”方法的特征归一化，（7）基于SVM的动作识别。本发明专利技术的优点是通过深度运动轨迹对人体运动进行描述，具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，实现对基于深度信息的人体动作鲁棒描述和识别。具体包含以下步骤：（1）视频预处理，（2）多尺度空间构建，（3）各尺度空间的空间网格化及特征点选取，（4）特征点跟踪，（5）基于深度运动轨迹的描述（6）基于“词袋”方法的特征归一化，（7）基于SVM的动作识别。本专利技术的优点是通过深度运动轨迹对人体运动进行描述，具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。【专利说明】
本专利技术属于计算机视觉和模式识别
，涉及一种基于深度运动轨迹的人体 动作识别方法，用于对深度人体动作进行鲁棒和高效的描述，从而进行高效的人体动作识 别。
技术介绍
人体动作识别在计算机视觉领域是一个非常活跃的研究课题，并且随着计算机的 发展，已经在许多领域得到了广泛的应用，例如：视频监控、人机交互和视频分析等。随着微 软发布了 Kinect，越来越多的研究者开始关注Kinect中的深度数据。相对于RGB数据，深 度数据有以下几个优势：首先，深度数据能提供纯粹的几何形状和清晰的边缘，因此在图像 分割、目标识别以及动作识别中比RGB数据中的颜色和纹理有更好的区分性；其次，深度图 像对光照的变化是不敏感的，因此可以使用深度图像解决视觉上的许多问题。 正是由于深度数据具有RGB数据所不能比拟的优点，因此，更多研究者们开始关 注基于深度数据的动作识别算法。虽然目前已经提出了一些基于深度数据的动作识别算 法，但是由于深度传感器的限制，获取的深度数据有以下几个特征：1)像素值跳变比较大， 尤其在边缘区域；2)在相同位置处，深度值都相同，区分性小。正是由于以上原因，造成对 深度动作数据的描述困难，导致现有的基于深度数据的动作识别算法性能有待提高。
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提供了一种基于深度运动轨迹的人体 动作识别方法，用于对深度人体动作进行鲁棒和高效地描述，提高动作识别的性能。 本专利技术提供的基于深度运动轨迹的人体动作识别方法，针对深度数据的特点，通 过对时空兴趣点的运动轨迹进行描述，从而克服深度数据的不足，实现更为鲁棒的深度人 体动作的描述，从而进行高效的人体动作识别。该方法具体包含以下步骤： 第1、视频预处理 由于从设备中采集的深度数据包括许多噪声、空洞，所以需要使用平滑和修补算法过 滤噪声和修补空洞；对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续的 处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体； 第2、多尺度空间图像构建 在对深度图像序列预处理后，为了能够获得更为鲁棒的点，对每幅图像进行尺度构建， 从而获得多尺度空间图像； 第3、各尺度空间图像的网格化及兴趣点的提取 在多尺度图像的基础上，对多尺度图像分别进行网格化，使得每个网络中尽量包含相 同数目的像素，然后，在每个网格内，选取一个兴趣点作为待跟踪特征点，并保存对应点的 位置信息； 第4、特征点跟踪 针对已经选择的待跟踪特征点，使用光流法进行跟踪，并保留每一步的跟踪结果和对 应的位置信息； 第5、基于深度运动轨迹的描述 在特征点跟踪的基础上，针对跟踪前后的特征点，相邻位置做差，将这些差值串联起 来，构成了运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个 点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述；具体步骤包括： 第5. 1在预处理后的深度图像上，采用下采样的方法构建多尺度图像空间； 第5. 2针对多尺度图像空间，对各层图像分别进行网络化，并使得每个网格具有相同 的像素数，同时，选取每个网格的中心作为待跟踪的特征点； 第5. 3针对每个待跟踪的特征点，采用光流法对其进行跟踪，并保留对应的跟踪结 果； 第5. 4在特征点跟踪的基础上，根据跟踪结果，计算相邻位置差，并将这些差值串联 起来，构成其运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个 点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述； 第6、码书构建和基于"词袋"的特征归一化 在这些提取时空兴趣点的基础上，采用K-means方法，针对第4步提取的时空兴趣点和 第5步中对兴趣点的描述，采用"词袋"方法对这些兴趣点进行归一化，并保存对应的结果； 第7、基于SVM的动作识别 根据第6步所获得的特征，根据训练集样本，采用交叉认证方法训练一个多类支持向 量机分类器，其中支持向量机的核函数为径向基核函数；这样，通过训练，可以获得对应模 型的参数，构建了 SVM分类器模型，完成动作识别。 本专利技术提供的基于深度运动轨迹的人体动作识别方法，对基于深度信息的人体动作进 行描述，通过深度运动轨迹解决基于深度人体动作识别方法由于深度图像中像素值跳变比 较大，尤其在边缘区域，以及在相同位置处，深度值都相同，区分性小等难题，对深度人体动 作具有非常好的鲁棒性和有效性，实现了高效的人体动作识别。 本专利技术的优点和有益效果； 1) 通过深度图像序列实现对目标进行监控，解决了由于光照变化等因素带来的影响； 2) 充分分析深度图像序列特点，实现了基于深度运动轨迹的人体动作描述，具有非常 好的鲁棒性和有效性，实现了高效的人体动作识别。 【专利附图】【附图说明】 图1为本专利技术的流程图。 图2为基于深度运动轨迹的人体动作描述流程图；其中，（a)为在深度图像序列上 的不同尺度空间图像的构建以及网格化后兴趣点的选取，（b)为针对不同尺度空间图像上 待跟踪的兴趣点进行跟踪，（c)为根据跟踪结果，形成跟踪轨迹，并采用H0G和H0F对其进 行描述； 图3为RGB和深度图像的对比，其中（a)表示RGB图像，（b)为人体标定区域，（c)为深 度图像； 图4为不同动作下提取的深度时空兴趣点示意图； 图5为基于"词袋"方法对时空兴趣点的投影和归一化流程； 图6为基于深度运动轨迹的人体动作识别示意图； 图7为本专利技术在DHA深度数据集上的性能评估以及与其它算法的性能比较； 图8为本专利技术在MSRAction3D深度数据集上的性能评估，其中AS1，AS2和AS3分别 表示MSRAction3D数据集上三个不同的动作分组，且每一个分组分别使用三种方法测试三 次，分别为 Test One，Test Two，Cross Subject Test。在 Test One 中，随机选取 3/1 的样 本作为训练样本，2/3的样本作为测试样本，在Test Two中，随机选取2/3样本作为训练样 本，1/3样本作为测试样本，而在Cross Subject Test中，随机选取1/2人的样本作为训练 样本，剩下的作为测试样本。具体分组和测试方法可以参见：http://research, microsoft. com/en-us/um/people/zliu/ActionRecoRsrc/default, htm 【具体实施方式】 下面结合附图对本专利技术作进一步的描述。 实施例1 如图1所示，为本专利技术的基于深度运动轨迹的人体动作识别方法的操作流程图，该方 法的操作步骤包括： 步骤10视频预处理 由于从设备中采集的深度数据包括许多噪声、空洞，所以使用中值滤波对其进行平滑 和去噪，同时，当本文档来自技高网...

【技术保护点】
一种基于深度运动轨迹的人体动作识别方法，实现对基于深度信息的人体动作的鲁棒描述，具有非常好的鲁棒性和有效性，其特征在于该方法具体包含以下步骤：第1、视频预处理由于从设备中采集的深度数据包括许多噪声、空洞，所以需要使用平滑和修补算法过滤噪声和修补空洞；对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体；第2、多尺度空间图像构建在对深度图像序列预处理后，为了能够获得更为鲁棒的点，对每幅图像进行尺度构建，从而获得多尺度空间图像；第3、各尺度空间图像的网格化及兴趣点的提取在多尺度图像的基础上，对多尺度图像分别进行网格化，使得每个网络中尽量包含相同数目的像素，然后，在每个网格内，选取一个兴趣点作为待跟踪特征点，并保存对应点的位置信息；第4、特征点跟踪针对已经选择的待跟踪特征点，使用光流法进行跟踪，并保留每一步的跟踪结果和对应的位置信息；第5、基于深度运动轨迹的描述在特征点跟踪的基础上，针对跟踪前后的特征点，相邻位置做差，将这些差值串联起来，构成了运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个点，以HOG‑HOF描述子对兴趣点的轨迹信息进行描述；第6、码书构建和基于“词袋”的特征归一化在这些提取时空兴趣点的基础上，采用K‑means方法，针对第4步提取的时空兴趣点和第5步中对兴趣点的描述，采用“词袋”方法对这些兴趣点进行归一化，并保存对应的结果；第7、基于SVM的动作识别根据第6步所获得的特征，根据训练集样本，采用交叉认证方法训练一个多类支持向量机分类器，其中支持向量机的核函数为径向基核函数；这样，通过训练，可以获得对应模型的参数，构建了SVM分类器模型，完成动作识别。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张桦，高赞，宋健明，薛彦兵，徐光平，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：天津;12