基于深度相机和基本姿势的人体行为识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度相机和基本姿势的人体行为识别方法及装置，其中，方法包括：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的图像进行人体三维结构的重建；重建人体三维数据进行关键姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；将其与预先训练的特征描述集进行匹配，得到基本姿势的初始时间描述序列；去除初始时间描述序列的重复信息，得到最终时间描述序列；将最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。该方法可以减少识别目标动作快慢不同及动作不标准带来的干扰，能够保持识别视角不变，更加容易构建数据库，提高人体行为识别的鲁棒性和准确性。

Human behavior recognition method and device based on deep camera and basic posture

The invention discloses a method and device for human behavior recognition based on a depth camera and a basic posture, in which the method includes: detecting the image of human behavior through a depth camera and extracting the information of the key points; reconstructing the three-dimensional structure of the human body according to the input image; reconstructing the 3D data for the key posture of the human body. Recognition and corresponding feature extraction to obtain the time sequence of the feature description set of postures; match it with the pre trained feature description set to get the initial time description sequence of the basic posture; remove the initial time to describe the repeated information of the sequence and get the final time description sequence; input the final time description sequence. The pre trained long and short time memory network is used for human behavior recognition to get the recognition results. This method can reduce the difference between the fast and slow motion of the target and the interference caused by the non standard action. It can keep the recognition angle of view, build the database more easily, and improve the robustness and accuracy of human behavior recognition.

【技术实现步骤摘要】
基于深度相机和基本姿势的人体行为识别方法及装置
本专利技术涉及人机交互
，特别涉及一种基于深度相机和基本姿势的人体行为识别方法及装置。
技术介绍
随着计算机视觉技术的发展，以及卷积神经网络的出现，计算机对于多类物体静态识别的准确率和速度不断改善，计算机对于自然世界的有了一定的理解能力。同时对于序列任务，包括语音识别技术和语言翻译等一些具有明显时间尺度的识别问题，长短时记忆网络取得了良好的效果，原因就是它能够将历史的信息存入到细胞单元中，随着时间尺度的增长，该网络结构依然保存着相对完整的历史记忆，从而实现良好的识别效果。然而对于视频的人体行为识别还没有取得良好的效果，目前主要有两种的主流方法，一类是基于RGB图像的，除了利用图片二维信息，加上时间尺度，利用3D卷积神经网络的方法来识别物体，但是该类方法，具有训练速度慢，易受环境背景影响等缺点，效果不是很理想；另外一种方法，主要思想侧重于降维，采用的工具是深度相机，由于深度相机可以捕捉深度信息，可以更好的描述人体的空间运动信息，因为基于视频的人体行为识别，主要的动作部位还是人体，在该类别中，首先将人进行定位，再将人的关键点部分进行提取，人体的关节运动基本是由身体的关键点决定的，这样利用关键点随着时间序列运动的信息能够很理想的将人体的动作描述成序列信息。然而，对于视频中的人体行为理解仍然有很大的难点，其中之一就是视角可能会跟随拍摄位置活着人体相对于相机的角度发生变化，比如一种走路可能有不同的角度这些对于训练集是必要的，这会带来一个庞大数据库的问题，而且针对于每一个动作，不同的人体会对于完成的时间有着个体的差异。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度相机和基本姿势的人体行为识别方法，该方法可以减少识别目标动作快慢不同及动作不标准带来的干扰，能够保持识别视角不变，提高人体行为识别的鲁棒性。本专利技术的另一个目的在于提出一种基于深度相机和基本姿势的人体行为识别装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度相机和基本姿势的人体行为识别方法，包括：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；根据所述特征描述集的时间序列与预先训练的特征描述集进行匹配，以得到基本姿势的初始时间描述序列；去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。本专利技术实施例的基于深度相机和基本姿势的人体行为识别方法，在根据人体行为的图像提取得到关键点信息之后，可以进行人体三维结构的重建，从而保证视角不变性，有效减少数据库的构建，并且通过关键部位的姿势的识别和相应的特征提取得到姿势特征描述集的时间序列，以得到最终时间描述序列，进而输入到预先训练好的长短时记忆网络，得到识别结果，有效避免个体完成动作的快慢影响识别结果，提高识别的准确性和可靠性，以及有效去除噪音动作，大大提高了识别结果的鲁棒性。另外，根据本专利技术上述实施例的基于深度相机和基本姿势的人体行为识别方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在通过深度相机检测人体行为的图像之前，还包括：从数据库中采集训练集和测试集；将所述训练集的视频数据进行逐帧分解，并且每一帧对人体进行3D位置矫正，使得视角保持不变，获取一个满足预设条件的人体3D模型；对所述人体3D模型进行分割，以将人体的不同部位分割成多个部分，并进行基本姿势的聚类操作和相应的特征提取，并去除动作的冗余信息；通过长短时记忆网络结构对采集到的行为识别数据进行识别，以得到所述训练好的长短时记忆网络。进一步地，在本专利技术的一个实施例中，所述每一帧对人体进行3D位置矫正，进一步包括：以髋关节的三个点形成的平面为中心进行计算，根据身体其他的关节点相对于所述髋关节的距离和角度重新校正为躯体正对所述深度相机的摄像头的角度。可选地，在本专利技术的一个实施例中，所述多个部分包括头部、双臂、双腿、上半身与下半身所呈的角度以及重心。进一步地，在本专利技术的一个实施例中，所述将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，进一步包括：通过所述长短时记忆网络运用不同帧之间的相关顺序信息区分同一种基本姿势在不同动作。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度相机和基本姿势的人体行为识别装置，包括：检测模块，用于通过深度相机检测人体行为的图像，并提取关键点信息；重建模块，用于根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；提取模块，用于将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；匹配模块，用于根据所述特征描述集的时间序列与预先训练的特征描述集进行匹配，以得到基本姿势的初始时间描述序列；去除模块，用于去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；识别模块，用于将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。本专利技术实施例的基于深度相机和基本姿势的人体行为识别装置，在根据人体行为的图像提取得到关键点信息之后，可以进行人体三维结构的重建，从而保证视角不变性，有效减少数据库的构建，并且通过关键部位的姿势的识别和相应的特征提取得到姿势特征描述集的时间序列，以得到最终时间描述序列，进而输入到预先训练好的长短时记忆网络，得到识别结果，有效避免个体完成动作的快慢影响识别结果，提高识别的准确性和可靠性，以及有效去除噪音动作，大大提高了识别结果的鲁棒性。另外，根据本专利技术上述实施例的基于深度相机和基本姿势的人体行为识别装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在通过深度相机检测人体行为的图像之前，还包括：从数据库中采集训练集和测试集；将所述训练集的视频数据进行逐帧分解，并且每一帧对人体进行3D位置矫正，使得视角保持不变，获取一个满足预设条件的人体3D模型；对所述人体3D模型进行分割，以将人体的不同部位分割成多个部分，并进行基本姿势的聚类操作和相应的特征提取，并去除动作的冗余信息；通过长短时记忆网络结构对采集到的行为识别数据进行识别，以得到所述训练好的长短时记忆网络。进一步地，在本专利技术的一个实施例中，所述每一帧对人体进行3D位置矫正，进一步包括：以髋关节的三个点形成的平面为中心进行计算，根据身体其他的关节点相对于所述髋关节的距离和角度重新校正为躯体正对所述深度相机的摄像头的角度。可选地，在本专利技术的一个实施例中，所述多个部分包括头部、头部、双臂、双腿、上半身与下半身所呈的角度以及重心。进一步地，在本专利技术的一个实施例中，所述将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，进一步包括：通过所述长短时记忆网络运用不同帧之间的相关顺序信息区分同一种基本姿势在不同动作。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图本文档来自技高网...

【技术保护点】
1.一种基于深度相机和基本姿势的人体行为识别方法，其特征在于，包括以下步骤：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；根据所述特征描述集的时间序列与预先训练的特征描述集进行匹配，以得到基本姿势的初始时间描述序列；去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。

【技术特征摘要】
1.一种基于深度相机和基本姿势的人体行为识别方法，其特征在于，包括以下步骤：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；根据所述特征描述集的时间序列与预先训练的特征描述集进行匹配，以得到基本姿势的初始时间描述序列；去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。2.根据权利要求1所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，在通过深度相机检测人体行为的图像之前，还包括：从数据库中采集训练集和测试集；将所述训练集的视频数据进行逐帧分解，并且每一帧对人体进行3D位置矫正，使得视角保持不变，获取一个满足预设条件的人体3D模型；对所述人体3D模型进行分割，以将人体的不同部位分割成多个部分，并进行基本姿势的聚类操作和相应的特征提取，并去除动作的冗余信息；通过长短时记忆网络结构对采集到的行为识别数据进行识别，以得到所述训练好的长短时记忆网络。3.根据权利要求1或2所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述每一帧对人体进行3D位置矫正，进一步包括：以髋关节三个点形成的平面为中心进行计算，根据身体其他的关节点相对于所述髋关节的距离和角度重新校正为躯体正对所述深度相机的摄像头的角度。4.根据权利要求2所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述多个部分包括头部、双臂、双腿、上半身与下半身所呈的角度以及重心。5.根据权利要求1-4任一项所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，进一步包括：通过所述长短时记忆网络运用不同帧之间的相关顺序信息区分同一种基本姿势在不同动作。6....

【专利技术属性】
技术研发人员：陈峰，孙鹏飞，王贵锦，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11