一种基于人体关键点的姿态识别方法、系统及存储器技术方案

本发明专利技术涉及一种基于人体关键点的姿态识别方法、系统及存储器，该方法包括：首先通过移动侦测来判断视频画面中移动的区域，再在这些有效区域中做目标检测。再通过姿势识别获取身体和脸的关键点，将关键点进行机器学习，然后识别人的姿态，例如站着，坐着，转身，嬉笑等。这样将人体和面部的关键点进行训练，再对目标进行姿态识别，可以大大提升姿态识别的准确性，提高姿态识别在实际应用场景的可行性。

【技术实现步骤摘要】
一种基于人体关键点的姿态识别方法、系统及存储器
本专利技术涉及姿态识别
，具体涉及一种基于人体关键点的姿态识别方法、系统及存储器。
技术介绍
人体姿态识别和深度学习是智能视频分析领域的研究热点,近年来得到了学术界及工程界的广泛重视,是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础。近年来，被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域。深度学习理论在静态图像特征提取上取得了卓著成就,并逐步推广至具有时间序列的视频行为识别研究中。在教育领域中，通过深度学习的方法分析教学现场所拍摄的视频流，识别和记录学生的行为，用以评估教学质量，学生的课堂表现，为后续的教学优化提供直接的指导。为了分析课堂教学出现的行为，需要通过人脸识别出是哪个学生，还需要跟踪和分析学生的行为，比如在课堂上举手发言，起立回答问题，坐下等动作。目前，比较流行的做法，通过识别并标记身体特点的部位，以了解在不同角度下的姿势表现，再判断可能出现的行为。但是在教学场景下，通常会有几十个学生同时出现画面中，学生的下半身通常被课桌挡住的；而且前后也会出现遮挡的情况。面对教师复杂多变的环境下使用以上提到的姿势检测来分析学生的姿态，很容易导致无法正确识别学的具体行为，会经常导致误判的情况出现。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种基于人体关键点的姿态识别方法、系统及存储器，通过移动侦测，抓取有效的区域，人体检测，最后进行行为分析以及记录，达到了可以准确实时分析教学场景下的行为分析。本专利技术解决上述技术问题的技术方案如下：一方面，本专利技术提供一种基于人体关键点的姿态识别方法，包括以下步骤：获取RTSP视频流；对视频流中图像进行移动目标检测，获取移动目标所在区域；对区域内图像进行人脸和身体关键点检测及信息提取；将提取的人脸和身体关键点信息输入预先训练的SVM分类器中进行分类识别以及姿态预测。进一步，所述的对视频流中图像进行移动目标检测，获取移动目标所在区域，包括：对比前后视频帧，进行移动目标跟踪及目标检测，获取移动目标所在窗口；设置过滤阈值，过滤检测到的尺寸小于过滤阈值的移动目标所在窗口；将剩余的移动目标所在窗口进行拼接，得到移动目标所在区域。进一步，所述的将剩余的移动目标所在窗口进行拼接，得到移动目标区域，包括：根据所述剩余的移动目标所在窗口位置，生成一矩形框，即为移动目标区域，所述矩形框为可框选视频帧中所有剩余的移动目标所在窗口的最小矩形框。进一步，所述的对窗口内图像进行人脸和身体关键点检测及信息提取之后，还包括：对提取的人脸和身体关键点信息进行归一化处理。进一步，所述SVM分类器的训练过程包括：获取RTSP视频流；对视频流中图像进行移动目标跟踪及目标检测，获取移动目标所在区域；对区域内图像进行人脸和身体关键点检测及信息提取；对提取的人脸和身体关键点信息进行归一化处理；对归一化处理后的数据进行打标分类处理，并通过SVM进行训练，获取SVM分类器；其中，所述SVM的模型类型选择C_SVC，所述SVM的核函数选择LINEAR，训练样本不小于10000。另一方面，本专利技术还提供一种基于人体关键点的姿态识别系统，该系统包括：视频流获取模块，用于获取RTSP视频流；移动目标检测模块，用于对视频流中图像进行移动目标跟踪及目标检测，获取移动目标所在区域；关键点信息提取模块，用于对区域内图像进行人脸和身体关键点检测及信息提取；识别模块，用于将提取的人脸和身体关键点信息输入预先训练的SVM分类器中进行分类识别以及姿态预测。进一步，所述移动目标检测模块，包括：窗口获取模块，用于对比前后视频帧，进行移动目标跟踪及目标检测，获取移动目标所在窗口；阈值设置及过滤模块，用于设置过滤阈值，过滤检测到的尺寸小于过滤阈值的移动目标所在窗口；窗口拼接模块，用于将剩余的移动目标所在窗口进行拼接，得到移动目标所在区域。进一步，所述窗口拼接模块，具体用于：根据所述剩余的移动目标所在窗口位置，生成一矩形框，即为移动目标区域，所述矩形框为可框选视频帧中所有剩余的移动目标所在窗口的最小矩形框。进一步，该系统还包括归一化处理模块，用于在所述关键点信息提取模块提取到人脸以及身体关键点信息后，对关键点信息进行归一化处理。进一步，本专利技术还提供一种存储器，该存储器中存储有用于实现上述的一种基于人体关键点的姿态识别方法的计算机软件程序。本专利技术的有益效果是：1.本专利技术提出基于移动侦测的结果去进行人体和人脸的关键点提取，大大提高了特征提取的速度。2.提出基于人体特征和面部特征进行混合后进行数据打标，使数据的可操作性大大提高。3.提出使用人体特征和面部特征进混合进行姿态识别，大大提高了姿态识别的准确性。附图说明图1为本专利技术方法流程图；图2为本专利技术系统结构图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。姿态识别技术在智能监控、人机交互、视频序列理解、医疗健康等众多领域扮演着越来越重要的角色，而视频姿态识别技术在可视角度，场景复杂，人数过多等因素下获得较高的准确率具有很大的挑战性。在教育领域中，为了分析学生和老师的教学行为，获得教学质量的反馈和指导，这可以通过基于深度学习网络实时分析摄像头的视频流来实现。为了实现在教学场景下的学生姿态分析，本专利提出了这样的解决方案：首先通过移动侦测来判断视频画面中移动的区域，再在这些有效区域中做目标检测。再通过姿势识别获取身体和脸的关键点，将关键点进行机器学习，然后识别人的姿态，例如站着，坐着，转身，嬉笑等。这样将人体和面部的关键点进行训练，再对目标进行姿态识别，可以大大提升姿态识别的准确性，提高姿态识别在实际应用场景的可行性。一方面，本专利技术提供一种基于人体关键点的姿态识别方法，如图1所示，包括以下步骤：S100，获取RTSP视频流；S200，对视频流中图像进行移动目标检测，获取移动目标所在区域；无论是目标检测还是姿态分析都比较耗费软硬件资源。为了提高效率，在做目标检测之前，首先做移动检测，找到移动目标所在的窗口。这个窗口通常较大，但仍然比整幅图像小很多。较小的窗口多是误报，可以根据阈值过滤。具体的，首先对比前后视频帧，进行移动目标跟踪及目标检测，获取移动目标所在窗口；设置过滤阈值，过滤检测到的尺寸小于过滤阈值的移动目标所在窗口；根据所述剩余的移动目标所在窗口位置，生成一矩形框，即为移动目标区域，所述矩形框为可框选视频帧中所有剩余的移动目标所在窗口的最小矩形框。多个检测到的移动窗口拼接到一起，使得目标识别只用在有移动目标的部分区域内做目标检测，这样可以大大提高目标检测的速度。S300，对区域内图像进行人脸和身体关键点检测及信息提取；身体关键点检测，目前有很多方案，比较火的有比如OpenPose以及最近开源的AlphaPose等，使用这些进行关键点的提取。人脸关键点提取现在也有很多方案，比较出名的是dliblandmark,以及基于深度学习的deeplandmark等。S400，为了提高数据训练的有效性和结果的准确率，对提取的人脸和身体关键点信息进行归一化处理；归一化公式为：其中，xi表示提取的第i个人脸或身体关键点信息，i取值为整数。对归一化后的人脸和身体关键点信息进本文档来自技高网...

【技术保护点】
1.一种基于人体关键点的姿态识别方法，其特征在于，包括以下步骤：获取RTSP视频流；对视频流中图像进行移动目标检测，获取移动目标所在区域；对区域内图像进行人脸和身体关键点检测及信息提取；将提取的人脸和身体关键点信息输入预先训练的SVM分类器中进行分类识别以及姿态预测。

【技术特征摘要】
1.一种基于人体关键点的姿态识别方法，其特征在于，包括以下步骤：获取RTSP视频流；对视频流中图像进行移动目标检测，获取移动目标所在区域；对区域内图像进行人脸和身体关键点检测及信息提取；将提取的人脸和身体关键点信息输入预先训练的SVM分类器中进行分类识别以及姿态预测。2.根据权利要求1所述一种基于人体关键点的姿态识别方法，其特征在于，所述的对视频流中图像进行移动目标检测，获取移动目标所在区域，包括：对比前后视频帧，进行移动目标跟踪及目标检测，获取移动目标所在窗口；设置过滤阈值，过滤检测到的尺寸小于过滤阈值的移动目标所在窗口；将剩余的移动目标所在窗口进行拼接，得到移动目标所在区域。3.根据权利要求2所述一种基于人体关键点的姿态识别方法，其特征在于，所述的将剩余的移动目标所在窗口进行拼接，得到移动目标区域，包括：根据所述剩余的移动目标所在窗口位置，生成一矩形框，即为移动目标区域，所述矩形框为可框选视频帧中所有剩余的移动目标所在窗口的最小矩形框。4.根据权利要求1所述一种基于人体关键点的姿态识别方法，其特征在于，所述的对窗口内图像进行人脸和身体关键点检测及信息提取之后，还包括：对提取的人脸和身体关键点信息进行归一化处理。5.根据权利要求4所述一种基于人体关键点的姿态识别方法，其特征在于，所述SVM分类器的训练过程包括：获取RTSP视频流；对视频流中图像进行移动目标跟踪及目标检测，获取移动目标所在区域；对区域内图像进行人脸和身体关键点检测及信息提取；对提取的人脸和身体关键点信息进行归一化处理；对归一化处理后的数据进行打标分类处理，并通过SVM进行...

【专利技术属性】
技术研发人员：齐德龙，刘汝帅，汪磊，
申请(专利权)人：深圳神目信息技术有限公司，
类型：发明
国别省市：广东,44