分析学生课堂表现的方法、装置、电子设备、及存储介质制造方法及图纸

本公开实施例公开了一种分析学生课堂表现的方法、装置、电子设备、及存储介质，方法包括：通过将目标课堂图像传送给预先训练的人体检测模型，获取人体检测模型的输出的各学生的人体位置信息；根据学生集合中任一学生的人体位置信息和目标课堂图像获取该学生对应的人体动作识别图像，对获取的各人体动作识别图像进行预处理，缩放为预定尺寸；将学生集合中任一学生对应的人体动作识别图像传送给预先训练的人体关键点检测模型，获取人体关键点检测模型输出该学生的多个预定关键点的位置信息；根据学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为。能够基于人体检测和关键点检测确定学生的课堂行为，能够提高检测效率。

Methods, devices, electronic equipment and storage media for analyzing students' classroom performance

【技术实现步骤摘要】
分析学生课堂表现的方法、装置、电子设备、及存储介质
本公开实施例涉及计算机视觉
，具体涉及一种分析学生课堂表现的方法、装置、电子设备、及存储介质。
技术介绍
随着计算机视觉的发展，基于计算机视觉的应用层出不穷，诸如人脸识别、行人再识别、人体姿态估计等。随着大部分计算机视觉应用的落地，极大地促进了社会经济的发展。目前，学校或培训机构对学生进行管理时，需要了解学生的课堂表现，以对学生的学习过程进行考核和监督，以及对教师的授课效果进行量化评价，因此，需要一种新的技术方案给予解决。
技术实现思路
有鉴于此，本公开实施例提供一种分析学生课堂表现的方法、装置、电子设备、及存储介质，以提升人体检测的准确性。本公开实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开实施例的实践而习得。第一方面，本公开实施例提供了一种分析学生课堂表现的方法，包括：获取目标课堂图像；将所述目标课堂图像传送给预先训练的人体检测模型，获取所述人体检测模型的第一输出结果信息，其中所述第一输出结果信息包括从所述目标课堂图像中识别到的学生集合中各学生的人体位置信息；根据所述学生集合中任一学生的人体位置信息和所述目标课堂图像获取该学生对应的人体动作识别图像，对获取的各人体动作识别图像进行预处理，缩放为预定尺寸；将所述学生集合中任一学生对应的人体动作识别图像传送给预先训练的人体关键点检测模型，获取所述人体关键点检测模型输出的第二输出结果信息，其中所述第二输出结果信息包括该学生的多个预定关键点的位置信息；根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为。于一实施例中，所述获取目标课堂图像包括：面向学生采集课堂内的视频流，对所述视频流进行解码处理得到多帧课堂图像，从所述多帧课堂图像中抽取图像作为所述目标课堂图像。于一实施例中，从所述多帧课堂图像中抽取图像作为所述目标课堂图像包括：周期性地从所述多帧课堂图像中抽取图像作为所述目标课堂图像。于一实施例中，所述第一输出结果信息还包括从所述目标课堂图像中识别到的学生集合中各学生的人体识别置信度；所述方法还包括，在获取所述人体检测模型的第一输出结果信息之后还包括：将人体识别置信度小于预定人体识别置信度阈值的学生从所述学生集合中剔除。于一实施例中，所述第二输出结果信息还包括各预定关键点的关键点识别置信度；在获取所述人体关键点检测模型输出的第二输出结果信息之后还包括：将关键点识别置信度小于预定关键点识别置信度阈值的预定关键点删除。于一实施例中，所述多个预定关键点包括：左耳、右耳、左眼、右眼、鼻子、脖子、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左胯骨、右胯骨、左膝盖、右膝盖、左脚踝、和/或右脚踝；根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为包括：根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的人脸姿态、坐姿、和/或手部姿态；根据该学生的人脸姿态、坐姿、和/或手部姿态确定该学生的课堂行为；其中所述人脸姿态包括正脸、人脸向左侧旋转、人脸向右侧旋转、仰脸，所述坐姿包括正坐姿态和弯腰姿态，所述手部姿态包括举手姿态和书写姿态。于一实施例中，：所述多个预定关键点至少包括左眼、右眼和鼻子，根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的人脸姿态包括：根据所述右眼和鼻子的位置信息计算右眼与鼻子连线的垂直夹角作为第一夹角；根据所述左眼和鼻子的位置信息计算左眼与鼻子连线的垂直夹角作为第二夹角；根据所述第一夹角的正切值、以及所述第二夹角的正切值确定该学生的人脸姿态；和/或所述多个预定关键点至少包括左肩膀和右肩膀，据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的坐姿包括：根据左肩膀和右肩膀的位置信息计算左肩膀和右肩膀的连线与水平线之间的夹角，根据所述夹角的正切值确定该学生的坐姿。于一实施例中，所述方法还包括，在根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为之后：将所述学生集合中任一学生对应的人体动作识别图像传送给预先训练的人脸识别模型，获取所述人脸识别模型输出的第三输出结果信息，其中所述第三输出结果信息包括该学生的身份信息；将该学生的课堂行为记录到该学生的身份信息对应的课堂行为分析结果中。于一实施例中，所述方法还包括，在将该学生的课堂行为记录到该学生的身份信息对应的课堂行为分析结果中之后，对所述学生集合中各学生的课堂行为分析结果进行汇总分析，根据汇总分析结果评测课堂效率。于一实施例中，所述人体检测模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括面向学生采集的课堂图像，以及用于表示所述课堂图像中各学生的人体位置信息的多个矩形框坐标组成的标注信息；确定初始化的人体检测模型，其中所述人体检测模型包括用于输出课堂图像显示的内容中包含的各学生的人体位置信息的目标层；利用深度学习的方法，将所述训练集合中的训练样本中的课堂图像作为初始化的人体检测模型的输入，将与输入的课堂图像对应的标注信息作为初始化的人体检测模型的期望输出，训练得到所述人体检测模型。于一实施例中，所述确定初始化的人体检测模型包括：确定初始化的人体检测模型为特征金字塔结构的深度卷积神经网络。于一实施例中，所述确定初始化的人体检测模型包括：建立至少包括稠密网络、第一卷积层、第二卷积层、第三卷积层、第一反卷积层、第二反卷积层、第一融合层、第二融合层、第一损失层、第二损失层和第三损失层的特征金字塔结构的深度卷积神经网络作为初始化的人体检测模型；利用深度学习的方法，将所述训练集合中的训练样本中的课堂图像作为初始化的人体检测模型的输入，将与输入的课堂图像对应的标注信息作为初始化的人体检测模型的期望输出，训练得到所述人体检测模型包括：将所述训练集合中的训练样本中的课堂图像输入给所述稠密网络进行特征信息提取，将提取的特征信息输入所述第一卷积层进行卷积运算得到第一卷积结果，将所述第一卷积结果分别输入所述第二卷积层和所述第一融合层；所述第二卷积层对所述第一卷积结果进行卷积运算得到第二卷积结果，将所述第二卷积结果分别输入所述第三卷积层和所述第二融合层；所述第三卷积层对所述第二卷积结果进行卷积运算得到第三卷积结果，将所述第三卷积结果分别输入所述第一损失层和所述第一反卷积层；所述第一反卷积层对所述第三卷积结果进行反卷积运算得到第一反卷积结果，将所述第一反卷积结果输入所述第二融合层；所述第二融合层根据所述第一反卷积结果和所述第二卷积结果进行融合运算得到第二融合结果，将所述第二融合结果分别输入所述第二损失层和所述第二反卷积层；所述第二反卷积层根据所述第二融合结果进行反卷积运算得到第二反卷积本文档来自技高网...

【技术保护点】
1.一种分析学生课堂表现的方法，其特征在于，包括：/n获取目标课堂图像；/n将所述目标课堂图像传送给预先训练的人体检测模型，获取所述人体检测模型的第一输出结果信息，其中所述第一输出结果信息包括从所述目标课堂图像中识别到的学生集合中各学生的人体位置信息；/n根据所述学生集合中任一学生的人体位置信息和所述目标课堂图像获取该学生对应的人体动作识别图像，对获取的各人体动作识别图像进行预处理，缩放为预定尺寸；/n将所述学生集合中任一学生对应的人体动作识别图像传送给预先训练的人体关键点检测模型，获取所述人体关键点检测模型输出的第二输出结果信息，其中所述第二输出结果信息包括该学生的多个预定关键点的位置信息；/n根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为。/n

【技术特征摘要】
1.一种分析学生课堂表现的方法，其特征在于，包括：
获取目标课堂图像；
将所述目标课堂图像传送给预先训练的人体检测模型，获取所述人体检测模型的第一输出结果信息，其中所述第一输出结果信息包括从所述目标课堂图像中识别到的学生集合中各学生的人体位置信息；
根据所述学生集合中任一学生的人体位置信息和所述目标课堂图像获取该学生对应的人体动作识别图像，对获取的各人体动作识别图像进行预处理，缩放为预定尺寸；
将所述学生集合中任一学生对应的人体动作识别图像传送给预先训练的人体关键点检测模型，获取所述人体关键点检测模型输出的第二输出结果信息，其中所述第二输出结果信息包括该学生的多个预定关键点的位置信息；
根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为。


2.根据权利要求1所述的方法，其特征在于，所述获取目标课堂图像包括：
面向学生采集课堂内的视频流，对所述视频流进行解码处理得到多帧课堂图像，从所述多帧课堂图像中抽取图像作为所述目标课堂图像。


3.根据权利要求1所述的方法，其特征在于，从所述多帧课堂图像中抽取图像作为所述目标课堂图像包括：
周期性地从所述多帧课堂图像中抽取图像作为所述目标课堂图像。


4.根据权利要求1所述的方法，其特征在于，所述第一输出结果信息还包括从所述目标课堂图像中识别到的学生集合中各学生的人体识别置信度；
所述方法还包括，在获取所述人体检测模型的第一输出结果信息之后还包括：
将人体识别置信度小于预定人体识别置信度阈值的学生从所述学生集合中剔除。


5.根据权利要求1所述的方法，其特征在于，所述第二输出结果信息还包括各预定关键点的关键点识别置信度；
在获取所述人体关键点检测模型输出的第二输出结果信息之后还包括：
将关键点识别置信度小于预定关键点识别置信度阈值的预定关键点删除。


6.根据权利要求1所述的方法，其特征在于，所述多个预定关键点包括：
左耳、右耳、左眼、右眼、鼻子、脖子、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左胯骨、右胯骨、左膝盖、右膝盖、左脚踝、和/或右脚踝；
根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为包括：
根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的人脸姿态、坐姿、和/或手部姿态；
根据该学生的人脸姿态、坐姿、和/或手部姿态确定该学生的课堂行为；
其中所述人脸姿态包括正脸、人脸向左侧旋转、人脸向右侧旋转、仰脸，所述坐姿包括正坐姿态和弯腰姿态，所述手部姿态包括举手姿态和书写姿态。


7.根据权利要求6所述的方法，其特征在于：
所述多个预定关键点至少包括左眼、右眼和鼻子，根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的人脸姿态包括：
根据所述右眼和鼻子的位置信息计算右眼与鼻子连线的垂直夹角作为第一夹角；
根据所述左眼和鼻子的位置信息计算左眼与鼻子连线的垂直夹角作为第二夹角；
根据所述第一夹角的正切值、以及所述第二夹角的正切值确定该学生的人脸姿态；
和/或所述多个预定关键点至少包括左肩膀和右肩膀，据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的坐姿包括：
根据左肩膀和右肩膀的位置信息计算左肩膀和右肩膀的连线与水平线之间的夹角，根据所述夹角的正切值确定该学生的坐姿。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括，在根据所述学生集合中任一学生的多个预定关键点的位置信息确定该学生的课堂行为之后：
将所述学生集合中任一学生对应的人体动作识别图像传送给预先训练的人脸识别模型，获取所述人脸识别模型输出的第三输出结果信息，其中所述第三输出结果信息包括该学生的身份信息；
将该学生的课堂行为记录到该学生的身份信息对应的课堂行为分析结果中。


9.根据权利要求1所述的方法，其特征在于，所述方法还包括，在将该学生的课堂行为记录到该学生的身份信息对应的课堂行为分析结果中之后，对所述学生集合中各学生的课堂行为分析结果进行汇总分析，根据汇总分析结果评测课堂效率。


10.根据权利要求1所述的方法，其特征在于，所述人体检测模型为特征金字塔结构的深度卷积神经网络。


11.根据权利要求1-10之一所述的方法，其特征在于，所述人体检测模型通过如下步骤训练得到：
获取训练样本集合，其中，训练样本包括面向学生采集的课堂图像，以及用于表示所述课堂图像中各学生的人体位置信息的多个矩形框坐标组成的标注信息；<...

【专利技术属性】
技术研发人员：张宁，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：北京;11