课堂学生行为分析方法及装置制造方法及图纸

本发明专利技术涉及人工智能技术领域。本发明专利技术实施例提供一种课堂学生行为分析方法及装置，其中所述课堂学生行为分析方法包括：采集预设时间区间中教室中的课堂图像，并提取人体轮廓图像；确定每个学生对应的人体轮廓图像；识别课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定每个学生的的学生行为类型，其中分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。由此，将图像人体识别技术和神经网络技术相结合，能够快速准确地识别出课堂中学生的学生行为类型，并能够为后续的教育分析或专注度分析等提供有效的数据支持。

【技术实现步骤摘要】
课堂学生行为分析方法及装置
本专利技术涉及人工智能
，具体地涉及一种课堂学生行为分析方法及装置。
技术介绍
随着科学技术的不断发展，将信息技术应用在课堂学习中的智能课堂技术得到了飞速发展，并且还出现了利用计算机监测分析课堂学习状态的新型技术。在目前的相关技术中，一般是基于Kinect实现的课堂教学状态监测系统，该系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向，以此反映学生听课状态。但是，其都无法对学生的行为(包括举手，扭头，交谈，起立，打闹)进行分析。因此，如何对学生的课堂行为进行分析，以有效地获得教育场景下的学生行为结果是目前业界亟待解决的技术难题。
技术实现思路
本专利技术实施例的目的是提供一种课堂学生行为分析方法及装置，用以实现对学生的课堂行为进行分析。为了实现上述目的，本专利技术实施例一方面提供一种课堂学生行为分析方法，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确本文档来自技高网...

【技术保护点】
1.一种课堂学生行为分析方法，其特征在于，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。

【技术特征摘要】
1.一种课堂学生行为分析方法，其特征在于，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。2.根据权利要求1所述的方法，其特征在于，所述识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点包括：基于肢体语言识别系统，识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点，其中该肢体语言识别系统是以OpenPose为基础的。3.根据权利要求2所述的方法，其特征在于，所述方法还包括针对所述分类神经网络的训练步骤，具体包括：获取训练图像，其中所述训练图像的人体关键点被人工预标注了对应的学生行为类型；将所述训练图像输入至所述分类神经网络中，以训练所述分类神经网络。4.根据权利要求3所述的方法，其特征在于，所述学生行为类型包括第一学生行为类型和第二学生行为类型，所述第一学生行为类型包括起立和/或举手，对应于所述第一学生行为类型的训练图像为单张训练图像，所述单张训练图像的人体关键点被预标注了对应的第一学生行为类型；以及所述第二学生行为类型包括扭头、交谈和打闹中的一者或多者，对应于所述第二学生行为类型的训练图像为用于指示连续人体动作的多张训练图像，其中所述多张训练图像所对应的人体关键点集合被预标注了对应的第二学生行为类型；所述基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型包括：基于所述分类神经网络和所采集的单张课堂图像中的每个学生对应的人体关键点，输出所述单张课堂图像中的每个学生对应的所述第一学生行为类型；基于所述分类神经网络，应用预定时间段内所采集的用于指示学生连续动作的多张课堂图像中的每个学生对应的人体关键点集合，输出所述...

【专利技术属性】
技术研发人员：吴侠宝，徐国强，邱寒，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44