课堂学生行为分析方法及装置制造方法及图纸

本发明专利技术涉及人工智能技术领域。本发明专利技术实施例提供一种课堂学生行为分析方法及装置，其中所述课堂学生行为分析方法包括：采集预设时间区间中教室中的课堂图像，并提取人体轮廓图像；确定每个学生对应的人体轮廓图像；识别课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定每个学生的的学生行为类型，其中分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。由此，将图像人体识别技术和神经网络技术相结合，能够快速准确地识别出课堂中学生的学生行为类型，并能够为后续的教育分析或专注度分析等提供有效的数据支持。

【技术实现步骤摘要】
课堂学生行为分析方法及装置
本专利技术涉及人工智能
，具体地涉及一种课堂学生行为分析方法及装置。
技术介绍
随着科学技术的不断发展，将信息技术应用在课堂学习中的智能课堂技术得到了飞速发展，并且还出现了利用计算机监测分析课堂学习状态的新型技术。在目前的相关技术中，一般是基于Kinect实现的课堂教学状态监测系统，该系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向，以此反映学生听课状态。但是，其都无法对学生的行为(包括举手，扭头，交谈，起立，打闹)进行分析。因此，如何对学生的课堂行为进行分析，以有效地获得教育场景下的学生行为结果是目前业界亟待解决的技术难题。
技术实现思路
本专利技术实施例的目的是提供一种课堂学生行为分析方法及装置，用以实现对学生的课堂行为进行分析。为了实现上述目的，本专利技术实施例一方面提供一种课堂学生行为分析方法，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。本专利技术实施例另一方面提供一种课堂学生行为分析装置，其中该装置包括：人体轮廓图像提取单元，用于采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；人脸身份识别单元，用于获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；人脸关键点识别单元，用于识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；行为类型确定单元，用于基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与对应的学生行为类型作为输入来进行训练的。本专利技术实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。本专利技术实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。通过上述技术方案，提出了基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像，并通过匹配确定出每个学生所对应的人体轮廓图像，然后通过识别课堂图像中每个学生对应的人体轮廓图像中的人体关键点，然后应用经训练的分类神经网络确定所识别的人体关键点所对应的学生行为类型。由此，将图像人体识别技术和神经网络技术相结合，能够快速准确地识别出课堂中学生的学生行为类型，并能够为后续的教育分析或专注度分析等提供有效的数据支持。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术一实施例的课堂学生行为分析方法的流程图；图2是图1的课堂学生行为分析方法中的S13在一些实施方式下的具体执行的流程示意图；图3是本专利技术一实施例的课堂学生行为分析方法的流程原理示意图；图4是本专利技术一实施例的课堂学生行为分析装置的结构框图；图5是本专利技术一实施例的课堂学生行为分析装置的结构框图；图6是本专利技术一实施例的搭建有课堂学生行为分析装置的实体装置的结构框图。具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。如图1所示，本专利技术一实施例的课堂学生行为分析方法，包括：S11、基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取课堂图像中的人体轮廓图像。关于本专利技术实施例方法的实施主体，一方面可以是专用于课堂学生行为分析的专用集成组件、专用服务器或专用终端等；另一方面，还可以是通用型学生行为分析服务器或终端，其中该通用型学生行为分析设备安装有用于对学生行为进行分析的模块或配置有用于对课堂学生行为进行分析的程序代码，且以上都属于本专利技术的保护范围内。关于安装在教室内的摄像头，一方面，其可以是通过配置新的摄像头或图像采集器(例如作为本实施例装置的一部分)来实现；另一方面，还可以是借助已有的课堂图像或视频监控系统，例如通过与该课堂图像或视频监控系统连接，从而采集课堂图像。具体的，当图像采集系统所采集的是监控视频时，可以通过分割监控视频，以将所得到的单帧监控视频图像确定为对应的课堂图像。另外，关于人体轮廓图像在课堂图像中的提取方式，其可以是通过各种轮廓提取方式来实现的，例如基于人体形态模板的匹配和识别，或基于人体与场景物体的区分度来实现对人体轮廓的提取等，由此实现将课堂图像中每个学生的个体的人体轮廓图像都提取出来。S12、获取人体轮廓图像中的人脸图像，将获取到的人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像。其中，通过预先存储的多个学生的人脸图像与每个学生的人脸图像进行对比，从而识别出每个学生的身份，并相应地确定出对应于每个学生的身份的人体轮廓图像。关于该预先存储的多个学生的人脸图像，其可以是通过预先采集教室内各个学生的人脸图像，并将其进行存储，以待匹配时进行调用。S13、识别课堂图像中每个学生对应的人体轮廓图像中的人体关键点。关于学生的人体关键点，其可以是表示抽象化的骨骼点或轮廓点在人体轮廓图像上的表现，例如用于构成人体轮廓的各个关节点等。关于人体关键点的识别过程的细节，其可以是通过肢体语言识别系统来识别课堂图像中每个学生对应的人体轮廓图像中的人体关键点，其中该肢体语言识别系统是以OpenPose为基础的。需说明的是，OpenPose是常用于实时多人关键点检测和多线程的C++库，由此将OpenPose人体关键点检测技术应用于课堂行为分析的应用场景中，能够实现对课堂中多个学生的人体关键点的实时追踪，并也保障了处理的高准确性。S14、基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。关于分类神经网络的训练的细节，其可以是通过如图2所示的过程来实现的：S141、获取训练图像，其中该训练图像的人体关键点被人工预标注了对应的学生行为类型。关于训练图像的获取方式，其可以是通过人为收集训练图像并将其输入。但是，为了获得海量的训练图像，优选地，可以是借助于搜索引擎和网络爬虫技术来获取图像，例如可以是基于对应课堂学生行为类型的关键词(该关键词可以是预先确定的)，从搜索引擎网站服务器上获取源图片；然后，通过应用肢体语言识别系统在源图片中标注人体关键点；之后，通过人工标记的方式在该标有人体关键点的源图片附加对应的学生行为类型，以生成对应的训练图像。S142、将训练图像输本文档来自技高网...

【技术保护点】
1.一种课堂学生行为分析方法，其特征在于，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。

【技术特征摘要】
1.一种课堂学生行为分析方法，其特征在于，包括：基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。2.根据权利要求1所述的方法，其特征在于，所述识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点包括：基于肢体语言识别系统，识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点，其中该肢体语言识别系统是以OpenPose为基础的。3.根据权利要求2所述的方法，其特征在于，所述方法还包括针对所述分类神经网络的训练步骤，具体包括：获取训练图像，其中所述训练图像的人体关键点被人工预标注了对应的学生行为类型；将所述训练图像输入至所述分类神经网络中，以训练所述分类神经网络。4.根据权利要求3所述的方法，其特征在于，所述学生行为类型包括第一学生行为类型和第二学生行为类型，所述第一学生行为类型包括起立和/或举手，对应于所述第一学生行为类型的训练图像为单张训练图像，所述单张训练图像的人体关键点被预标注了对应的第一学生行为类型；以及所述第二学生行为类型包括扭头、交谈和打闹中的一者或多者，对应于所述第二学生行为类型的训练图像为用于指示连续人体动作的多张训练图像，其中所述多张训练图像所对应的人体关键点集合被预标注了对应的第二学生行为类型；所述基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型包括：基于所述分类神经网络和所采集的单张课堂图像中的每个学生对应的人体关键点，输出所述单张课堂图像中的每个学生对应的所述第一学生行为类型；基于所述分类神经网络，应用预定时间段内所采集的用于指示学生连续动作的多张课堂图像中的每个学生对应的人体关键点集合，输出所述...

【专利技术属性】
技术研发人员：吴侠宝，徐国强，邱寒，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44