基于人脸监测的课堂学生状态分析方法及装置制造方法及图纸

本发明专利技术涉及智能课堂技术领域。本发明专利技术实施例提供一种基于人脸监测的课堂学生状态分析方法及装置，其中该方法包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，实现了闭环式智慧教育。

Method and Device of Student State Analysis in Classroom Based on Face Monitoring

The invention relates to the technical field of intelligent classroom. The embodiment of the present invention provides an analysis method and device for classroom students'state based on face monitoring. The method includes: collecting classroom images and identifying the identity information of multiple students in the classroom images; detecting the facial movements of each student in the classroom images; and acquiring the detected facial movements based on the neural network model of micro-expression recognition. Corresponding facial expressions, the micro-expression recognition neural network model is trained according to the training of facial movements and corresponding training facial expressions; the classroom state of each student is stored in the education analysis report corresponding to the identity information of each student, in which the classroom state includes facial expressions. Thus, the application of artificial intelligence technology, from the classroom image recognition and monitoring of students'class status, and through the education analysis report for later teachers and parents for reference, to achieve closed-loop wisdom education.

【技术实现步骤摘要】
基于人脸监测的课堂学生状态分析方法及装置
本专利技术涉及智能课堂
，具体地涉及一种基于人脸监测的课堂学生状态分析方法及装置。
技术介绍
随着科学技术的不断发展，将信息技术应用在课堂学习中的智能课堂技术得到了飞速发展，并且还出现了利用计算机监测分析课堂学习状态的新型技术。但是，如今的智慧教育或K12课堂仍然处于萌芽阶段，K12课堂教育一直都是大家关注的焦点，但是由于基础教育行业的自身规律、个体用户独立性缺乏等因素，一直缺乏能够规模化走入教师日常教学活动的的互联网应用。因此，如何借助现代互联网技术监测课堂上学生的状态，以反馈完善教学方式从而实现智慧教学是目前业界的热门研究方向。
技术实现思路
本专利技术实施例的目的是提供一种基于人脸监测的课堂学生状态分析方法及装置，应用人工智能技术监测学生上课的课堂状态，并能够完成反馈以实现闭环式智慧教育。为了实现上述目的，本专利技术实施例一方面提供一种基于人脸监测的课堂学生状态分析方法，包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。本专利技术实施例另一方面提供一种基于人脸监测的课堂学生状态分析装置，包括：课堂模型构建单元，用于采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；面部动作检测单元，用于检测所述课堂图像中各个学生的人脸的面部动作；面部表情抽象单元，用于基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；教育分析报告生成单元，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。本专利技术实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。本专利技术实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。通过上述技术方案，提出了采集课堂图像，并识别课堂图像中学生的身份信息，从而建立课堂模型，然后检测课堂图像中各个学生的人脸的面部动作，并通过微表情识别神经网络模型获取所检测的面部动作所对应的面部表情，进而自动记录各个学生的课堂状态至对应于各个学生的身份信息的教育分析报告。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，能够反馈完善教学方式，从而实现了闭环式智慧教育。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术一实施例的基于人脸监测的课堂学生状态分析方法的流程图；图2是本专利技术一实施例的基于人脸监测的课堂学生状态分析方法在一优选实施方式的具体流程执行图；图3是本专利技术一实施例的基于人脸监测的课堂学生状态分析方法在另一优选实施方式的具体流程执行图；图4是本专利技术一实施例的基于人脸监测的课堂学生状态分析方法的原理流程示意图；图5是本专利技术一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；图6是本专利技术另一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；图7是本专利技术一实施例的基于人脸监测的课堂学生状态分析装置的实体装置的结构框图。具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。如图1所示，本专利技术一实施例的基于人脸监测的课堂学生状态分析方法，包括：S11、采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息。关于本专利技术实施例方法的实施主体，一方面可以是专用于课堂学生状态分析的专用集成组件、专用服务器或专用终端等；另一方面，还可以是通用型服务器，其中该通用型服务器安装有用于对课堂学生状态分析的模块或配置有用于对课堂学生状态进行分析的程序代码，且以上都属于本专利技术的保护范围内。关于课堂图像的采集方式，一方面，可以是通过在课堂内布置摄像头或图像采集器来实现的，例如可以是课堂内的监控摄像头采集监控视频，并通过监控视频的分割操作，从而将所得到的单帧监控视频图像确定为对应的课堂图像。关于课堂图像中多个学生的身份信息的识别方式，其可以是借助于相关联的人脸考勤机来完成的。作为示例，可以是人脸考勤机采集学生人脸图像，并对学生人脸图像进行识别以得出对应的学生的身份信息，进而将所识别的身份信息传递至课堂学生状态分析服务器，以使得将所获取的学生人脸图像和学生的身份信息在课堂图像中进行关联，从而建立了对应于课堂图像的课堂模型。S12、检测课堂图像中各个学生的人脸的面部动作。具体的，可以是基于OpenPose识别装置，识别课堂图像中各个学生的人脸关键点，及基于所识别的人脸关键点的位置，确定相对应的各个学生的人脸的面部动作。需说明的是，OpenPose是常用于实时多人关键点检测和多线程的C++库，由此将OpenPose人体关键点检测技术应用于课堂行为分析的应用场景中，能够实现对课堂中多个学生的人体关键点的实时追踪，并也保障了处理的高准确性。可以理解的是，为了保障所识别的人脸关键点及面部动作的可靠性，可以是要求高分辨率和高清晰度的课堂图像的。S13、基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中该微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的。关于微表情识别神经网络模型的训练，其可以是将单一的训练面部动作所对应的训练面部表情(该面部表情可以是经人工标注的)输入至微表情识别神经网络模型以进行训练；另外，当单个面部动作无法确定出面部表情时，还可以是将连续的面部动作组合与其所能够指示的面部表情输入至神经网络模型，以对神经网络模型进行训练，进而，在应用神经网络模型时，也可以是通过采集预定时间段的多个连续的人脸动作，进而实现对表情的推测及抽象等。以及，本专利技术实施例中由神经网络模型所推导出的面部表情的类型在此应不限定，其可以各种表情，例如感兴趣、疲惫、开心和/或困惑等等。微表情识别神经网络模型的训练方式在此应不限定，其可以是根据神经网络模型的类型来确定的，例如卷积神经网络或深度神经网络。S14、将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。在本专利技术实施例中，通过身份识别建立关于课堂图像所对应的课堂模型，之后追踪课堂模型中各个学生的人脸动作并应用神经网络技术推导对应的表情，然后可以将各个学生的课堂状态存储至对应的各个学生的身份信息的教育分析报告中。由此，课堂中各个学生的家长都能够通过其孩子的教育分析报告得知孩子的上课状态，从而便于家长采取有针对性的改进措本文档来自技高网...

【技术保护点】
1.一种基于人脸监测的课堂学生状态分析方法，其特征在于，包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。

【技术特征摘要】
1.一种基于人脸监测的课堂学生状态分析方法，其特征在于，包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。2.根据权利要求1所述的方法，其特征在于，所述检测所述课堂图像中各个学生的人脸的面部动作包括：基于OpenPose识别装置，识别所述课堂图像中各个学生的人脸关键点；以及基于所识别的人脸关键点的位置，确定相对应的所述各个学生的人脸的面部动作。3.根据权利要求1所述的方法，其特征在于，所述课堂状态还包括课堂专注度，在所述将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告之前，所述方法还包括确定各个学生的课堂专注度，所述确定各个学生的课堂专注度包括：提取所述课堂图像中各个学生的人脸关键点；基于低头动作神经网络模型模块和所提取的各个学生的人脸关键点，识别所述课堂图像中对应低头动作的学生，其中该神经网络模型依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的；统计所述课堂图像中对应低头动作的学生占所述课堂图像中所有学生的比例，并基于所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景；以及当所述课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计各个学生未面向教师的时间长度；根据所统计的时间长度，确定各个学生的课堂专注度。4.根据权利要求3所述的方法，其特征在于，所述教育分析报告还包括对应于课堂状态的教育建议，所述方法还包括：将各个学生的所述课堂专注度与预设定的专注度阈值进行对比；当各个学生中目标学生的所述课堂专注度低于所述专注度阈值时，生成针对所述目标学生的教育建议；在所述目标学生的教育分析报告中存储所生成的教育建议。5.根据权利要求4所述的方法，其特征在于，所述生成对应于课堂状态的教育建议包括：统计...

【专利技术属性】
技术研发人员：郑子奇，徐国强，邱寒，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44