一种基于人脸表情分析的课堂教学质量监测方法技术

本发明专利技术公开了一种基于人脸表情分析的课堂教学质量监测方法，包括：网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。通过本发明专利技术可简单、实时、高效、客观地对教师的课堂教学质量进行评估，便于后续提高教学质量，修订教学教案。订教学教案。订教学教案。

【技术实现步骤摘要】
一种基于人脸表情分析的课堂教学质量监测方法


[0001]本专利技术属于教学质量评价
，涉及一种课堂教学质量监测方法，具体涉及一种基于人脸表情分析的课堂教学质量监测方法。

技术介绍

[0002]随着国家对“双减”工作的持续推进，一种简单、高效、客观的教学质量评估方法显得格外重要。目前主要通过调查问卷、考试评估等方式评估教学质量，但是这些方法都不能高效、客观的对教师的课堂教学质量进行检测和评估。
[0003]调查问卷浪费大量的时间，且会存在每个学生的主观因素。考试评估存在大量的外界因素，且分数的高低并不能评价一个老师的课堂教学质量。检测学生的课堂行为也存在不定因素，且检测难度高，评估条件界定困难，也不能全面的对教学质量进行评定。

技术实现思路

[0004]为了解决现有技术存在的上述问题，本专利技术提供一种基于人脸表情分析的课堂教学质量监测方法，通过构建深度人脸表情识别神经网络，获得表情分类模型，实时采集堂客学生的人脸表情，并通过神经网络训练好的表情分类模型判断人脸表情对应的表情类别，最后通过统计不同的表情类别占有比例，分析教师该课堂的教学质量，通过本专利技术可简单、实时、高效、客观地对教师的课堂教学质量进行评估，便于后续提高教学质量，修订教学教案。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种基于人脸表情分析的课堂教学质量监测方法，包括以下步骤：
[0007]步骤一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；
[0008]步骤二、人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；
[0009]步骤三、数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。
[0010]进一步地，所述步骤一包括以下步骤：
[0011]1)数据准备及标注：收集大量课堂参与者表情图像，构建表情图片数据集；对课堂参与者表情图像中的每个人脸进行手动标注，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性；
[0012]2)构建深度人脸表情识别神经网络；
[0013]3)对构建的深度人脸表情识别神经网络进行训练，获得表情分类模型。
[0014]更进一步地，所述步骤2)构建深度人脸表情识别神经网络，包括：
[0015]网络输入单元：读取经过步骤一标准后的课堂参与者表情图像，并对图像进行预
处理后获得样本数据；
[0016]特征提取单元：对网络输入单元获得的样本数据进行特征提取，提取课堂参与者表情图像中的人脸特征，及积极、消极、中性三种表情类别中人脸对应的表情特征；
[0017]特征融合单元：将特征提取单元提取到的不同尺寸特征进行融合；
[0018]网络预测输出单元：将人脸特征及归属于不同表情类别的表情特征进行编码，输出具体的数值；根据人脸特征及表情特征就可得到图像中人脸的区域以及每个人脸对应的表情类别。
[0019]进一步地，所述步骤二包括以下步骤：
[0020]在课堂场所安装视频图像采集设备，实时捕获视频数据，将视频数据传输到上位机控制器，上位机控制器内设有训练好的表情分类模型，通过表情分类模型检测到当前视频中所有的人脸及人脸对应的表情类别；
[0021]将实时的人脸表情信息保存到上位机控制器的数据库中。
[0022]本专利技术的有益效果在于：
[0023]本专利技术通过在教学课堂场地中安装摄像头等视频采集设备，通过摄像头实时捕获学生等课堂参与者的人脸区域，根据深度人脸表情识别神经网络构建表情分类模型，通过表情分类模型实时获得每个学生的表情类别，并实时统计出不同的表情类别的占比。该堂课结束后，就能通过定量的方式得到该课程课堂教学质量，便于后续提高教学质量，修订教学教案。
附图说明
[0024]图1为本专利技术一种基于人脸表情分析的课堂教学质量监测方法的流程图；
[0025]图2为本专利技术一种基于人脸表情分析的课堂教学质量监测方法中分析数据保存与分析流程图。
[0026]图3为本专利技术一种基于人脸表情分析的课堂教学质量监测方法中卷积操作中的人脸特征图可视化效果示意图。
具体实施方式
[0027]以下结合附图和实施例进一步描述本专利技术的技术方案：
[0028]如图1所示，本实施例提供一种基于人脸表情分析的课堂教学质量监测方法，包括以下步骤：
[0029]一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型。
[0030]1.设定相关的关键词，通过搜索、爬取等方式收集大量课堂教学视频，并截取课堂教学场景的图像，收集大量学生表情图片，构建表情图片数据集。聘请一线教师、学生作为评价人员，对学生表情图片中的每个人脸进行手动标注，以矩形框的方式，分别标注出每个人脸所在的区域，通常该区域上至眉毛，左右至耳朵，下方则以下巴为边界，头发作为背景噪声的区域尽量排除；同时，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性。
[0031]2.构建深度人脸表情识别神经网络；深度人脸表情识别神经网络主要包括：网络
输入单元、特征提取单元、特征融合单元、网络输出单元。
[0032](1)网络输入单元：负责读取经过步骤一标准后的学生表情图片，并对图片进行预处理。由于图片数据来源不同，通常具有不同的尺寸、光照效果，直接影响神经网络模型的训练，因此要对图片进行预处理，预处理包括：对图片大小缩放、光照归一化、数据增强等，主要是数据增强处理。首先，图片大小缩放至统一尺寸(96*96像素)；通过直方图均衡化和线性映射的方法进行光照归一化；由于获取的数据量不足，还需要对图片进行数据增强，通过旋转、翻转等操作实现数据量的增大，样本数量的增多有助于网络的学习能力的增强。
[0033](2)特征提取单元：主要通过卷积、池化、全链接的操作，依据步骤一标注过的学生表情图片进行训练，让网络学习不同表情状态的人脸特征是什么，也就是提取输入图片中的积极、消极、中性三种表情类别的人脸及对应的表情特征。表情特征是通过预先标定的训练数据由网络自动学习到的，如图3所示。
[0034](3)特征融合单元：卷积操作中会使用不同大小的卷积核对特征图进行卷积操作，来得到不同尺寸的特征。特征融合单元负责将特征提取单元提取到的不同尺寸特征进一步的融合，达到特征增强的作用，这样得到的特征能够更好的表达人脸特征及不同表情对应的表情特征。
[0035](4)网络预测输出单元：负责将人脸特征及归属于不同表情类别(积极、消极、中性)对应的表情特征进行编码，输出具体的数值，根据这些表情特征就可得到图片中人脸的区域以及每个人脸对应的表情类别。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，包括以下步骤：步骤一、网络模型训练：预先收集大量课堂参与者表情图像并进行表情类别设定，构建深度人脸表情识别神经网络，获得表情分类模型；步骤二、人脸检测及表情分析：进行课堂参与者人脸实时采集，并将采集到的数据输入步骤一获得的表情分类模型进行表情识别，获得所有采集到的课堂参与者的人脸对应的表情类别结果；步骤三、数据分析：对步骤二获得的课堂参与者的表情类别进行数据统计与分析，计算出不同表情类别的占比，进而对课堂教学质量进行评估。2.如权利要求1所述的一种基于人脸表情分析的课堂教学质量监测方法，其特征在于，所述步骤一包括以下步骤：1)数据准备及标注：收集大量课堂参与者表情图像，构建表情图片数据集；对课堂参与者表情图像中的每个人脸进行手动标注，标注出该人脸对应的表情类别，设定表情类别包括：消极、积极、中性；2)构建深度人脸表情识别神经网络；3)对构建的深度人脸表情识别神经网络进行训练，获得表情分类模型。3.如权利要求2所述的一种基于...

【专利技术属性】
技术研发人员：别梅，车翔玖，高艳，徐欢，
申请(专利权)人：吉林大学，
类型：发明
国别省市：