一种基于人脸特征的课堂质量监控系统技术方案

本发明专利技术涉及一种基于人脸特征的课堂质量监控系统，特别涉及图像通信领域。包括数据采集模块、人脸识别模块、模型分析模块和输出模块；数据采集模块用于获取视频文件和数据文件并发送到人脸识别模块；所述人脸识别模块用于对所述视频文件进行图像分帧处理并得到图像文件，所述人脸识别模块还用于对所述图像文件进行特征提取得到人脸特征信息，所述人脸识别模块还用于根据所述人脸特征信息得到表情识别信息，所述人脸识别模块还用于将所述人脸特征信息和所述表情识别信息发送到所述模型分析模块。本方案解决了如何提高课堂质量监控系统的准确度的技术问题，适用于课堂质量监控。

A class quality monitoring system based on face features

【技术实现步骤摘要】
一种基于人脸特征的课堂质量监控系统
本专利技术涉及图像通信领域，特别涉及一种基于人脸特征的课堂质量监控系统。
技术介绍
现有的课堂实时监测系统并未对学生的状态进行多维度分析，例如中国专利CN109684984A中，公开了一种适用于课堂教学的表情识别方法，包括下述步骤，利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；当学生面部影像信息消失时间大于预设时间值T1，则判定该学生处于走神状态，并统计该学生的走神率；本专利技术通过设置摄像装备，能够对教室内的实时情况进行监控，并利用摄像装备结合处理装置，检测人脸为出现的时间，当某一学生的人脸未出现时间超过预设值时，则会自动判定该学生处于走神状态；反之则认为是正常停顿，获取低头做笔记等活动；通过此方法可以有效的检测到学生在上课时是否走神。但是使用上述方案，需要学生一直保持一个姿势进行听课，因此对学生状态的判断误差较大，这样得到的课堂实时监控的信息的可信度也不高。
技术实现思路
本专利技术所要解决的技术问题是如何提高课堂质量监控系统的准确度。本专利技术解决上述技术问题的技术方案如下：一种基于人脸特征的课堂质量监控系统，包括：数据采集模块、人脸识别模块、模型分析模块和输出模块；数据采集模块用于获取视频文件和数据文件并发送到人脸识别模块；所述人脸识别模块用于对所述视频文件进行图像分帧处理并得到图像文件，所述人脸识别模块还用于对所述图像文件进行特征提取得到人脸特征信息，所述人脸识别模块还用于根据所述人脸特征信息得到表情识别信息，所述人脸识别模块还用于将所述人脸特征信息和所述表情识别信息发送到所述模型分析模块；所述模型分析模块用于根据所述数据文件得到学生基础信息表，所述学生基础信息表包括学生信息、与每个所述学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，所述模型分析模块用于根据所述人脸特征信息和所述学生基础信息表得到与所述人脸特征信息对应的所述学生信息，所述模型分析模块还用于根据所述人脸特征信息和所述学生信息得到每个学生的抬头率，所述模型分析模块还用于根据所述人脸特征信息和所述表情识别信息得到每个学生的学习状态，所述模型分析模块用于创建回归模型和时间序列模型，所述模型分析模块还用于将每个学生的所述学生信息、所述抬头率、所述学习状态和所述学生课堂练习成绩信息作为预处理信息，并结合所述回归模型和所述时间序列模型得到表情时间与成绩的关系表；所述输出模块用于获取所述表情时间与成绩的关系表并输出。本专利技术的有益效果是：主要通过OpenCV+Dlib人脸特征技术进行课堂质量的监控，具体包括对学生的抬头率进行分析，得到抬头率对成绩的影响从而得出结论，实现课堂质量的自动检测，用户在后期根据学生的抬头率，对每个学生进行针对性的指导，也得出教师的课堂教学质量，本方案通过对学生的表情进行检测，得出学生在课堂上的学习状态，相比统计学生面部影像出现的位置，本方案对学生状态的统计的准确度更高。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述图像分帧处理包括OpenCV+Dlib自动分帧、高斯图像滤镜降噪和图像灰度处理。采用上述进一步方案的有益效果是，相比仅进行OpenCV+Dlib自动分帧得到的图像文件，本方案的图像文件在进行特征提取时准确度更高。进一步，所述人脸识别模块用于根据所述人脸特征信息和计算参数指标将表情进行分类，得到表情识别信息。采用上述进一步方案的有益效果是，通过增加计算参数指标，能够优化OpenCV+Dlib的不足，增加准确度。进一步，所述表情识别信息包括高兴、好奇、疑惑和自然4种表情。采用上述进一步方案的有益效果是，这样设置后，通过学生的抬头次数和学生每次抬头出现的表情两个维度进行综合考虑，由于每个维度都从不同的方面体现了数据的特征，这样就能从多个方面检测课堂的质量；同时也能更好的去定位到哪一细节层面，从而发现问题，解决问题。进一步，获取包含不同难度梯度的教学内容的视频文件，并通过所述人脸识别模块和所述模型分析模块获取对应不同难度梯度的表情时间与成绩的关系表。采用上述进一步方案的有益效果是，这样设置后，能够排除单个课堂的偶然性，探索课堂的难易程度与学生表情及测试成绩的关系，此处的课堂难易程度可以为课堂上测试题的难易程度。本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。附图说明图1为本专利技术基于人脸特征的课堂质量监控系统的实施例的系统结构示意图；图2为本专利技术基于人脸特征的课堂质量监控系统的其它实施例的实施例的系统流程图；图3为本专利技术基于人脸特征的课堂质量监控系统的其它实施例的实施例的人脸特征点图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例基本如附图1所示：本实施例中基于人脸特征的课堂质量监控系统，包括：数据采集模块1、人脸识别模块2、模型分析模块3和输出模块4；数据采集模块1用于获取视频文件和数据文件并发送到人脸识别模块2，本实施例中的数据采集模块1可以基于学校平台对数据进行采集与处理，具体包括多媒体教室、未来智慧教室中的教学影像和课堂练习数据，以及儿童大数据中心；人脸识别模块2用于对视频文件进行图像分帧处理并得到图像文件，人脸识别模块2还用于对图像文件进行特征提取得到人脸特征信息，人脸识别模块2还用于根据人脸特征信息得到表情识别信息，人脸识别模块2还用于将人脸特征信息和表情识别信息发送到模型分析模块3；模型分析模块3用于根据数据文件得到学生基础信息表，学生基础信息表包括学生信息、与每个学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，本实施例中的学生信息包括学生的学号、姓名和性别，避免过多的信息导致学生的隐私泄露；模型分析模块3用于根据人脸特征信息和学生基础信息表得到与人脸特征信息对应的学生信息，模型分析模块3还用于根据人脸特征信息和学生信息得到每个学生的抬头率，模型分析模块3还用于根据人脸特征信息和表情识别信息得到每个学生的学习状态，模型分析模块3用于创建回归模型和时间序列模型，模型分析模块3还用于将每个学生的学生信息、抬头率、学习状态和学生课堂练习成绩信息作为预处理信息，并结合回归模型和时间序列模型得到表情时间与成绩的关系表；输出模块4用于获取表情时间与成绩的关系表并输出，用户通过输出模块4查看表情时间与成绩的关系表。本实施例中的一元回归模型为：设一元回归模型为y＝f(x)+ε，其中ε～N(0,σ2)。一元回归方程记为若残差平方和越小，说明该一元回归模型拟合效果越好。在研究课堂抬头次数与课堂测试成绩的相关分析时，考虑采用一元回归模型对其进行回归分析，从而得出两个变量之间的相应关系。建立的模型是将抬头次数作为唯一自变量x本文档来自技高网...

【技术保护点】
1.一种基于人脸特征的课堂质量监控系统，其特征在于，包括：数据采集模块、人脸识别模块、模型分析模块和输出模块；/n数据采集模块用于获取视频文件和数据文件并发送到人脸识别模块；/n所述人脸识别模块用于对所述视频文件进行图像分帧处理并得到图像文件，所述人脸识别模块还用于对所述图像文件进行特征提取得到人脸特征信息，所述人脸识别模块还用于根据所述人脸特征信息得到表情识别信息，所述人脸识别模块还用于将所述人脸特征信息和所述表情识别信息发送到所述模型分析模块；/n所述模型分析模块用于根据所述数据文件得到学生基础信息表，所述学生基础信息表包括学生信息、与每个所述学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，所述模型分析模块用于根据所述人脸特征信息和所述学生基础信息表得到与所述人脸特征信息对应的所述学生信息，所述模型分析模块还用于根据所述人脸特征信息和所述学生信息得到每个学生的抬头率，所述模型分析模块还用于根据所述人脸特征信息和所述表情识别信息得到每个学生的学习状态，所述模型分析模块用于创建回归模型和时间序列模型，所述模型分析模块还用于将每个学生的所述学生信息、所述抬头率、所述学习状态和所述学生课堂练习成绩信息作为预处理信息，并结合所述回归模型和所述时间序列模型得到表情时间与成绩的关系表；/n所述输出模块用于获取所述表情时间与成绩的关系表并输出。/n...

【技术特征摘要】
1.一种基于人脸特征的课堂质量监控系统，其特征在于，包括：数据采集模块、人脸识别模块、模型分析模块和输出模块；
数据采集模块用于获取视频文件和数据文件并发送到人脸识别模块；
所述人脸识别模块用于对所述视频文件进行图像分帧处理并得到图像文件，所述人脸识别模块还用于对所述图像文件进行特征提取得到人脸特征信息，所述人脸识别模块还用于根据所述人脸特征信息得到表情识别信息，所述人脸识别模块还用于将所述人脸特征信息和所述表情识别信息发送到所述模型分析模块；
所述模型分析模块用于根据所述数据文件得到学生基础信息表，所述学生基础信息表包括学生信息、与每个所述学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，所述模型分析模块用于根据所述人脸特征信息和所述学生基础信息表得到与所述人脸特征信息对应的所述学生信息，所述模型分析模块还用于根据所述人脸特征信息和所述学生信息得到每个学生的抬头率，所述模型分析模块还用于根据所述人脸特征信息和所述表情识别信息得到每个学生的学习状态，所述模型分析模块用于创建回归模型和时间序列模型，所述模型分析模...

【专利技术属性】
技术研发人员：邹杨，韦鹏程，李洋，郭红利，万莉，管树林，
申请(专利权)人：重庆第二师范学院，
类型：发明
国别省市：重庆;50