基于面部表情识别的课堂教学效果评价系统技术方案

本发明专利技术公开了一种基于面部表情识别的课堂教学效果评价系统。本发明专利技术通过实时分析课堂上的视频，提取出课堂上学生的面部表情，统计分析出学生在课堂上的理解度、活跃度、疑惑度和活跃时间指标信息供教师了解学生的心理状态，学生对该知识点的掌握程度，使教师采取相应的教学调控手段，提高课堂的教学质量；自动分析教师的课堂表情状态，统计出教师的课堂表情指标，提供教学管理人员考核教师的课堂情感依据。记录下师生的课堂表情，并统计分析出师生的课堂表情指标，该指标作为课堂教学评估的一项参考指标具有全面性、客观性。统计出目标课程在各个学校的课堂教学效果，以供课程改革作为参考。用户通过本发明专利技术的技术方案，能使教师和教学管理人员更能贯彻以学生为主的教学理念。

Classroom Teaching Effect Evaluation System Based on Facial Expression Recognition

The invention discloses a classroom teaching effect evaluation system based on facial expression recognition. The method extracts students'facial expressions in class by real-time analysis of video in class, and statistical analysis of students' comprehension, activity, doubt and active time in class is provided for teachers to understand students'psychological state, and students' mastery of the knowledge points enables teachers to adopt corresponding teaching control means to improve classroom teaching quality automatically. Analyse the teacher's classroom expression state, count out the teacher's classroom expression index, and provide the basis for teaching managers to evaluate the teacher's classroom emotion. Record the classroom expressions of teachers and students, and statistical analysis of the indicators of classroom expressions of teachers and students, as a reference index of classroom teaching evaluation, has comprehensiveness and objectivity. The classroom teaching effect of the target curriculum in each school is counted out for the reference of curriculum reform. Through the technical scheme of the invention, the user can enable teachers and teaching managers to better implement the teaching concept of student-centered.

【技术实现步骤摘要】
基于面部表情识别的课堂教学效果评价系统[
]本专利技术涉及一种基于面部表情识别的课堂教学效果评价系统，可通过识别课堂上师生的面部表情判断出课堂的教学效果，属于计算机控制
[
技术介绍
]随着教学方式的不断改革，对课堂教学的要求越来越多，传统的教学手段和教学管理方式已远远不能满足目前课程教学的需求，因此需要不断地添加现代化的教学手段和教学管理方式。随着计算机技术和网络的飞跃发展，电子教室教学、多媒体教学等利用前沿技术的教育形式越来越受到人们的关注。近几年人脸表情识别技术也在突飞猛进地发展，开始在社会生活中发挥越来越重要的作用，不同程度地应用到了辅助教学中。课堂中的人脸表情识别技术就是让计算机对课堂上的师生面部表情进行获取、识别和响应，以帮助教师和学生在和谐、愉快的交互模式下完成目标任务。目前课堂教学在教、学、课堂教学评估、课程改革研究等方面存在如下缺点：(一)在教的方面，教学管理人员只是在某个时间段考核教师的课堂表现，这样不能全面真正地反映教师的平时课堂表情表现。而学生参与教师评价的制度，存在很大的主观性，有些教师存在无原则地取悦学生现象，同时也很难了解到教师平时在课堂上的教学表情。这些都不利于教师科学地改进课堂教学。(二)在学的方面，由于教师在课堂上教学主要采用观察学生和提问学生的方式与学生互动，教师的主要精力在教学上，而教师的个人精力有限，不能照顾到整个班级每个学生在整节课的课堂表现，会造成信息传递和反馈的片面性和滞后性，对学生情绪缺乏全面地关注，教师不能了解所有学生的听课情况并进行有效监督。(三)在课堂教学评估方面，一般教学管理人员通过调查获得课堂教学师生的表情态度结论，这样耗时耗力，该评估结论也存在片面性、主观性。(四)在课程改革研究方面，很难统计出目标课程在全国所有学校的教学效果，缺乏对目标课程的教学效果的全局数据，不能有效推进课程改革。目前对面部表情的识别一般应用在娱乐领域，比如申请号/专利号201110205035.5，它公开了基于面部表情识别的电脑系统，在网络互动中通过面部表情识别提高电脑的娱乐性。然而在教育领域，面部表情识别技术还没有得到很好的应用。[
技术实现思路
]本专利技术的目的就是为了克服上述现有课堂教学的不足，提供一种基于面部表情识别的课堂教学效果评价系统，把学生上课时的面部表情归纳为理解、疑惑、不想听课，把学生上课时的面部表情归纳为愉悦和冷淡。通过摄像头采集课堂上师生的面部表情视频，统计出师生课堂上的表情变化，以提高课堂教学质量，推进课程改革。本专利技术所采用的技术方案是：一种基于面部表情识别的课堂教学效果评价系统，其包括：视频监控模块、关键帧提取模块、图像处理模块、统计分析模块。所述的视频监控模块，采用3台固定摄像头安装方式，其中1台监控讲台上的教师，另外2台监控台下左右两边的学生，避免目标的遮挡。通过该模块对摄像头的参数进行调整，能对教室无盲区、图像清晰地拍摄，视频信号通过网络传输到服务器。所述的关键帧提取模块提取出课堂教学视频中某个时刻的帧，并把帧转成224×224×3大小的图像。所述的图像处理模块包括图像噪声过滤单元、人脸的检测和提取单元、表情特征提取单元和人脸表情识别单元。所述的图像噪声过滤单元过滤掉关键帧图像的噪声。所述的人脸的检测和提取单元对关键帧图像中的人脸进行检测和定位，并提取出人脸图像。所述的人脸表情识别单元分析表情特征信息和表情的关系，并将输入的表情特征分类到相应的表情类别中。所述的统计分析模块统计分析学生对课堂内容的理解度、活跃度、疑惑度、活跃时间、以及教师上课时的愉悦度指标供如下单元使用：分析学生上课情况单元、分析教师上课情况单元、教学效果评价单元、课程改革研究单元。所述的理解度指标是指随机取某一时刻t，当某个学生i在该时刻处于眉毛自然舒展状态，则该学生对课堂内容的理解度系数为否则为0；教室中的学生总数为n，则课堂理解度的计算公式为：所述的活跃度指标是指随机取某一时刻t，当本系统对某个学生i在该时刻的人脸检测失败教室中的学生总数为n，本项目采用排除法，该班活跃的学生数就是学生总数减去人脸检测失败的人数，即全班学生活跃度公式为：采用这种计算方法的原因是学生处于听课时的姿态比较单一，而处于不想听课的学生比较消极，他的头低下去，对计算机的人脸检测的难度非常大。所述的疑惑度指标是指随机取某一时刻t，当学生i的眉毛紧锁或嘴角下移，则他处于疑惑心理状态教室中的学生总数为n，具体公式为：所述的活跃时间指标是指在t时刻，该班级的学生活跃度h(t)＞ε时，全班学生处于活跃状态θ(t)＝1，其中ε为阀值，本系统设置为0.8，即全班有80％的学生处于积极听课的状态，设图像采样为K帧，活跃时间的公式为：所述的愉悦度指标是衡量课堂上教师的课堂气氛，设对教师的课堂采集图像为K帧，愉悦度公式为：当t时刻，该教师的心理状态是愉悦时，则σ(t)＝1，否则σ(t)＝0。所述的分析学生上课情况单元可以实时记录和分析学生的听课情况，学生在学习过程中的情绪变化，并统计出该时刻有多少学生在认真学习；以及在整节课结束后汇总出该学生的学习情况，最后输出相应的学习情况参考分，供教师给出学生平时成绩。以及锁定某个学生的整节课的课堂表情，跟踪目标对象，对目标对象在课堂中的听课状态进行统计分析，能使教师对个体有针对性指导和矫正存在的学习问题。所述的分析教师上课情况单元对教师在课堂的表情分析，依据所述的愉悦度指标得出教师的上课态度。提供学校的教学管理人员对该教师的上课情况进行评价的依据。所述的教学效果评价单元可以依据师生平时的课堂情况定期形成“报警”，并通过微信反馈给教师和学生，让学生能及时调整自己的学习态度，甚至可以在下课后立即反馈结果给各个学生让学生能及时了解自己的上课情况，让教师了解自己的教学状态。同时也使教学管理人员了解师生的课堂表现，得出教学效果的客观结论。还可以统计出全国高校、985高校、211高校、华东5省高校学生对某一课程的课堂效果，客观得出该课程在不同层次的高校中的教学效果，供教学管理人员参考。所述的课程改革研究单元能更客观地看到目标课程在各个学校的课堂教学效果，也能统计出该课程在所有学校的教学效果，形成大数据。以供教学管理人员作参考信息。推进课程改革。本专利技术具有如下优点：一、在课堂教学中实时了解学生的学习情况，指导教师的教学过程。提高课堂教学质量。二、了解目标课程在全国各个高校的教学效果，推动课程改革。[附图说明]图1为本专利技术的基于面部表情识别的课堂教学效果评价系统的结构框图。[具体实施方式]为进一步阐述本专利技术达成预定目的所采取的技术手段和功效，以下结合附图和实施例，对本专利技术的具体实施方式，详细说明如下。本专利技术涉及一种基于面部表情识别的课堂教学效果评价系统，其可以对课堂上的师生视频进行采集，并对视频中提取的关键帧进行面部表情识别，再统计出课堂上的师生基于表情的指标，指导教师课堂教学过程，提高课堂教学质量，推进课程改革。如图1所示，为本专利技术的基于面部表情识别的课堂教学效果评价系统的结构框图。该系统包括：视频监控模块1、关键帧提取模块2、图像处理模块3、统计分析模块4。所述的图像处理模块3包括图像噪声过滤单元30、人脸的检测和提取单元31、表情特征提取单元32和人脸表情识别单元33。本文档来自技高网...

【技术保护点】
1.基于面部表情识别的课堂教学效果评价系统，其特征在于该系统包含的步骤为：视频监控模块、关键帧提取模块、图像处理模块、统计分析模块。(1)视频监控模块采用3台固定摄像头安装方式，其中1台监控讲台上的教师，另外2台监控台下左右两边的学生，避免目标的遮挡。通过该模块对摄像头的参数进行调整，能对教室无盲区、图像清晰地拍摄，视频信号通过网络传输到服务器。供关键帧提取模块使用。(2)关键帧提取模块提取出课堂教学视频中某个时刻的帧，并把帧转成224×224×3大小的图像。供图像处理模块使用。(3)图像处理模块包括图像噪声过滤单元、人脸的检测和提取单元、表情特征提取单元和人脸表情识别单元。人脸表情识别结果供统计分析模块使用。(3‑1)图像噪声过滤单元过滤掉关键帧图像的噪声。供人脸的检测和提取单元使用。(3‑2)人脸的检测和提取单元对关键帧图像中的人脸进行检测和定位，并提取出人脸图像。供人脸表情识别单元使用。(3‑3)人脸表情识别单元分析表情特征信息和表情的关系，并将输入的表情特征分类到相应的表情类别中。得到表情识别结果。(4)统计分析模块统计分析学生对课堂内容的理解度、活跃度、疑惑度、活跃时间、以及教师上课时的愉悦度指标供如下单元使用：分析学生上课情况单元、分析教师上课情况单元、教学效果评价单元、课程改革研究单元。(4‑1)理解度指标指随机取某一时刻t，当某个学生i在该时刻处于眉毛自然舒展状态，则该学生对课堂内容的理解度系数为...

【技术特征摘要】
1.基于面部表情识别的课堂教学效果评价系统，其特征在于该系统包含的步骤为：视频监控模块、关键帧提取模块、图像处理模块、统计分析模块。(1)视频监控模块采用3台固定摄像头安装方式，其中1台监控讲台上的教师，另外2台监控台下左右两边的学生，避免目标的遮挡。通过该模块对摄像头的参数进行调整，能对教室无盲区、图像清晰地拍摄，视频信号通过网络传输到服务器。供关键帧提取模块使用。(2)关键帧提取模块提取出课堂教学视频中某个时刻的帧，并把帧转成224×224×3大小的图像。供图像处理模块使用。(3)图像处理模块包括图像噪声过滤单元、人脸的检测和提取单元、表情特征提取单元和人脸表情识别单元。人脸表情识别结果供统计分析模块使用。(3-1)图像噪声过滤单元过滤掉关键帧图像的噪声。供人脸的检测和提取单元使用。(3-2)人脸的检测和提取单元对关键帧图像中的人脸进行检测和定位，并提取出人脸图像。供人脸表情识别单元使用。(3-3)人脸表情识别单元分析表情特征信息和表情的关系，并将输入的表情特征分类到相应的表情类别中。得到表情识别结果。(4)统计分析模块统计分析学生对课堂内容的理解度、活跃度、疑惑度、活跃时间、以及教师上课时的愉悦度指标供如下单元使用：分析学生上课情况单元、分析教师上课情况单元、教学效果评价单元、课程改革研究单元。(4-1)理解度指标指随机取某一时刻t，当某个学生i在该时刻处于眉毛自然舒展状态，则该学生对课堂内容的理解度系数为否则为0；教室中的学生总数为n，则课堂理解度的计算公式为：(4-2)活跃度指标指随机取某一时刻t，当本系统对某个学生i在该时刻的人脸检测失败教室中的学生总数为n，本项目采用排除法，该班活跃的学生数就是学生总数减去人脸检测失败的人数，即全班学生活跃度公式为：采用这种计算方法的原因是学生处于听课时的姿态比较单一，而处于不想听课的学生比较消极，他的头低下去，对计算机的人脸检测的难度非...

【专利技术属性】
技术研发人员：潘仙张，张石清，
申请(专利权)人：台州学院，
类型：发明
国别省市：浙江,33