The invention discloses a classroom teaching evaluation method and system based on expression recognition. The method includes the following steps: S1, which stores the teacher's teaching image with the time label; S2, which processes the students'classroom image, judges each student's listening status and/or understanding level at each collection time point, and marks the collection time point as a video of the student if it does not meet the standard. Section label; S3, obtains the student's classroom performance evaluation; S4, calculates the intensive degree of each knowledge point and ranks all knowledge points according to the intensive degree; carries on the classroom teaching quality evaluation based on the classroom performance evaluation in the student set. The teaching evaluation is refined to every knowledge point in the classroom; for each student, the time period when the classroom performance is not up to the standard is recorded by video tag, so as to grasp the learning effect of each student and review after class, and to accurately evaluate the quality of classroom teaching through the state of listening and the degree of understanding.
【技术实现步骤摘要】
一种基于表情识别的课堂教学评价方法及系统
本专利技术涉及智能教育领域，特别是涉及一种基于表情识别的课堂教学评价方法及系统。
技术介绍
现有技术中，公开号为CN107169902A的中国专利申请中披露了“一种基于人工智能的微表情分析的课堂教学评价系统，其特征在于:由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。”该专利申请运用人工智能深度学习的技术手段，通过上课过程中的综合信息分析全面反映堂教学的信息，从而给教师，教务，家长等提供科学的决策依据来提高教学质量。公开号为CN106878677A的中国专利申请中披露了“一种基于多传感器的学生课堂掌握程度评估系统，其特征在于，信息来源模块有3个，分别是视频采集模块、音频采集模块、成绩录入模块，其中视频采集模块和面部表情分类器模块连接输出面部表情分类结果，音频采集模块和语音分类器模块连接输出语音分类结果，成绩录入模块和成绩分类器模块连接输出成绩分类结果，......课堂教学学生反映评估及...
【技术保护点】
1.一种基于表情识别的课堂教学评价方法，其特征在于，包括如下步骤：S1，间隔时间采集教师授课图像，为每次采集的教师授课图像设置时间标签，将教师授课图像与时间标签关联存储；S2，以相同或不相同的时间间隔采集学生课堂图像，对学生课堂图像进行处理，获得所有学生在每个采集时间点的出勤状态、听课状态和理解程度，对每个学生在每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；S3，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价，利用学生信息、课程信息、课堂表现评价和视频段标签创建学生集合；S4，...
【技术特征摘要】
1.一种基于表情识别的课堂教学评价方法，其特征在于，包括如下步骤：S1，间隔时间采集教师授课图像，为每次采集的教师授课图像设置时间标签，将教师授课图像与时间标签关联存储；S2，以相同或不相同的时间间隔采集学生课堂图像，对学生课堂图像进行处理，获得所有学生在每个采集时间点的出勤状态、听课状态和理解程度，对每个学生在每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；S3，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价，利用学生信息、课程信息、课堂表现评价和视频段标签创建学生集合；S4，将学生集合中的视频段标签转换为时间标签，提取与所述时间标签关联的教师授课图像中的知识点，计算每个知识点的密集程度并将所有知识点按照密集程度进行排序；和/或基于学生集合中的课堂表现评价进行课堂教学质量评价。2.如权利要求1所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S1包括：S11，提取教师授课图像中课堂PPT图像上的标题作为该教师授课图像的知识点，并将教师授课图像的采集时间标记为时间标签；S12，合并知识点相同的教师授课图像的时间标签，获得新的时间标签，每个知识点记作一个包含时间标签的元组对(Ki，[ts,td])，整个课堂知识点保存为一张可查询的时间表：ktable＝{(k1,[ts1,td1]),(k2,[ts2,td2]),…(ki,[tsi,tdi])}；其中，ki表示第i个知识点；i为大于等于1的整数；[tsi,tdi]表示第i个知识点的时间标签；tsi、tdi分别表示第i个知识点在教师授课视频中的开始时间和截止时间，并且ts1<td1<ts2<…tsi<tdi。3.如权利要求1所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S2包括：S21，对采集时间点tj采集的学生课堂图像进行多目标人脸检测，获取多个人脸图像；其中，tj为第j次采集学生课堂图像的时间，j为大于等于1的整数；S22,对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj；提取每个人脸图像中的表情特征，基于表情特征判定该人脸图像对应的学生在采集时间点tj的听课表情emj；其中，sm表示第m个学生的信息；Amj表示第m个学生在tj时刻的出勤状态；emj表示第m个学生在tj时刻的听课表情；m为大于等于1的整数；S23，通过听课表情emj计算该学生在采集时间点tj的听课状态Lmj和理解程度Umj；其中，Lmj表示第m个学生在tj时刻的听课状态，Umj表示第m个学生在tj时刻的理解程度；S24，依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标，若不达标，将采集时间点tj标记为第m个学生的一个视频段标签，若达标，重复执行步骤S22、S23和S24直至处理完步骤S21中的所有人脸图像；S25,令j＝j+1,返回步骤S21，直到整个课堂的学生课堂图像处理完成。4.如权利要求3所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S22中对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj的步骤包括：S221,将课堂所有应到学生的预先采集的人脸图像作为训练样本，基于训练样本获得PCA特征空间，所述训练样本中每个个体关联有对应的学生信息；S222,将步骤S21中获得的所有人脸图像作为训练样本；S223,分别将训练样本和测试样本投影到PCA特征空间，并基于欧式距离法对测试样本中的个体进行分类，若分类成功，获取关联的学生信息，将该学生的出勤状态赋值为1，若分类失败，进入下一个测试样本个体分类直至测试样本中所有个体分类完成；S224，获取训练样本中没有与测试样本分类关联的所有个体对应的学生信息，并...
【专利技术属性】
技术研发人员：周明强，张申申，张程，刘慧君，朱庆生，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。