一种适用于课堂教学的表情识别方法技术

本发明专利技术公开了一种适用于课堂教学的表情识别方法，包括下述步骤，利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；当学生面部影像信息消失时间大于预设时间值T1，则判定该学生处于走神状态，并统计该学生的走神率；本发明专利技术通过设置摄像装备，能够对教室内的实时情况进行监控，并利用摄像装备结合处理装置，检测人脸为出现的时间，当某一学生的人脸未出现时间超过预设值时，则会自动判定该学生处于走神状态；反之则认为是正常停顿，获取低头做笔记等活动；通过此方法可以有效的检测到学生在上课时是否走神。

A Facial Expression Recognition Method for Classroom Teaching

The present invention discloses a facial expression recognition method suitable for classroom teaching, which includes the following steps: real-time recording of classroom situation with camera equipment to obtain real-time video information in classroom; processing real-time video information to obtain student's facial image information, and judging the disappearance time of facial image information; when the disappearance time of student's facial image information is greater than the pre-disappearance time. When the time value T1 is set, the student is judged to be in a state of distraction and the rate of distraction is counted. By setting camera equipment, the real-time situation in the classroom can be monitored and monitored, and the time when the face of a student appears is detected by using camera equipment combined with processing device. When the time of the face of a student does not appear exceeds the preset value, the student is automatically judged to be distracted. On the contrary, it is regarded as normal pause, taking notes and other activities. This method can effectively detect whether students are distracted in class.

【技术实现步骤摘要】
一种适用于课堂教学的表情识别方法
本专利技术属于课堂教学领域，涉及一种表情识别技术，具体是一种适用于课堂教学的表情识别方法。
技术介绍
表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在教育领域有很大的潜在应用价值。尤其是针对课堂教学效率的评估可以起到很大的应用，但是当前缺乏一种有效的用于课堂教学的表情识别方法；为了解决上述缺陷，现提供一种解决方案。
技术实现思路
本专利技术的目的在于提供一种适用于课堂教学的表情识别方法。本专利技术所要解决的技术问题为：(1)如何对学生在上课时进行其他活动而导致的走神进行准确判定；(2)如何对学生的表情进行精确识别，并且将学生的表情与其上课状态进行相互关联；(3)如何根据识别到的学生表情和上课状态来评估教师任一节课的教育效果。本专利技术的目的可以通过以下技术方案实现：一种适用于课堂教学的表情识别方法，其特征在于，包括下述步骤：步骤一：利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；步骤二：对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；S1：当学生面部影像信息消失时间大于预设时间值T1，则判定该学生处于走神状态，并统计该学生的走神率；具体统计步骤如下：SS1：获取到走神学生在一节课的走神总时间；SS2：将该学生的走神总时间除以一节课的总时间得到走神率，将走神率标记为Tz；S2：获取到所有学生的走神率，并求得所有学生的走神率平均值，将平均走神率标记为Tpz；S3：当学生面部影像信息消失时间低于预设值T1，则判定为学生为正常状态；继续对学生的学习状态进行分析；步骤三：获取到学生面部影像信息，获取到学生的面部图片信息；步骤四：根据状态分析规则对学生的面部图片信息进行实时分析，获取得到学生的上课状态；并将上课状态划分为听课状态、互动状态、抗拒状态和迷茫状态；步骤五：获得实时状态下处于听课状态、互动状态、抗拒状态和迷茫状态的学生人数；并在实时状态下对教师教学内容的吸引程度进行分析，分析步骤如下：S1：获取到处于听课状态下的学生与所有学生之间的占比，得到听课实时占比，并将听课实时占比标记为Pt；S2：获取到处于互动状态下的学生与所有学生之间的占比，得到互动实时占比，并将互动实时占比标记为Pd；S3：获取到处于抗拒状态下的学生与所有学生之间的占比，得到抗拒实时占比，并将抗拒实时占比标记为Pk；S4：获取到处于迷茫状态下的学生与所有学生之间的占比，得到迷茫实时占比，并将迷茫实时占比标记为Pm；S5：对教师的实时教学吸引度进行计算，因为处于听课状态、互动状态、抗拒状态和迷茫状态这四种状态下对教学吸引度的评价占比各不相同，故在此处加入修正值，Pt、Pd、Pk和Pm各自对应的修正值分别标记为为U1、U2、U3和U4，其中U1、U2、U3和U4均为预设值，且U1+U2＝1,0<U1<U2；U3+U4＝-1，U3<U4<0；S6：利用公式Qs＝Pt*U1+Pd*U1+Pk*U1+Pm*U1计算得到教师的实时教学吸引度Qs；S7：当Qs低于预设值时提醒教师注意当前教学内容对学生吸引程度比较低；并在Qs大于预设值时提示教师当前教学内容很符合学生的胃口；步骤六：对教师该节课的教育情况进行分析；分析步骤如下：S1：获取到所有学生在该节课中处于听课状态下的平均时间，将平均时间除以总时间得到听课总占比，并将听课总占比标记为Gt；S2：获取到所有学生在该节课中处于互动状态下的平均时间，将平均时间除以总时间得到互动总占比，并将互动总占比标记为Gd；S3：获取到所有学生在该节课中处于抗拒状态下的平均时间，将平均时间除以总时间得到抗拒总占比，并将抗拒总占比标记为Gk；S4：获取到所有学生在该节课中处于迷茫状态下的平均时间，将平均时间除以总时间得到迷茫总占比，并将迷茫总占比标记为Gm；S5：获取得到前面获得的平均走神率Tpz；S6：因为平均走神率、听课总占比、互动总占比、抗拒总占比和迷茫总占比对教师该节课的教育质量影响程度不同，因此对上述各影响因素加一修正值，Tpz、Gt、Gd、Gk和Gm对应的修正值分别为L1、L2、L3、L4和L5，且L2+L3＝1，L3>L2>0；L1+L4+L5＝-1，L1<L4<L5<0；S7：利用公式Q＝Gt*L2+Gd*L3+Tpz*L1+Gk*L4+Gm*L5得到该教师对应该节课的教学评价值。进一步地，所述状态分析规则具体表现为：步骤一：将学生的表情与上课的实时状态进行标定；学生表情与上课的实时状态具体划分为：S1：听课状态，在此状态下，学生对于教学内容感兴趣，愿意倾听教师的教学内容，且听课效率比较高；S2：互动状态，在此状态下，学生能够理解教师的课堂教学内容，且能够对教学内容作出积极反应，与教师和同学们形成良好的互动；S3：抗拒状态，在此状态下，由于教学内容过于简单，学生早已掌握，对于教师的教学内容没有激起任何兴趣；S4：迷茫状态，在此状态下，同学们表现为对教师的教学内容不能理解，因为教学内容过于困难，超出自己的认知水平；步骤二：对学生的上课实时状态进行表情特征的定义，当学生在上课处于各种状态时，从头部、眼部和唇部上的一些特征即能够表现出学生的上课实时状态；具体表现为：S1：当学生处于听课状态时，学生的表情特征具体表现为，脸部出现比例位于预设值X1与X2之间，眼睛上的眉弯角位于预设值X3-X4之间；X1、X2、X3和X4均为预设值；S2：当学生处于互动状态时，脸部出现比例位于预设值Y1与Y2之间，眼睛上的眉弯角位于预设值Y3-Y4之间；唇部的唇线变化值位于Y5-Y6之间；Y1、Y2、Y3、Y4、Y5和Y6均为预设值；S3：当学生处于抗拒状态时，脸部出现比例位于预设值Z1与Z2之间，眼睛上的眉弯角位于预设值Z3-Z4之间；唇部的唇线变化角度位于Z5-Z6之间；Z1、Z2、Z3、Z4、Z5和Z6均为预设值；S4：当学生处于迷茫状态时，脸部出现比例位于预设值A1与A2之间，眼睛上的眉弯角位于预设值A3-A4之间；唇部的唇线变化值位于A5-A6之间；A1、A2、A3、A4、A5和A6均为预设值。进一步地，所述状态分析规则步骤二中，表情特征的定义过程中脸部出现比例计算方法为：步骤一：获取得到学生的正脸照，将该照片大小设定为预定尺寸，求得此时脸部的完整面积；步骤二：获取得到学生的实时脸部照片，将该照片大小同样设定为预定尺寸，获取此时该学生脸部的露出面积；步骤三：将露出面积除以完整面积得到该学生的脸部出现比例。进一步地本文档来自技高网...

【技术保护点】
1.一种适用于课堂教学的表情识别方法，其特征在于，包括下述步骤：步骤一：利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；步骤二：对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；S1：当学生面部影像信息消失时间大于预设时间值T1，则判定该学生处于走神状态，并统计该学生的走神率；具体统计步骤如下：SS1：获取到走神学生在一节课的走神总时间；SS2：将该学生的走神总时间除以一节课的总时间得到走神率，将走神率标记为Tz；S2：获取到所有学生的走神率，并求得所有学生的走神率平均值，将平均走神率标记为Tpz；S3：当学生面部影像信息消失时间低于预设值T1，则判定为学生为正常状态；继续对学生的学习状态进行分析；步骤三：获取到学生面部影像信息，获取到学生的面部图片信息；步骤四：根据状态分析规则对学生的面部图片信息进行实时分析，获取得到学生的上课状态；并将上课状态划分为听课状态、互动状态、抗拒状态和迷茫状态；步骤五：获得实时状态下处于听课状态、互动状态、抗拒状态和迷茫状态的学生人数；并在实时状态下对教师教学内容的吸引程度进行分析，分析步骤如下：S1：获取到处于听课状态下的学生与所有学生之间的占比，得到听课实时占比，并将听课实时占比标记为Pt；S2：获取到处于互动状态下的学生与所有学生之间的占比，得到互动实时占比，并将互动实时占比标记为Pd；S3：获取到处于抗拒状态下的学生与所有学生之间的占比，得到抗拒实时占比，并将抗拒实时占比标记为Pk；S4：获取到处于迷茫状态下的学生与所有学生之间的占比，得到迷茫实时占比，并将迷茫实时占比标记为Pm；S5：对教师的实时教学吸引度进行计算，因为处于听课状态、互动状态、抗拒状态和迷茫状态这四种状态下对教学吸引度的评价占比各不相同，故在此处加入修正值，Pt、Pd、Pk和Pm各自对应的修正值分别标记为为U1、U2、U3和U4，其中U1、U2、U3和U4均为预设值，且U1+U2＝1,0<U1<U2；U3+U4＝‑1，U3<U4<0；S6：利用公式Qs＝Pt*U1+Pd*U1+Pk*U1+Pm*U1计算得到教师的实时教学吸引度Qs；S7：当Qs低于预设值时提醒教师注意当前教学内容对学生吸引程度比较低；并在Qs大于预设值时提示教师当前教学内容很符合学生的胃口；步骤六：对教师该节课的教育情况进行分析；分析步骤如下：S1：获取到所有学生在该节课中处于听课状态下的平均时间，将平均时间除以总时间得到听课总占比，并将听课总占比标记为Gt；S2：获取到所有学生在该节课中处于互动状态下的平均时间，将平均时间除以总时间得到互动总占比，并将互动总占比标记为Gd；S3：获取到所有学生在该节课中处于抗拒状态下的平均时间，将平均时间除以总时间得到抗拒总占比，并将抗拒总占比标记为Gk；S4：获取到所有学生在该节课中处于迷茫状态下的平均时间，将平均时间除以总时间得到迷茫总占比，并将迷茫总占比标记为Gm；S5：获取得到前面获得的平均走神率Tpz；S6：因为平均走神率、听课总占比、互动总占比、抗拒总占比和迷茫总占比对教师该节课的教育质量影响程度不同，因此对上述各影响因素加一修正值，Tpz、Gt、Gd、Gk和Gm对应的修正值分别为L1、L2、L3、L4和L5，且L2+L3＝1，L3>L2>0；L1+L4+L5＝‑1，L1<L4<L5<0；S7：利用公式Q＝Gt*L2+Gd*L3+Tpz*L1+Gk*L4+Gm*L5得到该教师对应该节课的教学评价值。...

【技术特征摘要】
1.一种适用于课堂教学的表情识别方法，其特征在于，包括下述步骤：步骤一：利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；步骤二：对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；S1：当学生面部影像信息消失时间大于预设时间值T1，则判定该学生处于走神状态，并统计该学生的走神率；具体统计步骤如下：SS1：获取到走神学生在一节课的走神总时间；SS2：将该学生的走神总时间除以一节课的总时间得到走神率，将走神率标记为Tz；S2：获取到所有学生的走神率，并求得所有学生的走神率平均值，将平均走神率标记为Tpz；S3：当学生面部影像信息消失时间低于预设值T1，则判定为学生为正常状态；继续对学生的学习状态进行分析；步骤三：获取到学生面部影像信息，获取到学生的面部图片信息；步骤四：根据状态分析规则对学生的面部图片信息进行实时分析，获取得到学生的上课状态；并将上课状态划分为听课状态、互动状态、抗拒状态和迷茫状态；步骤五：获得实时状态下处于听课状态、互动状态、抗拒状态和迷茫状态的学生人数；并在实时状态下对教师教学内容的吸引程度进行分析，分析步骤如下：S1：获取到处于听课状态下的学生与所有学生之间的占比，得到听课实时占比，并将听课实时占比标记为Pt；S2：获取到处于互动状态下的学生与所有学生之间的占比，得到互动实时占比，并将互动实时占比标记为Pd；S3：获取到处于抗拒状态下的学生与所有学生之间的占比，得到抗拒实时占比，并将抗拒实时占比标记为Pk；S4：获取到处于迷茫状态下的学生与所有学生之间的占比，得到迷茫实时占比，并将迷茫实时占比标记为Pm；S5：对教师的实时教学吸引度进行计算，因为处于听课状态、互动状态、抗拒状态和迷茫状态这四种状态下对教学吸引度的评价占比各不相同，故在此处加入修正值，Pt、Pd、Pk和Pm各自对应的修正值分别标记为为U1、U2、U3和U4，其中U1、U2、U3和U4均为预设值，且U1+U2＝1,0<U1<U2；U3+U4＝-1，U3<U4<0；S6：利用公式Qs＝Pt*U1+Pd*U1+Pk*U1+Pm*U1计算得到教师的实时教学吸引度Qs；S7：当Qs低于预设值时提醒教师注意当前教学内容对学生吸引程度比较低；并在Qs大于预设值时提示教师当前教学内容很符合学生的胃口；步骤六：对教师该节课的教育情况进行分析；分析步骤如下：S1：获取到所有学生在该节课中处于听课状态下的平均时间，将平均时间除以总时间得到听课总占比，并将听课总占比标记为Gt；S2：获取到所有学生在该节课中处于互动状态下的平均时间，将平均时间除以总时间得到互动总占比，并将互动总占比标记为Gd；S3：获取到所有学生在该节课中处于抗拒状态下的平均时间，将平均时间除以总时间得到抗拒总占比，并将抗拒总占比标记为Gk；S4：获取到所有学生在该节课中处于迷茫状态下的平均时间，将平均时间除以总时间得到迷茫总占比，并将迷茫总占比标记为Gm；S5：获取得到前面获得的平均走神率Tpz；S6：因为平均走神率、听课总占比、互动总占比、抗拒总占比和迷茫总占比对教师该节课的教育质量影响程度不同，因此对上述各影响因素加一修正值，Tpz、Gt、Gd、Gk和Gm对应的修正值分别为L1、L2、L3、L4和L5，且L2+L3＝1，L3>L2>0；L1+L4+L5＝-1...

【专利技术属性】
技术研发人员：李国琛，王立峰，
申请(专利权)人：山东旭兴网络科技有限公司，
类型：发明
国别省市：山东,37