一种基于深度学习的教师课堂表现智能评价方法技术

本发明专利技术公开了一种基于深度学习的教师课堂表现智能评价方法，包括：对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；基于专家标注评分的数据集，训练用于评价的深度学习网络；将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。本发明专利技术通过结合面目表情和肢体动作进行识别，实现了简单客观地对教师课堂表现进行评价，在识别过程中引入语音信息，通过图像和语音的结合来增加结果的准确性，减轻了督查组的压力，评价结果更加真实客观。

【技术实现步骤摘要】
一种基于深度学习的教师课堂表现智能评价方法
本专利技术属于人工智能
，更具体地，涉及一种基于深度学习的教师课堂表现智能评价方法。
技术介绍
高校具有较大的规模，每日进行的教学活动十分丰富。目前针对广大教师的教学工作，学校有督导组考评和学生评价等多种评价体系。然而，对于各位教师在课堂上的表现，缺乏直接有效的评价手段。由于精力和时间有限，督导组无法对所有教师的课程进行长期、完全覆盖的评价。学生评价带有主观因素，对一些严格执教、考试较难的教师可能有失公平。且学生评价反馈周期较长，不具备实时性。针对上述问题，专利CN107169902A公开一种基于人工智能的微表情分析的课堂教学评价系统，其通过人工智能技术对学生在课堂上的微表情进行识别，从而反映出在学生的课堂效果，学生认知与心理状态等信息，作为教师、教务、学工、家长等各方的重要科学分析与决策依据。然而，该方法的识别对象是学生，通过学生的课堂表现侧面反映课堂教学质量，其评价方法较为片面且不够直接，不足以全面对教学质量进行衡量。如果将该专利的微表情分析方法直接用于教师来评估教师教学质量，则会出现因为教师授课时开口说话会导致情感分析并不准确的后果，且教师与学生的互动，教师的板书等行为信息是无法通过表情识别进行检测的。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有技术教师课堂表现评价不全面、准确性低的技术问题。为实现上述目的，第一方面，本专利技术实施例提供了一种基于深度学习的教师课堂表现智能评价方法，所述方法包括以下步骤：步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。具体地，所述面部表情识别包括以下步骤：S11.对授课视频帧进行人脸检测，得到人脸帧；S12.以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量，所述面部表情向量中的每个元素表示所述人脸帧中人脸表情是某种面部表情的概率。具体地，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。具体地，所述语音识别包括以下步骤：S13.对授课音频进行MFCC特征提取和Ivector特征提取；S14.对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息；所述情感分析向量与面部表情向量维度相同，每种感情对应向量中的一个元素，代表判定为该种情感的概率；课堂互动信息表示师生互动行为发生的概率。具体地，所述行为识别包括以下步骤：S15.对授课视频帧进行骨架图提取，得到骨架图；S16.使用变分自编码器提取骨架图的动作类型特征；S17.以骨架图的动作类型特征为输入，通过基于LSTM的循环神经网络进行行为分类识别，得到行为分类向量；所述行为分类向量中的每个元素表示每种行为动作的判别概率。具体地，面部表情向量为A，情感分析向量为B，情感状态向量Emotion＝αA+βB，α、β分别为面部表情向量、情感分析向量的权重。具体地，授课状态向量由这段时间内教师的行为分类向量和课堂交互信息组合而成。具体地，教师课堂表现与评分结果呈线性关系，评分越高，则教师课堂表现越好，反之则表现欠佳。具体地，所述教师课堂表现智能评价方法包括：根据面部表情向量、情感分析向量或者课堂互动信息，针对性地对教师的授课方式提出改进意见。第二方面，本专利技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的教师课堂表现智能评价方法。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：本专利技术通过结合面目表情和肢体动作进行识别，实现了简单客观地对教师课堂表现进行评价，同时在识别过程中引入语音信息，通过图像和语音的结合来增加结果的准确性，这种评价教师授课状态的方法减轻了督查组的压力，同时评价结果相对于同学的评价更加真实客观，且不需要增加太多成本。附图说明图1为本专利技术实施例提供的一种基于深度学习的教师课堂表现智能评价方法流程图；图2为本专利技术实施例提供的面部表情识别流程图；图3为本专利技术实施例提供的语音识别流程图；图4为本专利技术实施例提供的行为识别流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，一种基于深度学习的教师课堂表现智能评价方法，所述方法包括以下步骤：步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别。获取待评价教师授课时的视频。该视频时长为30分钟～45分钟，避免时间过短，对教师评价不够客观，尽量保证教师出现在每一帧画面中。如图2所示，面部表情识别具体包括以下步骤：(1)对授课视频帧进行人脸检测，得到人脸帧。本专利技术实施例采用Viola-Jones人脸检测器检测人脸，去掉背景和无关区域。(2)以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量。深度卷积网络将视频中的单个视频帧作为输入，这里是人脸帧。通过深度卷积网络实现单帧图像中人脸面部表情的判断与识别。面部表情识别在训练时使用的是学术界在表情识别领域较为常用的FER2013数据集和CK+数据集。此处深度卷积网络采用VGGNet。VGGNet是牛津大学计算机视觉组和DeepWind公司共同研发一种深度卷积网络，并且在2014年在ILSVRC比赛上获得了分类项目的第二名和定位项目的第一名。人脸帧和面部表情向量一一对应。面部表情向量中的每个元素表示此帧中人脸表情是某种面部表情的概率。表情向量中最大的元素(即最高的概率)对应的即为此向量最终判定的表情。本专利技术实施例中共计有七种表情：愤怒(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happy)、悲伤(Sad)、惊讶(Surprise)和中性(Neutral)，面部表情向量可表示为A＝[α1α2α3α4α5α6α7]，α1表示该帧中人脸表情是Angry的概率，以此类推。假定α4是最大的，那么此帧最后判定的表情即为Happy。得到教师的面部表情的变化及同一种表情的持续时间，进而对教师的授课状态进行评价。面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和头部姿态矫正。所谓预处理，是计算特征之前，排除掉跟脸无关的一切干扰。人脸对齐：人脸检测之后，可以本文档来自技高网...

【技术保护点】
1.一种基于深度学习的教师课堂表现智能评价方法，其特征在于，所述方法包括以下步骤：步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。

【技术特征摘要】
1.一种基于深度学习的教师课堂表现智能评价方法，其特征在于，所述方法包括以下步骤：步骤S1.对待评价教师的授课视频，分别进行面部表情识别、语音识别和行为识别；步骤S2.将待评价教师面部表情识别、语音识别和行为识别获得的向量信息进行整合，得到待评价教师在该课堂上的情感状态向量和授课状态向量；步骤S3.基于专家标注评分的数据集，训练用于评价的深度学习网络；步骤S4.将待评价教师在该课堂上的情感状态向量和授课状态向量输入到训练好的深度学习网络，得到该教师课堂表现的评价结果。2.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别包括以下步骤：S11.对授课视频帧进行人脸检测，得到人脸帧；S12.以人脸帧为输入，通过深度卷积网络进行表情识别，得到面部表情向量，所述面部表情向量中的每个元素表示所述人脸帧中人脸表情是某种面部表情的概率。3.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述面部表情识别中还可以包括对人脸帧进行预处理，具体包括：人脸对齐、光照和/或头部姿态矫正。4.如权利要求1所述的教师课堂表现智能评价方法，其特征在于，所述语音识别包括以下步骤：S13.对授课音频进行MFCC特征提取和Ivector特征提取；S14.对MFCC特征进行情感分析得到情感分析向量，对Ivector特征进行说话人识别，得到课堂交互信息；所述情感分析向量与面部表情向量维度相同，每种感情对应向量中...

【专利技术属性】
技术研发人员：袁巍，张平，李佳桓，蔡明辉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42