一种基于人脸和语音识别的课堂行为监控系统及方法技术方案
【技术实现步骤摘要】
一种基于人脸和语音识别的课堂行为监控系统及方法
本专利技术主要涉及一种基于人脸和语音识别的课堂行为监控系统及方法。
技术介绍
对于课堂行为监控，是学校评价教学质量的重要环节，充分了解教师的教课水平和学生上课的反应，才能保证高质量教学水平。现有，对于课堂行为的监控采用学生记录或者老师测试模拟、老师观察监督的方式，此种方式不能够充分调动学生的学习兴趣，不能评价老师的教学效果，无法同时实现对学生、教师的课堂行为的采集、分析、记录及评价。因此，如何利用基于人脸识别技术和语音识别技术来对学生和教师的课堂行为进行精确采样和智能分析与评价，实现对教学课堂中学生和教师的表现行为进行观察和记录，有效提高课堂教学效果，促进学生的全面发展是值得研究和开发的课题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种基于人脸和语音识别的课堂行为监控系统及方法，从学生行为评价和教师行为评价两个方面进行数据收集及分析评价，收集学生在课堂上的表现和教师在课堂上的表扬和批评等反馈，并通过数据分析，评价学生的学习状态及学习效果，同时对教师教学效果进行评价。本专利技术所采用的技术方案是：一种基...
【技术保护点】
一种基于人脸和语音识别的课堂行为监控系统，其特征是，包括视频信息采集系统，包括安装在教室四个墙角的全方位旋转摄像头、与摄像头相连的解码器、与解码器相连的画面分割器，用于采集课堂中学生、教师的视频数据信息；语音信息采集系统，包括安装在学生课桌下面以及讲台上的录音设备，用于采集课堂中学生、教师的语音数据信息；主控处理器，对学生、教师的视频数据信息和语音信息进行预处理，提取学生、教师的面部表情特征和行为特征；分析处理器，将学生、教师的面部表情特征和行为特征于标准模板进行比较，并计算相应得分。
【技术特征摘要】
1.一种基于人脸和语音识别的课堂行为监控系统，其特征是，包括视频信息采集系统，包括安装在教室四个墙角的全方位旋转摄像头、与摄像头相连的解码器、与解码器相连的画面分割器，用于采集课堂中学生、教师的视频数据信息；语音信息采集系统，包括安装在学生课桌下面以及讲台上的录音设备，用于采集课堂中学生、教师的语音数据信息；主控处理器，对学生、教师的视频数据信息和语音信息进行预处理，提取学生、教师的面部表情特征和行为特征；分析处理器，将学生、教师的面部表情特征和行为特征于标准模板进行比较，并计算相应得分。2.一种基于人脸和语音识别的课堂行为监控方法，其特征是，包括以下步骤：步骤一、通过安装在教室四个墙角的摄像头采集课堂中学生、教师的视频数据信息；通过安装在学生课桌下面以及讲台上的录音设备采集课堂中学生、教师的语音数据信息；步骤二、采集到的学生、教师的视频数据信息经解码器解码和画面分割器分割后，发送给主控处理器；将采集到的学生、教师的语音数据信息发送给主控处理器；步骤三、主控处理器对接收到的学生的视频数据信息进行预处理，提取学生的面部表情特征和行为特征，通过分析处理器将学生面部表情特征与学生面部表情标准模板进行比较，依据比较结果计算课堂中学生面部表情表现得分，将学生行为特征与学生行为标准模板进行比较，依据比较结果计算课堂中学生行为表现得分；步骤四、主控处理器对接收到的教师的视频数据信息进行预处理，提取教师的面部表情特征和行为特征，通过分析处理器将教师面部表情特征与及教师面部表情标准模板进行比较，依据比较结果计算教师对学生课堂表现面部表情反应的得分，将教师行为特征与教师行为标准模板进行比较，依据比较结果计算教师对学生课堂表现行为反应的得分；步骤五、主控处理器对接收到的学生的语音数据信息进行处理，提取学生语音特征，训练语音标准模板，将学生语音特征与语音标准模板进行比较，依据比较结果计算课堂中每位学生的发言次数及频率、发言时间长短以及小组讨论时的发言比率；步骤六、主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，并与教师教学效果平均分值进行比较，当该分值小于教师教学效果平均分值时，发出提示；步骤七：主控处理器将课堂中学生面部表情和行为表现得分以及教师对学生课堂表现面部表情反应和行为反应的得分进行整合，得出每个学生的课堂行为总分，并将该总分与主控制器中设置的学生课堂行为平均分数进行比较，当该总分小于学生课堂行为平均分数，发出提示；步骤八...
【专利技术属性】
技术研发人员：王鹏，张淑洁，石洁茹，宫晓君，温新，赵丽雯，张利会，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。