一种基于多通道的课堂教学行为识别方法及系统技术方案

本发明专利技术提供了一种基于多通道的课堂教学行为识别方法及系统，方法包括：获取第一摄像头和第二摄像头分别在同一时刻采集的第一视频帧和第二视频帧；第一摄像头用于对教室的讲台区域进行视频采集；第二摄像头用于对教室的学生区域进行视频采集；对第一视频帧和第二视频帧分别进行人脸识别和行为姿态识别并获得讲台区域和学生区域中每个主体人物的身份信息和对应的行为姿态；基于讲台区域和学生区域中每个主体人物的身份信息和对应的行为姿态，以及预设的课堂教学行为判别函数，获得同一时刻对应的课堂教学行为。本发明专利技术避免了课堂教学场景视频信息量丢失的问题，极大地提升了课堂教学行为分析的客观性、全面性和准确率。全面性和准确率。全面性和准确率。

【技术实现步骤摘要】
一种基于多通道的课堂教学行为识别方法及系统


[0001]本专利技术属于教育信息化
，更具体地，涉及一种基于多通道的课堂教学行为识别方法及系统。

技术介绍

[0002]通过对课堂教学行为进行分析，获得客观、有效的课堂教学评价，助力教学模式转换，提升教师专业素养，优化教学品质。
[0003]目前针对课堂教学行为分析，大多采用的是基于问卷和观察的课堂教学行为分析方法。基于问卷和观察的课堂教学行为分析方法虽然具有一定的价值，但需要教师与学生对于课堂教学过程有着清晰的记忆、需要观察者投入大量的时间和精力，并且它们并不一定能获取有效的行为分析信息。另外，对于教师教导行为的自我评价以及针对学生学习行为的外部观察评价，受限于教师水平、学生素养、文化背景等多个因素，此类方法的结果往往缺乏客观性。

技术实现思路

[0004]针对现有技术的缺陷，本专利技术的目的在于提供一种基于多通道的课堂教学行为识别方法及系统，旨在解决常规课堂教学行为分析的客观性不足的问题。
[0005]为实现上述目的，第一方面，本专利技术提供了一种基于多通道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多通道的课堂教学行为识别方法，其特征在于，包括：S101获取第一摄像头和第二摄像头分别在同一时刻采集的第一视频帧和第二视频帧；所述第一摄像头用于对教室的讲台区域进行视频采集；所述第二摄像头用于对教室的学生区域进行视频采集；S102对所述第一视频帧和所述第二视频帧分别进行人脸识别和行为姿态识别并获得讲台区域和学生区域中每个主体人物的身份信息和对应的行为姿态；S103基于所述讲台区域和所述学生区域中每个主体人物的身份信息和对应的行为姿态，以及预设的课堂教学行为判别函数，获得所述同一时刻对应的课堂教学行为。2.根据权利要求1所述的课堂教学行为识别方法，其特征在于，步骤S102具体包括：对所述第一视频帧和所述第二视频帧进行图像融合并获得课堂教学图像；对所述课堂教学图像进行人脸目标检测和人体目标检测并获得课堂教学图像中的各人脸区域特征和各人体区域特征；基于所述各人脸区域特征进行人脸识别并获得所述各人脸区域特征对应的身份信息；基于所述各人体区域特征进行行为姿态识别并获得所述各人体区域特征对应的行为姿态；基于所述各人脸区域特征和所述各人体区域特征中的位置信息，对各身份信息和各行为姿态进行匹配和区域划分并获得讲台区域和学生区域中每个主体人物的身份信息和对应的行为姿态。3.根据权利要求2所述的课堂教学行为识别方法，其特征在于，所述基于所述各人体区域特征进行行为姿态识别并获得所述各人体区域特征对应的行为姿态，包括：基于所述各人体区域特征进行人体关键点提取，得到所述各人体区域特征对应的人体关键点，并基于所述人体关键点构建人体结构图特征；基于所述各人体区域特征和对应的人体结构图特征进行行为姿态分类，得到所述各人体区域特征对应的行为姿态。4.根据权利要求1所述的课堂教学行为识别方法，其特征在于，所述主体人物的身份信息包括：教师以及学生；主体人物的行为姿态包括：阅读/记笔记、听课、侧身、举手、站立以及板书；所述课堂教学行为包括：教师板书、教师讲课、教师提问、教师巡堂、学生板书、学生讨论、学生练习、学生回答问题以及学生上台。5.根据权利要求1至4中任一项所述的课堂教学行为识别方法，其特征在于，所述课堂教学行为判别函数是基于贝叶斯因果网络构建的。6.一种基于多通道的课堂教学行为识别系统，其特征在于，包括：视频帧获取模块，用于获取第一...

【专利技术属性】
技术研发人员：张浩，黄涛，刘三女牙，李宗霖，王翔宇，闵远东，戴志诚，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：