【技术实现步骤摘要】
本专利技术涉及计算机视觉领域和自然语言处理领域，具体涉及一种基于多模态数据的课堂教学类型自动检测方法及系统。
技术介绍
1、课堂教学类型作为教学表现的主要方面，通过对课堂教学类型的研究，有助于开展分层多样的个性化课堂教学质量分析，促进课堂教学质量提升。开展基于多模态数据处理技术的课堂教学类型检测，充分利用了深度学习在计算机视觉领域和自然语言处理领域的优势，有利于全面准确了解课堂教学类型，为促进教师有效教学、建设高质量课堂提供支持。当前基于多模态技术的课堂教学类型自动检测中存在以下困难：(1)当前课堂实录视频资源受限于拍摄角度、学生分布干扰、视频质量较低，机器难以自动准确识别教学动作以及音频数据，难以实现对课堂细节的准确提取和识别；(2)缺乏针对课堂教学类型的特征识别与指标构建，难以实现全面系统的课堂教学类型检测判断；(3)缺乏基于多模态数据的课堂教学类型检测的规范化流程和方法，致使规模化、自动化、客观化的课堂教学类型检测分类难以实现。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多模态数据的课堂教学类型自动检测方法及系统，通过自动识别和判断课堂实录视频资源中师生动作、位置和课堂交流数据，提取课堂教学类型特征，实现课堂教学类型的智能检测和精准判断，为全面准确了解课堂教学类型、促进教师高效教学、建设高质量课堂提供支持。
2、本专利技术的目的是通过以下技术措施实现的。
3、一种基于多模态数据的课堂教学类型自动检测方法，包括以下步骤：
4、(1)课堂教学类型检测指标体系构建，针对不同课堂教学类型的特征，确定课堂教学类型检测指标，建立各检测指标的检测要点；
5、(2)课堂教学类型检测指标测算方法建立，根据课堂教学类型检测指标涉及的数据模态处理技术，分别建立图像处理模型和语言处理模型，确定各检测指标测算方法；
6、(3)课堂教学类型检测判断，读取待检测的课堂实录视频资源，使用课堂教学类型检测指标测算方法，得到检测指标测算结果，判断课堂教学类型，以可视化方式展示检测指标测算结果和课堂教学类型判断结果。
7、本专利技术还提供一种基于多模态数据的课堂教学类型自动检测系统，用于实现上述的基于多模态数据的课堂教学类型自动检测方法，包括以下模块：
8、课堂教学类型检测指标模块，基于课堂教学类型特征，建立用于课堂教学类型检测的各项指标，并确认每项指标的检测要点。
9、语言处理模型模块，构建并训练用于课堂教学类型检测指标测算的语言处理模型。
10、图像处理模型模块，构建并训练用于课堂教学类型检测指标测算的图像处理模型。
11、课堂教学类型检测指标测算方法模块，构建用于各项检测指标测算的测算方法。
12、课堂教学类型检测判断模块，使用训练后的课堂教学类型检测指标测算方法，处理待检测的课堂实录视频资源，得到课堂教学类型检测指标测算结果，并基于测算结果判断课堂教学类型。
13、本专利技术的有益效果在于：
14、应用计算机图像识别技术和自然语言处理技术，抓取课堂实录视频中师生图像信息和语音信息进行检测处理，识别课堂教学类型特征，智能分类课堂教学类型，并给出可视化结果展示，支持课堂教学类型的实时检测与自动反馈，有利于全面准确了解课堂教学类型，促进教师教学活动多样化开展和高质量课堂建设。
本文档来自技高网...【技术保护点】
1.一种基于多模态数据的课堂教学类型自动检测方法，其特征在于该方法包括以下步骤：
2.根据权利要求1所述的基于多模态数据的课堂教学类型自动检测方法，其特征在于步骤(1)中所述课堂教学类型检测指标体系构建的具体过程为：
3.根据权利要求1所述的基于多模态数据的课堂教学类型自动检测方法，其特征在于步骤(2)中所述课堂教学类型检测指标测算方法建立的具体过程为：
4.根据权利要求1所述的基于多模态数据的课堂教学类型自动检测方法，其特征在于步骤(3)中所述课堂教学类型检测判断的具体过程为：
5.一种基于多模态数据的课堂教学类型自动检测系统，其特征在于用于实现权利要求1～4任一项中所述的基于多模态数据的课堂教学类型自动检测方法，包括：
【技术特征摘要】
1.一种基于多模态数据的课堂教学类型自动检测方法，其特征在于该方法包括以下步骤：
2.根据权利要求1所述的基于多模态数据的课堂教学类型自动检测方法，其特征在于步骤(1)中所述课堂教学类型检测指标体系构建的具体过程为：
3.根据权利要求1所述的基于多模态数据的课堂教学类型自动检测方法，其特征在于步骤(2)中所述课堂教...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。