基于大语言模型与多模态信息融合的课堂教学分析方法技术

本发明专利技术涉及课堂教学分析领域，具体涉及一种基于大语言模型与多模态信息融合的课堂教学分析方法。方案包括：通过ASR模型处理课堂音频，输出N‑best候选列表，其中每个候选列表包含置信度评分及时间对齐信息，通过设定置信度阈值筛选N‑best候选中低置信度列表，仅保留高置信度候选；对N‑best候选列表进行修正，得到修正后的SRT；将修正后的SRT文档分为有效语音转写时段、嘈杂时段和安静时段；对课堂视频进行抽帧并标注教师行为和学生行为，通过标注数据对传统视觉模型和视觉大模型进行训练，然后进行检测，得到师生行为时间段，作为SRT分析的辅助进行多模态数据分析。本发明专利技术适用于课堂教学分析。

【技术实现步骤摘要】

本专利技术涉及课堂教学分析领域，具体涉及一种基于大语言模型与多模态信息融合的课堂教学分析方法。

技术介绍

1、随着信息技术与人工智能的发展，人工智能在教育领域的应用日益广泛。然而，在实际的课堂场景中，语音转录结果往往受到环境嘈杂、收音不清晰、发言人较多、方言口音等因素的影响，导致转录内容存在错误率较高、语义不连贯等问题。此外，现有的语音转录技术在课堂特定场景下缺乏针对性优化，无法有效应对上述复杂因素的干扰，限制了课堂语音转录技术的实际应用效果。

2、另一方面，课堂中的行为分析(如教师的巡视、板书、讲授和学生的读写、举手、听课等)对于理解教学过程和评估教学质量具有重要意义。然而，现有的行为分析技术多依赖于单一的视觉模型，缺乏对复杂课堂场景的适应性和准确性。特别是在多模态数据融合方面，现有技术未能充分利用音频和视频信息的互补性，导致分析结果的可靠性和完整性不足。

技术实现思路

1、本专利技术的目的在于克服现有技术的缺点，提供一种基于大语言模型与多模态信息融合的课堂教学分析方法，提高了对课堂教学的精准分本文档来自技高网...

【技术保护点】

1.基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，包括：

2.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，步骤S1具体包括：

3.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，步骤S2具体包括：

4.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，嘈杂时段识别包括：

5.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，步骤S4具体包括：

6.根据权利要求5所述的基于大语言模...

【技术特征摘要】

1.基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，包括：

2.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，步骤s1具体包括：

3.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，步骤s2具体包括：

4.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析方法，其特征在于，嘈杂时段识别包括：

5.根据权利要求1所述的基于大语言模型与多模态信息融合的课堂教学分析...

【专利技术属性】
技术研发人员：杨帆，黄晨阳，张盛强，季翔，
申请(专利权)人：成都元素科技有限公司，
类型：发明
国别省市：