【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于多模态大语言模型的学习者投入度分析方法和系统。
技术介绍
1、学习者投入度是指学生积极参与和投入到学习历程的程度，学习者投入度主要划分为行为投入、情感投入以及认知投入三个维度，其反映了学生对于正在经历的学习活动，在认知上、情感上以及行为上的投入状态，它是衡量学生学习过程质量的一个重要指标。
2、传统的学习者投入度评估方法主要侧重由人为手工填写分析，比如个人报告填写方式，该方法主要是让参与者回答一系列与他们的经历相关的问题，例如，他们的参与度和兴趣程度；另一种常用方法则是由外部专家所开展的观察性研究，该方法侧重于对学生的行为分析。这些传统分析方法是回顾总结性的，因而导致无法准确反映出学生的实时参与度。基于机器学习或深度学习的学习者投入度自动估计方法逐渐被提出，然而，这些深度学习和计算机视觉技术估计的学习者学习投入度水平容易受到随时间而变化的影响，进而难以适应实际教学场景下对学生的学习投入度自动分析任务。
技术实现思路
1、为解决上述技术问题，本...
【技术保护点】
1.一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述视频指令训练数据集包括第一视频指令训练数据和第二视频指令训练数据，所述对所述课堂视频样本进行人工标注和算法标注，得到视频指令训练数据集这一步骤，其具体包括：
3.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述根据所述视频指令训练数据集对预设的大语言模型进行特征对齐预训练和端到端指令微调训练，得到投入度分析多模态大模型这一步骤，其具体包括：p>
4.根据权...
【技术特征摘要】
1.一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述视频指令训练数据集包括第一视频指令训练数据和第二视频指令训练数据，所述对所述课堂视频样本进行人工标注和算法标注，得到视频指令训练数据集这一步骤，其具体包括：
3.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述根据所述视频指令训练数据集对预设的大语言模型进行特征对齐预训练和端到端指令微调训练，得到投入度分析多模态大模型这一步骤，其具体包括：
4.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述对所述课堂学习情境视频进行特征提取，得到与所述课堂学习情境视频对应的视频帧和音频帧这一步骤，其具体包括：
5.根据权利要求4所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述对所述视频帧和所述音频帧进行时序嵌入，得到多模态特征向量这一步骤，其具体包括：
6.根据权利要求1所述的一种基于多模态大语言模型的学习者投入度分析方法，其特征在于，所述对所述多模态特征向量进行高维映射，得到多模态高维向量这一步骤，其具体包括：
7.根据权利要求1至6中任一项...
【专利技术属性】
技术研发人员：黄昌勤，蒋凡，蒋云良，肖俊，黄琼浩，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。