【技术实现步骤摘要】
本专利技术属于多模态表征学习领域，尤其涉及一种基于多模态对齐的学习过程专注程度判断的方法及系统。
技术介绍
1、在教育领域，评价和改善学生的学习专注度一直是一个重要的课题。由于深度学习强大的数据处理和模式识别能力，它被认为在辅助教育效果评估和教育方式分析方面具有巨大的潜力。但在实际应用中，目前依然面临一些挑战和限制。首先，教育数据通常是多模态的，涵盖文本、图像、声音和视频等不同类型，这使得数据的集成和处理变得复杂。其次，教育场景下的数据量往往有限，而深度学习模型通常需要大量数据进行训练，以达到较好的性能，这就需要新的方法来克服数据不足的问题。数据短缺也极大限制了传统方案在教育领域的应用。因此，如何实现仅使用少量样本即可训练，同时又能获得鲁棒的多模态表征，成为了亟待解决的问题。
2、多模态数据的表征学习是指从音频、视频、文本等不同模态中提取信息，并将这些信息转化为高效的数学表征的过程。在教育领域，这种方法可以用来分析学生的行为、情感反应、以及他们与教学内容的互动方式。例如，通过分析学生的语音数据，可以了解他们的参与度和情感状态...
【技术保护点】
1.一种基于多模态对齐的学习过程专注程度判断的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤S1的具体过程如下：
3.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤S2的具体过程如下：
4.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤S3中，在训练专注程度判断模型时采用的总损失为交叉熵损失函数，具体形式如下：
5.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，...
【技术特征摘要】
1.一种基于多模态对齐的学习过程专注程度判断的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤s1的具体过程如下：
3.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤s2的具体过程如下：
4.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤s3中，在训练专注程度判断模型时采用的总损失为交叉熵损失函数，具体形式如下：
5.如权利要求1所述的基于多模态对齐的学习过程专注程度判断的方法，其特征在于，步骤s2中，第一多模态数据表征编码模型为clip的图像编码器，第二...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。