一种人机协同学生课堂投入度多模态可视分析系统技术方案

本发明专利技术公开了一种人机协同学生课堂投入度多模态可视分析系统，包括依次连接的多模态数据采集模块、学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块和可视化反馈模块，学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块与教育领域知识抽取模块分别邻接。本发明专利技术采用上述结构的一种人机协同学生课堂投入度多模态可视分析系统，通过对学生模态数据的采集分析，依据建立的课堂投入相关的分类标准和指标，对学生在不同场景下的学习投入度进行综合评价与可视化反馈。学习投入度进行综合评价与可视化反馈。学习投入度进行综合评价与可视化反馈。

【技术实现步骤摘要】
一种人机协同学生课堂投入度多模态可视分析系统


[0001]本专利技术涉及智能教学
，尤其是涉及一种人机协同学生课堂投入度多模态可视分析系统。

技术介绍

[0002]学生课堂投入度分析是教育测量与学习分析领域的重要基础。现有的分析技术主要包含两类：基于结构化量表的观察评价技术和基于客观行为计量的编码分析技术。观察评价技术以一系列指向学生课堂投入的评价条目为测量的工具基础，但其常常因观察者的注意和经验差别而具有不稳定的分析标准，主观性较强，且不具备大规模开展的自动化流程基础，测量信度低、分析成本高、结果呈现方式单一。编码分析技术利用人工行为编码系统或基于计算机视觉技术的自动行为编码系统将课堂实况解离为离散的学生行为序列，通常以序列中特定一阶或多阶(转换)行为的比例为客观测量指标为投入度分析标准，具有支持大规模开展的强客观性，但因分析标准受限于单一的外显行为且缺少人的经验参与，测量效度低、可解释性不足、数据模态来源单一。

技术实现思路

[0003]本专利技术的目的是提供一种人机协同学生课堂投入度多模态可视分析系统，通过对学生模态数据的采集分析，依据建立的课堂投入相关的分类标准和指标，对学生在不同场景下的学习投入度进行综合评价与可视化反馈。
[0004]为实现上述目的，本专利技术提供了一种人机协同学生课堂投入度多模态可视分析系统，包括依次连接的多模态数据采集模块、学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块和可视化反馈模块，学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块与教育领域知识抽取模块分别邻接；
[0005]多模态数据采集模块，用于采集课堂过程中产生的原始多模态数据，原始多模态数据包括课堂二维视频数据、课堂深度视频数据、课堂音频数据；
[0006]学习行为分析模块，基于多模态数据源实时计算并初步分析学生的学习行为，具体体现为通过人工智能算法识别课堂中学生的表情、动作、语言的模态信息；
[0007]教学活动融合分析模块，基于学生的行为信息分析生成更高层次的活动信息，具体体现为通过多模态机器学习方法将各模态信息协同表示为相匹配的学习活动；
[0008]课堂投入度分析模块，用于在特定场景中联合客观的学习活动信息进行针对学生个体的投入度分析计算，其中特定场景为教学活动发生的背景类别，包括讲授、练习、讨论，投入度分析计算的具体指标维度来自于教育领域知识抽取模块，其原始值通过m列的场景行矩阵、m行n列的权重矩阵与n行的活动列矩阵相乘计算得出，权重矩阵来源于教育领域知识抽取模块，指标的标准值在原始值的基础上通过零
‑
均值标准化方法进行计算；
[0009]教育领域知识抽取模块，用于征询、联合专家意见，形成与课堂投入相关的各层次理论维度与指标，各层次理论维度与指标包括：与课堂投入相关的学习行为分类标准、与课
堂投入相关的学习活动分类标准、与课堂投入相关的教学场景分类标准、课堂投入测量维度及指标、各学习活动在各教学场景中对应各测量指标的权重矩阵；
[0010]可视化反馈模块，用于可视化输出与课堂投入相关的行为、活动识别结果与评价指标计算结果，计算课堂过程中各场景下各学生的学习投入指标得分，将评价指标计算结果输出为投入度变化曲线，可视化输出的输出方式为视频与图像输出。
[0011]优选的，多模态数据采集模块由2台4K摄像机和1台深度摄像机构成，两台4K摄像机分别置于教室黑板的左上角和右上角，深度摄像机置于黑板上边缘中心位置，两台4K摄像机分别拍摄教室中的左半侧、右半侧学生，中央的深度摄像机向前拍摄教室中所有学生。
[0012]优选的，学习行为分析模块中，通过人工智能算法识别课堂中学生模态信息的实现方法包括：
[0013]1)通过人工智能算法进行置信度阈值调节，利用计算机视觉技术识别出全部可见的师生实体，并检测出二维图片中实体的位置、类别与置信度；
[0014]2)结合二维实体位置信息和和实体深度信息，通过以最小化帧间实体位置偏移为优化目标的动态追踪算法进行“实体
‑
标签”映射，动态追踪算法的优化目标为三维空间中相邻帧全部实体欧几里得距离的最小偏移量之和；
[0015]3)通过语音识别算法和中文词向量算法，提取并对齐语言信息，对于非结构化的言语信息，应用基于公共语料库的中文词向量预训练模型转化为300维的结构化向量；
[0016]4)利用基于公开大型数据集训练的表情、动作识别模型，基于在教育领域知识抽取模块中审定的行为分类编码标准，识别得出各师生实体在各帧中的表情与动作状态。
[0017]优选的，教学活动融合分析模块中，多模态机器学习方法的实施步骤包括：
[0018]1)将学生实体的表情、动作、语言模态信息映射到同一个特征空间x中；
[0019]2)基于在教育领域知识抽取模块中审定的学习活动分类编码标准，训练从表情、动作、语言等模态信息到学习活动的分类模型，进行自动化的学生实体活动匹配编码。
[0020]优选的，教育领域知识抽取模块中，形成与课堂投入相关的各层次理论维度与指标的步骤如下：
[0021]1)与学习行为分析模块对接，制订学习行为分类编码标准，依据当前计算机可识别的相关动作与表情，筛选出与课堂教学行为高度相关的行为和表情，包括头部姿态、肢体动作、表情、言语和人际交互动作；
[0022]2)与教学活动融合分析模块对接，制订教学活动分类编码标准，分别对学生进行听讲、动手实验/实践、记笔记、做练习、操作电脑/PAD、举手、起立、阅读、与老师会话、对老师进行反馈、同伴讨论、动手协作、课堂脱离的13种活动状态进行编码解释，构建出教学活动自动化分析编码表；
[0023]3)与课堂投入度分析模块对接，制订教学场景分类编码标准，制订不同场景描述下对应的场景编码和场景类别；
[0024]4)与课堂投入度分析模块对接，审定与课堂投入相关的评价指标维度；
[0025]5)与课堂投入度分析模块模块对接，主客观联合确定从场景、活动到各投入评价指标的权重矩阵。
[0026]因此，本专利技术采用上述结构的一种人机协同学生课堂投入度多模态可视分析系统，通过对模型计算过程的拆解和领域知识的引入，实现可解释性，进而通过通用场景的分
析结果直接解释教育中的师生行为、动作；采用非侵入式的多模态数据采集与分析技术对学习行为和学习投入进行分析，有利于改善单模态信息量不足且容易受到外界因素影响的问题，对于提高协作学习投入分析的精准度具有重要价值；将场景引入分析流程，探究各场景中学习投入的变化规律，对学生在不同的场景中，其行为、语言、学习投入度等不同的学习变量进行表征。
[0027]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0028]图1为本专利技术一种人机协同学生课堂投入度多模态可视分析系统结构示意图；
[0029]图2为本专利技术实施例多模态数据采集模块结构分布示意图；
[0030本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机协同学生课堂投入度多模态可视分析系统，其特征在于：包括依次连接的多模态数据采集模块、学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块和可视化反馈模块，学习行为分析模块、教学活动融合分析模块、课堂投入度分析模块与教育领域知识抽取模块分别邻接；多模态数据采集模块，用于采集课堂过程中产生的原始多模态数据，原始多模态数据包括课堂二维视频数据、课堂深度视频数据、课堂音频数据；学习行为分析模块，基于多模态数据源实时计算并初步分析学生的学习行为，具体体现为通过人工智能算法识别课堂中学生的表情、动作、语言的模态信息；教学活动融合分析模块，基于学生的行为信息分析生成更高层次的活动信息，具体体现为通过多模态机器学习方法将各模态信息协同表示为相匹配的学习活动；课堂投入度分析模块，用于在特定场景中联合客观的学习活动信息进行针对学生个体的投入度分析计算，其中特定场景为教学活动发生的背景类别，包括讲授、练习、讨论，投入度分析计算的具体指标维度来自于教育领域知识抽取模块，其原始值通过m列的场景行矩阵、m行n列的权重矩阵与n行的活动列矩阵相乘计算得出，权重矩阵来源于教育领域知识抽取模块，指标的标准值在原始值的基础上通过零
‑
均值标准化方法进行计算；教育领域知识抽取模块，用于征询、联合专家意见，形成与课堂投入相关的各层次理论维度与指标，各层次理论维度与指标包括：与课堂投入相关的学习行为分类标准、与课堂投入相关的学习活动分类标准、与课堂投入相关的教学场景分类标准、课堂投入测量维度及指标、各学习活动在各教学场景中对应各测量指标的权重矩阵；可视化反馈模块，用于可视化输出与课堂投入相关的行为、活动识别结果与评价指标计算结果，计算课堂过程中各场景下各学生的学习投入指标得分，将评价指标计算结果输出为投入度变化曲线，可视化输出的输出方式为视频与图像输出。2.根据权利要求1的一种人机协同学生课堂投入度多模态可视分析系统，其特征在于：多模态数据采集模块由2台4K摄像机和1台深度摄像机构成，两台4K摄像机分别置于教室黑板的左上角和右上角，深度摄像机置于黑板上边缘中心位置，两台4K摄像机分别拍摄教室中的左半侧、右半侧学生，中央的深度摄像机向前拍摄教室中所有学生。3.根据权利要求1的一种人机协同学生课堂投入度多模态可视分析系统，其特征在...

【专利技术属性】
技术研发人员：蒋艳双，祁彬斌，包昊罡，黄荣怀，刘德建，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：