【技术实现步骤摘要】
一种基于多粒度数据融合的学习投入状态评估方法
[0001]本专利技术属于计算机应用
，尤其涉及一种基于多粒度数据融合的学习投入状态的评估方法。
技术介绍
[0002]学生的课堂学习状态一直以来是教师关注和教学评价的重点，传统方法中，研究者常通过观察或问卷的方法来分析学生的学习状态，但是两者在实际应用中都存在着问题。观察法难以在同一时间观察多名研究对象，且获取的信息局限于外在的行为表现，而问卷法则缺乏时效性，并容易受到学生主观因素的影响。因此，大量研究和系统致力于对学生的课堂学习状态进行自动化评估。目前在自动化评估中，最为常用的是基于计算机视觉和生理数据的方法。计算机视觉是最常用的评估方式，因为这种方法具有隐蔽、易于使用和与教师观察场景类似等优点，对学习过程的影响较小。基于计算机视觉的方式是仿照教师的课堂观察，通过学生的面部表情、肢体动作等对学习状态进行识别。Gupta等提出了一种基于最大边缘面部检测的方法，用于基于面部表情识别学习投入程度，最终在训练集和验证集上分别达到了90.67％和87.65％的准确率。Ashwin...
【技术保护点】
【技术特征摘要】
1.一种学习状态信息评估方法，其特征在于，学习状态信息评估方法包括：通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据，再对不同模态数据进行预处理与特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法，并形成最终的学习状态评估模型。2.如权利要求1所述学习状态信息评估方法，其特征在于，学习状态信息评估方法包括以下步骤：步骤一，数据获取：实时采集线上或线下学习过程中的多模态数据；步骤二，数据预处理：进行数据清洗、数据归一化操作；步骤三，数据特征抽取：针对不同模态数据采用针对性方法提取特征；步骤四，数据集划分：对预处理和特征抽取后的数据集进行划分；步骤五，多模态数据融合：采用异步处理思路提出多模态数据融合方法；步骤六，学习状态评估：构建基于异步融合方法的学习状态评估模型。3.如权利要求2所述学习状态信息评估方法，其特征在于，步骤一中的数据获取中，构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据；其中，多模态数据包括EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应以及行为日志的序列数据；采集系统采用云
‑
边
‑
端的模式，单一地感应采集设备为端，用于采集某一模态的数据并上传到边；边为独立的采集单元，用于对采集对象进行数据汇总与预处理并上传到云，其中采集对象为学生个体或学习小组；云为系统的中心服务器，用于对采集到的多模态数据进行分析与处理；步骤二中的数据预处理包括：进行数据清洗，去除因为设备问题或场景特性造成的无效数据；对清洗后的数据以学习者个体为单位进行归一化处理，排除学生个体差异对评估模型产生的影响。4.如权利要求2所述学习状态信息评估方法，其特征在于，步骤三中的数据特征抽取过程中，针对不同模态的数据采用针对性的方法提取特征，以学生的专注状态作为下游任务训练数据特征抽取模块；其中，对视频中的身体姿态信息采用卷积神经网络提取特征，对序列类型数据EEG采用长短期记忆网络提取特征；步骤四中的数据集划分包括：根据交叉验证和分层抽样的原则，对预处理和特征抽取后的数据集进行划分，形成训练集和验证集，分别用于评估模型的训练和模型的评估效果验证；其中，基于专注状态为专注的样本进行分层抽样，划分70％的数据为训练集，30％为验证集。5.如权利要求2所述学习状态信息评估方法，其特征在于，步骤五中的多模态数据融合包括：针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；多模态数据融合过程中，对不同粒度的数据按不同频率进行处理，通过异步处理的方式可以在融合时保留不同粒度数据的时序信息；其中，EEG特征每处理5次，身体姿态特征处理1次，两种不同模态的数据采用双通道的输入方式，以不同的频率处理后再将不同模态的数据进行融合；异步融...
【专利技术属性】
技术研发人员：杨宗凯，杜旭，李浩，张利钊，谢艺乾，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。