一种基于多粒度数据融合的学习投入状态评估方法技术

本发明专利技术属于计算机应用技术领域，公开了一种基于多粒度数据融合的学习投入状态评估方法，通过构建学习多模态数据采集系统，采集线上或线下学习过程中的多模态数据，再对不同模态数据进行预处理和特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；对预处理和特征抽取后的数据集进行划分，形成训练集和验证集；构建基于异步融合方法的学习状态评估模型。本发明专利技术的多模态学习数据多粒度处理方法，在融合多粒度的多模态数据时采用异步处理的方式，考虑不同模态数据间相互关系的同时保留所有粒度数据的时序信息，从而提升学习状态识别模型的准确率和稳定性，通过构建多模态数据采集系统实现学习状态的实时自动评估。状态的实时自动评估。状态的实时自动评估。

【技术实现步骤摘要】
一种基于多粒度数据融合的学习投入状态评估方法


[0001]本专利技术属于计算机应用
，尤其涉及一种基于多粒度数据融合的学习投入状态的评估方法。

技术介绍

[0002]学生的课堂学习状态一直以来是教师关注和教学评价的重点，传统方法中，研究者常通过观察或问卷的方法来分析学生的学习状态，但是两者在实际应用中都存在着问题。观察法难以在同一时间观察多名研究对象，且获取的信息局限于外在的行为表现，而问卷法则缺乏时效性，并容易受到学生主观因素的影响。因此，大量研究和系统致力于对学生的课堂学习状态进行自动化评估。目前在自动化评估中，最为常用的是基于计算机视觉和生理数据的方法。计算机视觉是最常用的评估方式，因为这种方法具有隐蔽、易于使用和与教师观察场景类似等优点，对学习过程的影响较小。基于计算机视觉的方式是仿照教师的课堂观察，通过学生的面部表情、肢体动作等对学习状态进行识别。Gupta等提出了一种基于最大边缘面部检测的方法，用于基于面部表情识别学习投入程度，最终在训练集和验证集上分别达到了90.67％和87.65％的准确率。Ashwin等提出了一种混合卷积神经网络，基于面部表情、手部动作和身体姿态识别学生情感状态，并在特意做出的表情和自发表情数据集上分别达到86％和70％的准确率。Ngoc等构建了基于动作的学习状态自动识别系统，为课堂评价提供支持。基于计算机视觉的学习状态识别技术已经较为成熟，然而这种基于外在可观察特征的学习状态识别难以顾及学习者内在的认知与心理特征，因而在识别学习状态时仍有所局限。基于生理数据的方法得益于传感技术的发展，通过学生的皮肤电、心率、脑电波等生理特征判断学生的学习状态。而与其他生理数据相比，脑电数据更能准确反映学生的认知状态。脑电数据提供了与认知密切相关的脑神经突触活动的大规模测量结果，因此被认为是真正的“心灵之窗”，在认知与专注相关研究中被大量应用。Mazher等通过脑电评测多媒体学习任务中的认知负荷，发现认知负荷与脑电不同波段和不同区域的强度有关，可以通过脑电评测多媒体任务中的认知负荷。Lee研究脑电、问卷和成绩与学生的认知负荷间的关系，发现认知负荷与问卷和脑电beta波段的强度正相关。Chen等和Kuo等分别开发了基于脑电的注意力监测系统，帮助教师了解学生的注意情况。Lin等通过脑电监测学生的注意力，并将学生处于低注意力时学习的内容提供给学生进行复习，从而提高了学习效果。通过生理数据可以识别学习者的心理与认知状态，但如果仅从内在的心理状态出发，不考虑学生外在的行为表现，仍难以准确的评估学习状态信息。同时，外在的行为表现与生理信息反映的内在心理特征并不是割裂的，两者之间相互影响，共同决定最终的学习效果。因此在识别学习状态信息时应融合外在与内在模态的信息，在有效融合的基础上进行评估。
[0003]然而大多数数据采集方法仍然是在实验环境下使用，少有研究在真实教学场景下同时采集多个模态的数据。不同模态的数据需要不同的数据采集方式，进而需要不同的数据处理方法与特征抽取方法，如何在真实教学场景下大规模采集与处理多模态数据，是将
多模态数据应用于教学支持亟待解决的问题。
[0004]此外，这些方法仅考虑了单一模态数据的信息，不同模态的数据从不同的侧面描绘了学习过程，蕴含不同的信息。因此，将多模态数据融合，可以实现信息互补，从而进一步提升学习状态识别的准确率和稳定性。然而，多模态数据具有粒度不同的特性，如何有效融合多模态数据，在融合过程中充分考虑不同粒度数据的信息是基于多模态识别学习状态需要解决的重要问题。传统的数据融合方法中，通常将不同粒度的数据按照最大粒度为单位进行对齐，或者对不同粒度的数据分别构建模型，然后融合不同模型的结果。这两种方法存在各自的缺陷，数据对齐的方法在融合多模态数据时没有考虑细粒度数据的序列信息，而分别构建模型的方法没有考虑不同模态数据间的相互关系。
[0005]同时，传统的观察与问卷法难以满足实时大规模评估学习状态的需要，单一模态数据也难以全方位的描绘学习过程，而目前缺乏在真实课堂环境中大规模采集与处理多模态数据的方法与系统。
[0006]传统的多模态数据融合方法在保留不同粒度数据序列信息方面存在局限性。传统方法中，数据按照最大粒度进行排序，会丢失部分细粒度数据的序列信息；而采用集成模型的思路，不同模态数据分别建立模型，训练时没有充分考虑各模态之间的影响。因此，如何有效融合多模态数据是有待研究的问题。
[0007]通过上述分析，现有技术存在的问题及缺陷为：
[0008](1)传统的观察与问卷法难以满足实时大规模评估学习状态的需要，而目前缺乏在真实课堂环境中大规模采集与处理多模态数据的方法与系统。
[0009](2)大多数数据采集方法在实验环境下使用，少有技术在真实教学场景下同时采集多个模态数据，且单一模态数据也难以全方位描绘学习过程。
[0010](3)现有数据对齐的方法在融合多模态数据时没有考虑细粒度数据的序列信息，而分别构建模型的方法没有考虑不同模态数据间的相互关系。

技术实现思路

[0011]针对现有技术存在的问题，本专利技术提供了一种学习状态信息评估方法、系统、介质、设备及终端，尤其涉及一种基于多模态多粒度学习数据融合的学习状态信息评估方法及系统。
[0012]本专利技术是这样实现的，一种学习状态信息评估方法，学习状态信息评估方法包括：通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据，再对不同模态数据进行预处理与特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法，并形成最终的学习状态评估模型。
[0013]进一步，学习状态信息评估方法包括以下步骤：
[0014]步骤一，数据获取：实时采集线上或线下学习过程中的多模态数据；
[0015]步骤二，数据预处理：进行数据清洗、数据归一化操作；
[0016]步骤三，数据特征抽取：针对不同模态数据采用针对性方法提取特征；
[0017]步骤四，数据集划分：对预处理和特征抽取后的数据集进行划分；
[0018]步骤五，多模态数据融合：采用异步处理思路提出多模态数据融合方法；
[0019]步骤六，学习状态评估：构建基于异步融合方法的学习状态评估模型。
[0020]进一步，步骤一中的数据获取中，构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据；其中，多模态数据包括EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应以及行为日志的序列数据。
[0021]采集系统采用云
‑
边
‑
端的模式，单一地感应采集设备为端，用于采集某一模态的数据并上传到边；边为独立的采集单元，用于对采集对象进行数据汇总与预处理并上传到云，其中采集对象为学生个体或学习小组；云为系统的中心服务器，用于对采集到的多模态数据进行分析与处理。
[0022]进一步，步骤二中的数据预处理包括：进行数据清洗，去除因为设备问题或场景特性造成的无效数据；对清洗后的数据以学习者个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学习状态信息评估方法，其特征在于，学习状态信息评估方法包括：通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据，再对不同模态数据进行预处理与特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法，并形成最终的学习状态评估模型。2.如权利要求1所述学习状态信息评估方法，其特征在于，学习状态信息评估方法包括以下步骤：步骤一，数据获取：实时采集线上或线下学习过程中的多模态数据；步骤二，数据预处理：进行数据清洗、数据归一化操作；步骤三，数据特征抽取：针对不同模态数据采用针对性方法提取特征；步骤四，数据集划分：对预处理和特征抽取后的数据集进行划分；步骤五，多模态数据融合：采用异步处理思路提出多模态数据融合方法；步骤六，学习状态评估：构建基于异步融合方法的学习状态评估模型。3.如权利要求2所述学习状态信息评估方法，其特征在于，步骤一中的数据获取中，构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据；其中，多模态数据包括EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应以及行为日志的序列数据；采集系统采用云
‑
边
‑
端的模式，单一地感应采集设备为端，用于采集某一模态的数据并上传到边；边为独立的采集单元，用于对采集对象进行数据汇总与预处理并上传到云，其中采集对象为学生个体或学习小组；云为系统的中心服务器，用于对采集到的多模态数据进行分析与处理；步骤二中的数据预处理包括：进行数据清洗，去除因为设备问题或场景特性造成的无效数据；对清洗后的数据以学习者个体为单位进行归一化处理，排除学生个体差异对评估模型产生的影响。4.如权利要求2所述学习状态信息评估方法，其特征在于，步骤三中的数据特征抽取过程中，针对不同模态的数据采用针对性的方法提取特征，以学生的专注状态作为下游任务训练数据特征抽取模块；其中，对视频中的身体姿态信息采用卷积神经网络提取特征，对序列类型数据EEG采用长短期记忆网络提取特征；步骤四中的数据集划分包括：根据交叉验证和分层抽样的原则，对预处理和特征抽取后的数据集进行划分，形成训练集和验证集，分别用于评估模型的训练和模型的评估效果验证；其中，基于专注状态为专注的样本进行分层抽样，划分70％的数据为训练集，30％为验证集。5.如权利要求2所述学习状态信息评估方法，其特征在于，步骤五中的多模态数据融合包括：针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；多模态数据融合过程中，对不同粒度的数据按不同频率进行处理，通过异步处理的方式可以在融合时保留不同粒度数据的时序信息；其中，EEG特征每处理5次，身体姿态特征处理1次，两种不同模态的数据采用双通道的输入方式，以不同的频率处理后再将不同模态的数据进行融合；异步融...

【专利技术属性】
技术研发人员：杨宗凯，杜旭，李浩，张利钊，谢艺乾，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：