一种基于多模态数据融合的在线学习状态检测方法技术

本申请公开了一种基于多模态数据融合的在线学习状态检测方法，该方法包括：获取待检测对象的面部图像及脑电信号；将面部图像信息及脑电信号输入训练好的多模态融合模型中，提取待检测对象当前的视线方向及脑电情绪状态；所述多模态融合模型包括第一网络模型和第二网络模型，第一网络模型为利用具有视线方向标签的多幅面部图像样本训练得到，第二网络模型为利用具有脑电情绪标签的多个脑电波样本训练得到；基于视线方向和脑电情绪状态生成待检测对象当前的学习状态数据。本发明专利技术实现视线信息与脑电信号的互补，实时检测学习者的在线学习状态，为下一步的学习指导提供客观支撑数据，有助于合理规划学习内容，提升学习效率，实现良性循环。现良性循环。现良性循环。

【技术实现步骤摘要】
一种基于多模态数据融合的在线学习状态检测方法


[0001]本申请涉及模式识别与信号处理
，更具体地，涉及一种基于多模态数据融合的在线学习状态检测方法。

技术介绍

[0002]随着教育信息化的高速发展，人工智能技术已经被越来越多地应用于教育教学过程中。近年来，新型冠状病毒肺炎的爆发打破了传统的线下教学模式，许多学生采用在线学习的方式来进行学习。然而，脱离了线下教学的有监管场景，导致学生对自己实时的状态难以把控，不能合理规划学习内容，学习效率低下成为亟待解决的问题。因此，采用一种学习状态检测方法辅助学习者进行在线学习，根据检测结果使学生针对性地进行下一步学习规划，从而提高学习者在线学习的学习效率具有十分重要的意义。
[0003]影响学习效率的特殊精神与心理状态
‑‑
脑力疲劳，是一种以主观倦怠感、认知功能下降、睡眠倾向性为主要表现的人体状态。脑力疲劳是一种特殊的疲劳性精神状态，主要表现为倦怠、警觉性降低、动机缺乏、认知活动能力下降和学习工作效率降低。
[0004]脑电信号(EEG)是一种自发的神经活动，是大脑在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的在线学习状态检测方法，其特征在于，包括：S1获取待检测对象的面部图像及脑电信号；S2将所述面部图像及脑电信号输入训练好的多模态融合模型中，提取所述待检测对象当前的视线方向及脑电情绪状态；其中，所述多模态融合模型包括第一网络模型和第二网络模型；所述第一网络模型为利用具有视线方向标签的多幅面部图像样本训练得到，所述第二网络模型为利用具有脑电情绪标签的多个脑电波样本训练得到；多模态融合模型将第一网络模型输出的视线特征及第二网络模型输出的脑电情绪特征进行融合分类，得到待检测对象当前的视线方向和脑电情绪状态；S3基于所述视线方向和脑电情绪状态生成待检测对象当前的学习状态数据。2.如权利要求1所述的在线学习状态检测方法，其特征在于，将所述面部图像信息及脑电信号输入训练好的多模态融合模型中之前还包括：采用分帧和裁剪操作对面部图像进行预处理；对脑电信号进行降采样和带通滤波处理。3.如权利要求1或2所述的在线学习状态检测方法，其特征在于，所述第一网络模型包括权重共享的第一特征提取层和第二特征提取层，还包括特征重建模块和编码感知模块；所述第一特征提取层、第二特征提取层用于从面部图像中提取局部特征，生成一个特征矩阵；所述特征重建模块用于根据所述特征矩阵恢复图像，从特征空间重建出原始图像；该特征重建模块与第二特征提取层结合为对抗重建网络；所述编码感知模块用于根据所述特征矩阵生成视线特征，其包括Transformer模型和双层MLP感知器。4.如权利要求3所述的在线学习状态检测方法，其特征在于，所述第一网络模型的训练过程包括：获取具有视线方向标签的面部图像样本；将所述面部图像样本输入到待训练的第一网络模型中，通过模型输出预测的视线特征；根据所述视线特征及视线方向标签计算第一损失函数，反向调整所述待训练的第一网络模型的模型参数，直至所述第一损失函数最小化，得到训练好的第一网络模型。5.如权利要求4所述的在线学习状态检测方法，其特征在于，所述第一损失函数定义为第二特征提取层、特征重建模块和编码感知模块各自的损失函数之和；特征重建模块的损失函数记作L
re
，其定义为：其中，p为输入的面部图像，为重建后的面部图像；第二个特征提取层与特征重建模块进行对抗，其对抗损...

【专利技术属性】
技术研发人员：刘海，林丹月，刘婷婷，张昭理，王镜淇，张诚，朱晓倩，宋林森，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：