【技术实现步骤摘要】
一种基于多模态融合的在线学习智能辅助系统
本专利技术涉及智能服务及网络教育
，特别涉及一种基于多模态融合的在线学习智能辅助系统。
技术介绍
随着信息技术在教育领域的不断应用，教育模式和教育方法不断发生变革。在线学习以其独特的时空优势成为当代众多学习者的选择。在线学习平台如雨后春笋般相继涌出。网上学习不受年龄、时间、地区的影响，可以接收到各种优秀课程资源。相较于传统课堂教学，网上学习有利于培养学生自主学习、自主探索的能力。但是网上学习是一种师生、教学之间的时空分离状态，通常老师无法掌握学生的学习状态，对于自律能力不强的学生，容易出现学习效率不高的问题。通常，老师是通过学生学习时的面部表情来判断学生的学习状态和对该课程知识的感兴趣程度，因此，在智慧教育中要解决的关键问题是实现对学习者的学习情绪检测与识别。情感识别研究的重要基础是有一个合适的情感特征，当前学者对各种单一模态的情感识别研究较多，而对两种情感模态以上的情感特征关注较少。情感识别的实质就是在上述情感载体中提取出特征，并给出其中隐藏的情感信息。当前很多情感识...
【技术保护点】
1.一种基于多模态融合的在线学习智能辅助系统，其特征在于，包括：/n学习图形界面模块，用于提供用户在线学习界面，所述用户在线学习界面包括用户登录界面、用户个人空间界面、学习内容界面；/n数据采集及可视化模块，用于采集用户的多模态情感数据，并将采集的多模态情感数据进行图形化显示；所述多模态情感数据包括表情信号数据、生理信号数据和眼动信号数据；/n数据分析处理模块，用于对采集的多模态情感数据进行分析处理，得到用户的情感类型和气质类型；/n学习反馈模块，用于根据用户不同的情感类型实施相应的学习干预，所述学习干预包括给予鼓励、学习流程调整、学习难度优化；/n学习策略调整模块，用于根...
【技术特征摘要】
1.一种基于多模态融合的在线学习智能辅助系统，其特征在于，包括：
学习图形界面模块，用于提供用户在线学习界面，所述用户在线学习界面包括用户登录界面、用户个人空间界面、学习内容界面；
数据采集及可视化模块，用于采集用户的多模态情感数据，并将采集的多模态情感数据进行图形化显示；所述多模态情感数据包括表情信号数据、生理信号数据和眼动信号数据；
数据分析处理模块，用于对采集的多模态情感数据进行分析处理，得到用户的情感类型和气质类型；
学习反馈模块，用于根据用户不同的情感类型实施相应的学习干预，所述学习干预包括给予鼓励、学习流程调整、学习难度优化；
学习策略调整模块，用于根据用户不同的气质类型调整用户的学习策略，包括学习资源调整和学习方式调整。
2.根据权利要求1所述的在线学习智能辅助系统，其特征在于，所述数据采集及可视化模块包括：
摄像头，用于采集用户的表情信号数据；
可穿戴式生理传感器，用于采集用户的生理信号数据；
眼动仪，用于采集用户的眼动信号数据。
3.根据权利要求1所述的在线学习智能辅助系统，其特征在于，所述数据分析处理模块包括：
生理信号数据处理单元，用于对采集到的生理信号数据进行预处理和时频域特征提取，再利用其时频域特征通过自编码神经网络获取生理信号数据的高层特征；所述生理信号数据包括：皮肤导电性信号数据、心电信号数据、血容量脉冲信号数据；
表情信号数据处理单元，用于对采集到的表情信号数据进行预处理并提取卷积神经网络特征，之后利用自编码神经网络进行选择和融合，得到表情信号数据的高层特征；
多模态特征融合单元，用于利用自编码神经网络对生理信号数据的高层特征和表情信号数据的高层特征进行学习，实现两个模态特征的融合，获取用于分类的多模态融合特征，得到用户的情感类型；
眼动信号数据处理单元，用于对采集的眼动信号数据进行分析处理，得到用户的气质类型。
4.根据权利要求3所述的在线学习智能辅助系统，其特征在于，对采集到的生理信号数据进行预处理包括：提取出生理信号数据的中值、均值、最小值、最大值、范围、标准差、方差作为统计特征；从信号分析角度，提取信号幅度、偏度、峰度、频谱能量作为频谱特征；根据信号频率特性，提取特定个数的包络极大值点作为补充特征；
对采集到的表情信号数据进行预处理包括帧处理及人脸检测；
所述多模态特征融合单...
【专利技术属性】
技术研发人员：解仑，张秋瑜，徐涛，王志良，王先梅，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。