一种在线学习场景下基于眼动信号的情感识别方法技术

本发明专利技术公开了一种在线学习场景下基于眼动信号的情感识别方法，包括4个步骤：S1数据采集模块：设计了一个模拟在线学习场景的数据采集实验来获取眼动信号的相关数据；S2眼动信号预处理模块：对采集到的眼动信号进行预处理；S3眼动特征提取与融合模块：将预处理后的眼动信号进行手工特征提取得到浅层特征，随后将浅层特征输入CNN中提取信号的深层特征，最后将深层特征与浅层特征进行特征层融合并降维得到眼动信号的融合特征；S4情感识别模块：将融合特征应用于决策树算法中对高兴、无聊、困惑和感兴趣四种情感进行识别，然后通过相关指标对识别效果进行判定。本发明专利技术能够提高在线学习场景下情感识别的精度，为未来本领域的研究提供了更多参考价值。供了更多参考价值。供了更多参考价值。

【技术实现步骤摘要】
一种在线学习场景下基于眼动信号的情感识别方法


[0001]本专利技术涉及情感识别领域，特别是涉及一种在线学习场景下基于眼动信号的融合特征并使用机器学习算法对学生进行情感识别的方法。

技术介绍

[0002]在线学习是近年来在高等教育领域迅速兴起的一种新型教学模式。它以网络和多媒体技术为手段，具有比传统教学模式更灵活的教学组织形式，已成为当前教育研究的热点。尽管在线学习有很多好处，但这种教学模式仍然面临很多挑战，核心问题便是学生的流失率或者说高辍学率。有研究表明，学生在学习过程中表现出来的情绪会对学生的学习效果以及是否继续参与课程产生很大的影响，因此对学生在在线学习中产生的情感进行准确地识别便成为一个需要解决的重要问题。
[0003]早期的情感识别研究更多地依赖人类的身体信号，例如语音，姿势和面部表情等。然而这些信号的缺点在于容易受人自身主观因素的影响，有时所表现出的甚至不是真实的情感，具有一定局限性。相比之下，人类的生理信号受到中枢神经系统支配，能够更加客观地反映人的情绪状态，所以通过生理信号来进行情感识别就成为当前研究的重点。眼睛作为人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在线学习场景下基于眼动信号的情感识别方法，其特征在于，包括以下步骤：步骤S1.数据采集：设计了一个模拟在线学习场景的数据采集实验来获取眼动信号的相关数据；步骤S2.眼动信号预处理：对采集到的眼动信号进行预处理；步骤S3.眼动特征提取与融合：将预处理后的眼动信号进行手工特征提取得到浅层特征，随后将浅层特征输入CNN中提取信号的深层特征，最后将深层特征与浅层特征进行特征层融合并降维得到眼动信号的融合特征；步骤S4.情感识别：将融合特征应用于决策树算法中对高兴、无聊、困惑和感兴趣四种情感进行识别，然后通过相关指标对识别效果进行判定；所述步骤S1数据采集步骤如下：步骤S11：招募被试采集数据；选择不同主题的视频片段作为刺激素材，并招募在校大学生作为实验被试，使用眼动仪采集被试的眼动信号，并令被试标记在采集过程中产生的情感；步骤S12：回顾并标注情感；实验人员引导被试回顾在观看视频片段时产生的所有情感，然后结合实验期间所标记的情感来最终标注出每条视频里具体时间段的情感；所述步骤S2眼动信号预处理步骤如下：步骤S21：去除缺失值及降噪；去除在数据采集过程中由于被试眨眼及闭眼而导致的缺失值，其次采用滑动中值滤波对数据进行降噪，然后对注视和眼跳这两个指标进行区分；步骤S22：去除基线；对预处理后的眼动信号数据进行个体差异标准化操作，又称为去除基线操作，就是用降噪后的被试的眼动信号的值减去被试在平静状态下经降噪后的眼动信号的基线值，其过程表达式(1)如下：X
emotion
＝X
origin
‑
X
baseline
ꢀꢀ
(1)其中X
origin
为去除基线前经过降噪的眼动信号数据的初始值，X
baseline
为...

【专利技术属性】
技术研发人员：李泽，王玫，陶小梅，鲍金笛，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：