【技术实现步骤摘要】
一种用于指导教学的双模态情绪分类方法
[0001]本专利技术属于人工智能
,具体涉及一种多模态信息融合方法，特别涉及一种用于指导教学的双模态情绪分类方法。
技术介绍
[0002]情绪智力是心理学的一个新兴研究课题，不管是在心理学界，还是在教育界，都引起了研究者的重视和兴趣。情绪智力是一种保持自我控制、热诚和坚持，并能自我激励的能力。一个带着积极情绪学习课程的学生，比那些缺乏热情、乐趣或兴趣的学生，或者比那些对学习内容感到焦虑和恐惧的学生，学习得更加轻松，更加迅速。因此，采用何种教学方式可以更好的提高学生的积极程度，提高教学有效性成了很多学者思考的问题。
[0003]对于学生学习过程中的积极度评估，可以采用脑电信号和人脸图像数据。脑电信号是由中枢神经系统产生的一种空间离散的非平稳随机信号，可以通过放置在受试者头上的电极来记录，相比其他的生理信号能够更真实可靠的反映人的情绪状态。人脸图像是人当前情绪状态最直接的体现，但面部表情易于伪装，可靠性较差，所以可考虑将脑电信号与人脸图像结合起来，采用基双模态情绪识别系统。基...
【技术保护点】
【技术特征摘要】
1.一种用于指导教学的双模态情绪分类方法，通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到分类器中，进行情绪分类；最后将分类器的结果进行融合，得到最终的情绪分类结果；具体步骤为：步骤一、设计实验流程，准备实验视频；步骤二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；步骤三、对所采集到的脑电信号、人脸图像数据分别进行预处理；步骤四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类；其中，分类器采用SVM神经网络，用于脑电信号分类；采用CNN神经网络，用于人脸图像分类；步骤五、对两个子分类器的结果进行融合，得到最终情绪分类结果。2.根据权利要求1所述的双模态情绪分类方法，其特征在于，步骤一的具体流程如下：（1）准备一定数量的不同类型的教学视频，长度均为1
‑
2min；（2）招募若干实验者，参与实验；（3）准备脑电信号采集设别与录像设备；（4）实验正式开始之前，受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基准。3.根据权利要求2所述的双模态情绪分类方法，其特征在于，步骤二的具体流程如下：（1）每一位受试者观看步骤一采集的教育视频，并收集脑电信号、进行视频录像；（2）在每一个视频结束之后，受试者进行自我评估，评估的内容包括唤醒度、愉悦度、喜欢程度、掌控度。4.根据权利要求3所述的双模态情绪分类方法，其特征在于，步骤三所述的预处理的具体流程如下：（1）对脑电信号进行预处理；采用32个活性AgCl电极采集脑电信号，并对采集到的脑电信号降采样到256Hz；（2）将降采样后的脑电信号输入截止频率为2Hz的高通滤波器，并使用脑电采集系统的眼电干扰去除功能和伪迹去除功能，去除眼电伪迹和肌电伪迹；（3）考虑到脑电信号的一般带宽，采用3Hz到47Hz的带通滤波器，对步骤（2）处理后的脑电数据进行过滤，并调整采样数；（4）使用5个脑电波段，分别为theta（4
‑
8Hz）、slow alpha（8
‑
10Hz）、 alpha（8
‑
12Hz）、 beta（12
‑
30Hz）和gamma（30+Hz）；使用14个通道：AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2，共有70个特征；（5）对视频信号进行预处理；将完整的录制视频按照每段实验测试时间1
‑
2min截取，并在每段测试期间按帧截取图片，得到多组受试者人脸表情图片；（6）为了减少冗余内容，对每一帧图片进行人脸对齐和面部剪裁处理；使用主动外观模型AAM获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪。5.根据权利要求4所述的双模态...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。