基于多传感器的学生课堂掌握程度评估系统和方法技术方案

本发明专利技术公开了一种基于多传感器的学生课堂掌握程度评估系统与方法，其实现包括：学生数据采集；学生面部图像序列和语音序列分别预处理；面部表情和语音特征提取；面部表情、语音、考试成绩分类处理；使用高斯混合模型融合分类结果；融合结果分析给出课堂评估及建议。本发明专利技术语音情感处理中，采用了深度学习中卷积神经网络，避免了复杂的人工特征提取；采用高斯混合模型使各分类器分类置信度随样本分布而定，自适应融合。本发明专利技术本着学生面部表情、学生语音、学生考试成绩相结合的思路，设计出基于多传感器的学生课堂掌握程度评估新方案。更客观、准确的评估课堂学生掌握状况，对学生掌握状况作出判断并给出教学评估结果及相应建议。

【技术实现步骤摘要】
基于多传感器的学生课堂掌握程度评估系统和方法
本专利技术属于图像与语音处理
，更进一步涉及模式识别技术,具体是一种基于多传感器的学生课堂掌握程度评估系统和方法。用于教学、心理、人机交互等领域。
技术介绍
现有的教学评估系统多以人的主观判断为准，评估结果因人而异，造成影响，因此对学生在听课时的面部表情和语音进行情感分析，使评估结果尽可能公平准确已成为教育的追求。教学管理者也可以及时掌握教师教学效果和学生学习情况，调整教学管理与决策的目标、方法和策略。河海大学提出的专利申请“一种基于模糊支持向量机的汉语语音情感识别方法”(专利申请号CN201210494888.X，公开号CN103258532A)公开了一种汉语语音情感识别方法。公开了一种基于模糊支持向量机的汉语语音情感识别方法，用于汉语语音的情感识别。识别过程包括粗分类和细分类两个阶段：第一阶段，粗分阶段提取待识别样本的全局统计情感特征，根据基音范围、平均基音值，基音变化和声音强度，使用模糊支持向量机，使用粗分类模糊支持向量机将情感分为三大粗分类；第二阶段，细分阶段增加类内情感的区分度，使用细分类模糊支持向量机对粗分类内部进行更细划分，从而识别每种情感。其中，情感特征与说话人和文本内容无关，支持向量机训练受模糊因子指导，细分特征经PCA降维增加区分度。采用全局统计音质特征实现与说话人和文本内容无关的汉语语音情感表示；采用模糊支持向量机，在混杂语音情感条件下，获得更好的识别精度，但是，该方法仍然存在的不足是：SVM的最终决策函数只由少数的支持向量所确定，由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及矩阵的计算，当数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间；支持向量机算法只给出了二类分类的算法，而在实际应用中，一般要解决多类的分类问题，不利于实时处理。芜湖乐锐思信息咨询有限公司提出的专利申请“一种教学评估系统”(专利申请号201510932067.3)公开了一种教学评估系统，包括：教学评估统计单元、教学评估分析单元、用户端、数据存储单元和显示单元；教学评估统计单元包括教学课程质量统计单元、教学老师讲课详细度统计单元、教学课后辅导统计单元；教学评估分析单元包括：教学质量评估分析单元、教学成绩分析单元和教学升学率评估分析单元；教学评估统计单元、数据存储单元和显示单元分别与教学评估分析单元相连接，用户端和教学质量评估分析单元相连接；教学评估统计单元和数据存储单元相连接；用于统计分析教学质量以及整个学校的教学质量评估。但是该教学评估系统存在的不足是：未考虑学生在教学过程中扮演的角色，使教学质量评估数据来源显得单一，且处理单一化。目前针对课堂教学尚未有机器化的评估方法。现有技术中，语音情感处理中仍然存在人工特征选择的环节，而人工特征选择存在偏差，该偏差将直接影响最终分类结果；在多源数据融合处理中，为了简便多采用乘积规则、均值规则等，存在多模态信息融合不准确的问题。
技术实现思路
本专利技术公开了一种自动提取语音特征和评估更加客观的基于多传感器的学生课堂掌握程度评估系统和方法。本专利技术是一种基于多传感器的学生课堂掌握程度评估系统,其特征在于，信息来源模块有3个，分别是视频采集模块、音频采集模块、成绩录入模块，其中视频采集模块和面部表情分类器模块连接输出面部表情分类结果，音频采集模块和语音分类器模块连接输出语音分类结果，成绩录入模块和成绩分类器模块连接输出成绩分类结果，上述3个分类结果均输入到决策融合模块中，决策融合模块的输出连接到课堂教学学生反映评估及建议模块中，课堂教学学生反映评估及建议模块给出学生课堂反映评估结果及建议，其中各模块分述如下：视频采集模块，用于对课堂上学生的正面人脸图像采集，发送到面部表情分类器模块；面部表情分类器模块，用于对采集到的学生人脸图像进行情感分类，首先对所有的人脸头像使用基于Gabor特征的增强分类器方法对人脸特征点自动定位，然后提取10个特征向量，最后使用面部表情分类器对同一人的不同人脸表情进行分类，给出面部表情分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；音频采集模块，采用麦克风实时录制课堂上学生的语音信息，并发送到语音分类器模块；语音分类器模块，对语音信号进行情感分类，给出语音分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；成绩录入模块，用于暂存采集到的学生考试成绩，并发送到成绩分类器模块，在每次学生视频和音频同步录制中，进行一次课堂考试作为采集的学生考试成绩；成绩分类器模块，用于对学生的成绩进行分类，使用成绩分类器给出成绩分类结果，作为样本输入到决策融合模块；决策融合模块，将面部表情分类结果、语音分类结果、成绩分类结果进行自适应权值融合，是针对各分类结果依据样本空间分布得到分类器的分类置信度的自适应权值融合，融合结果表述为烦躁、喜悦和平静，此结果输入到课堂教学学生反映评估及建议模块；课堂教学学生反映评估及建议模块，用于对融合结果进行分析，并给出学生在课堂掌握情况的反映和建议。本专利技术还是一种基于多传感器的学生课堂掌握程度评估方法，需要录制学生课堂正面人脸视频和音频信息，其特征在于，包括有以下步骤：(1)学生数据采集，其中学生面部表情通过摄像头视频采集、学生语音通过麦克风音频采集、学生考试成绩手工录入，视频数据和音频数据同步采集；(2)对采集到的学生视频和音频数据分别作初步处理，其中对学生视频数据初步处理是以均等时间间隔为单位提取图像序列，如均等时间间隔表示为t0,t1,...tn；学生音频数据初步处理是从音频中提取语音序列，该语音序列包含已采集图像序列对应时间间隔点的语音，其中第一个语音序列包含t0点的语音，第二个语音序列包含t1点的语音......，第n+1个语音序列包含tn点的语音；(3)针对学生面部图像序列和语音序列分别进行预处理，其中，对学生面部图像序列的预处理是：(3a)对学生图像序列灰度化；(3b)对灰度图像序列进行直方图均衡化操作；(3c)对均衡化后的图像序列使用迭代弱分类器(adaboost)方法获取学生人脸头像序列；对学生语音序列的预处理是：(3d)对语音序列进行采样并量化，得到时间离散且幅度离散的语音序列；(3e)对离散语音序列分帧并加汉明窗，完成语音预处理；(4)分别对学生面部表情特征向量和语音特征提取，其中对学生面部表情特征向量提取是：(4a)使用基于Gabor特征的增强分类器对学生人脸头像序列中的每一帧图像找出人脸器官中的13个特征点，并一一标识；(4b)从图像标识出的特征点中获取10个人脸表情特征向量；对学生语音特征提取是：(4c)对语音序列作离散傅里叶变换(DFT)，获取语音序列各帧的频谱，对频谱取模平方得到语音信号的能量谱；(4d)语音信号能量谱通过一组Mel尺度的三角形滤波器组；(4e)针对滤波器组输出结果，计算对数能量并归一化，再进行反离散余弦得到Mel频率倒谱系数(MFCC)，获取语音特征；(5)分别对学生面部表情、学生语音、学生考试成绩分类处理(5a)将人脸表情特征向量输入到支持向量机(SVM)判段表情的类别，输出面部表情分类结果；(5b)将Mel频率倒谱系数(MFCC)即语音特征，输入到卷积神经网络(CNN)判断语音的类本文档来自技高网...

【技术保护点】
一种基于多传感器的学生课堂掌握程度评估系统,其特征在于，信息来源模块有3个，分别是视频采集模块、音频采集模块、成绩录入模块，其中视频采集模块和面部表情分类器模块连接输出面部表情分类结果，音频采集模块和语音分类器模块连接输出语音分类结果，成绩录入模块和成绩分类器模块连接输出成绩分类结果，上述3个分类结果均输入到决策融合模块中，决策融合模块的输出连接到课堂教学学生反映评估及建议模块中，课堂教学学生反映评估及建议模块给出学生课堂反映评估结果及建议，其中各模块分述如下：视频采集模块，用于对课堂上学生的正面人脸图像采集，发送到面部表情分类器模块；面部表情分类器模块，用于对采集到的学生人脸图像进行情感分类，首先对所有的人脸图像使用基于Gabor特征的增强分类器方法对人脸特征点自动定位，然后提取10个特征向量，最后使用面部表情分类器对同一人的不同人脸表情进行分类，给出面部表情分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；音频采集模块，采用麦克风实时录制课堂上学生的语音信息，并发送到语音分类器模块；语音分类器模块，对语音信号进行情感分类，给出语音分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；成绩录入模块，用于暂存采集到的学生考试成绩，并发送到成绩分类器模块，在每次学生视频和音频同步录制中，进行一次课堂考试作为采集的学生考试成绩；成绩分类器模块，用于对学生的成绩进行分类，使用成绩分类器给出成绩分类结果，作为样本输入到决策融合模块；决策融合模块，将面部表情分类结果、语音分类结果、成绩分类结果进行自适应权值融合，是针对各分类结果依据样本空间分布得到分类器的分类置信度的自适应权值融合，融合结果表述为烦躁、喜悦和平静，此结果输入到课堂教学学生反映评估及建议模块；课堂教学学生反映评估及建议模块，用于对融合结果进行分析，并给出学生在课堂掌握情况的反映和建议。...

【技术特征摘要】
1.一种基于多传感器的学生课堂掌握程度评估系统,其特征在于，信息来源模块有3个，分别是视频采集模块、音频采集模块、成绩录入模块，其中视频采集模块和面部表情分类器模块连接输出面部表情分类结果，音频采集模块和语音分类器模块连接输出语音分类结果，成绩录入模块和成绩分类器模块连接输出成绩分类结果，上述3个分类结果均输入到决策融合模块中，决策融合模块的输出连接到课堂教学学生反映评估及建议模块中，课堂教学学生反映评估及建议模块给出学生课堂反映评估结果及建议，其中各模块分述如下：视频采集模块，用于对课堂上学生的正面人脸图像采集，发送到面部表情分类器模块；面部表情分类器模块，用于对采集到的学生人脸图像进行情感分类，首先对所有的人脸图像使用基于Gabor特征的增强分类器方法对人脸特征点自动定位，然后提取10个特征向量，最后使用面部表情分类器对同一人的不同人脸表情进行分类，给出面部表情分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；音频采集模块，采用麦克风实时录制课堂上学生的语音信息，并发送到语音分类器模块；语音分类器模块，对语音信号进行情感分类，给出语音分类结果，结果表述为烦躁、喜悦和平静，作为样本输入到决策融合模块；成绩录入模块，用于暂存采集到的学生考试成绩，并发送到成绩分类器模块，在每次学生视频和音频同步录制中，进行一次课堂考试作为采集的学生考试成绩；成绩分类器模块，用于对学生的成绩进行分类，使用成绩分类器给出成绩分类结果，作为样本输入到决策融合模块；决策融合模块，将面部表情分类结果、语音分类结果、成绩分类结果进行自适应权值融合，是针对各分类结果依据样本空间分布得到分类器的分类置信度的自适应权值融合，融合结果表述为烦躁、喜悦和平静，此结果输入到课堂教学学生反映评估及建议模块；课堂教学学生反映评估及建议模块，用于对融合结果进行分析，并给出学生在课堂掌握情况的反映和建议。2.根据权利要求1所述的基于多传感器的学生课堂掌握程度评估系统,其特征在于，决策融合模块中所述的基于样本空间分布情况得到分类器的分类置信度，具体是当分类器中各情感类别的高斯混合模型似然度基本相等时，认为该样本处于概率分布模型的重叠区域，该分类器的判决置信度较低；当分类器给出的各情感类别似然度值分散时，则认为样本处于概率分布模型的非重叠区域，该分类器的判决置信度较高。3.根据权利要求1所述的基于多传感器的学生课堂掌握程度评估系统,其特征在于，其中的语音分类器模块是首先获取语音信号的能量谱，语音信号的能量谱通过梅尔尺度的三角形滤波器组，计算其对数能量并归一化，输入到卷积神经网络进行语音特征映射分类，给出语音情感分类结果，作为样本输入到决策融合模块。4.一种基于多传感器的学生课堂掌握程度评估方法，需要录制学生课堂正面人脸视频和音频信息，其特征在于，包括有以下步骤：(1)学生数据采集，其中学生面部表情通过摄像头视频采集、学生语音通过麦克风音频采集、学生考试成绩手工录入，视频数据和音频数据同步采集，在每次学生视频和音频同步录制中，进行一次课堂考试作为采集的学生考试成绩；(2)对采集到的学生视频和音频数据分别作初步处理，其中对学生视频数据初步处理是以均等时间间隔为单位提取图像序列，如均等时间间隔表示为t0,t1,...tn；学生音频数据初步处理是从音频中提取语音序列，该语音序列包含已采集图像序列对应时间间隔点的语音，其中第一个语音序列包含t0点的语音，第二个语音序列包含t1点的语音......，第n+1个语音序列包含tn点的语音；(3)针对学生面部图像序列和语音序列分别进行预处理，其中，对学生面部图像序列的预处理是：(3a)对学生图像序列灰度化；(3b)对灰度图像序列进行直方图均衡化操作；(3c)对均衡化后的图像序列使用迭代弱分类器方法获取学生人脸头像序列；对学生语音序列的预处理是：(3d)对语音序列进行采样并量化，得到时间离散且幅度离散的语音序列；(3e)对离散语音序列分帧并加...

【专利技术属性】
技术研发人员：那彦，乔文婷，陈建春，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61