可解释性课堂学生情感分析方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种可解释性课堂学生情感分析方法、系统、装置及介质，方法包括：获取学生智慧课堂面部表情数据；基于可解释性卷积神经网络建立学生学习情感分析模型；构建学生表情识别过程的可视化模型；通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。本发明专利技术把智慧课堂学生情感分析问题建模成一个可解释性卷积神经网络任务，利用可解释性卷积神经网络进行智慧课堂中学生的表情识别，得出学生学习过程中的情感状态，能够快速确定学生的情感状态，提高了情感分析的准确性，可广泛应用于人工智能技术领域。

【技术实现步骤摘要】
可解释性课堂学生情感分析方法、系统、装置及介质
本专利技术涉及人工智能
，尤其是一种可解释性课堂学生情感分析方法、系统、装置及介质。
技术介绍
随着互联网技术的快速发展与应用，智慧课堂日渐成为当代最重要的教育教学形态之一。智慧课堂的不断推广与应用，为新技术支持下的智慧课堂教与学提供了便利。然而，由于智慧课堂教师难以及时准确地了解每个学生的学习情感状态，学习过程中的情感交互极易失衡，严重影响了智慧课堂的互动性和高效性。因此，学生的“情感缺失”成为智慧课堂发展过程中亟需解决的一大挑战性问题。这迫切需要一种合理且有效的学生基于可解释卷积网络的智慧课堂学生情感分析系统，来解决智慧课堂环境中教师不能及时准确地了解每个学生的学习情感状态问题。面部表情作为反映学生情感表达的重要方式之一，蕴含了许多有关学生课堂学习过程中的内心情感变化过程，通过面部表情识别可以挖掘学生隐含的内部情感状态。因此，构建智慧课堂学生基于可解释卷积网络的智慧课堂学生情感分析系统的核心之一就是通过识别学生智慧课堂的表情特征，判别学生的情感状态，及时地采取措施来增强课堂互动性和高效性本文档来自技高网...

【技术保护点】
1.一种可解释性课堂学生情感分析方法，其特征在于，包括：/n获取学生智慧课堂面部表情数据；/n基于可解释性卷积神经网络建立学生学习情感分析模型；/n构建学生表情识别过程的可视化模型；/n通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。/n

【技术特征摘要】
1.一种可解释性课堂学生情感分析方法，其特征在于，包括：
获取学生智慧课堂面部表情数据；
基于可解释性卷积神经网络建立学生学习情感分析模型；
构建学生表情识别过程的可视化模型；
通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。


2.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述获取学生智慧课堂面部表情数据包括：
获取学生智慧课堂的学习视频；
从所述学习视频中提取视频帧；
对所述视频帧进行处理，生成设定大小的输入矩阵；
对所述输入矩阵进行运算处理，生成表情识别参数。


3.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述基于可解释性卷积神经网络建立学生学习情感分析模型，包括：
获取待训练学生面部表情的高卷积层信息；
通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
对所述特征图进行掩膜操作，得到去除噪声后的特征图；
对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；
获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。


4.根据权利要求3所述的一种可解释性课堂学生情感分析方法，其特征在于，所述构建学生表情识别过程的可视化模型，包括：
将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
对所述初始决策树种的每个结点进行参数化处理；
确定所述初始决策树的叶子结点；
根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。


5.根据权利要求4所述的一种可解释性课堂学生情感分析方法，其特征在于，所述通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型，包括：
对所述卷积神经网络进行训练；
获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应...

【专利技术属性】
技术研发人员：黄昌勤，何洁，黄琼浩，俞建慧，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：浙江;33