本发明专利技术公开了一种可解释性课堂学生情感分析方法、系统、装置及介质，方法包括：获取学生智慧课堂面部表情数据；基于可解释性卷积神经网络建立学生学习情感分析模型；构建学生表情识别过程的可视化模型；通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。本发明专利技术把智慧课堂学生情感分析问题建模成一个可解释性卷积神经网络任务，利用可解释性卷积神经网络进行智慧课堂中学生的表情识别，得出学生学习过程中的情感状态，能够快速确定学生的情感状态，提高了情感分析的准确性，可广泛应用于人工智能技术领域。
【技术实现步骤摘要】
可解释性课堂学生情感分析方法、系统、装置及介质
本专利技术涉及人工智能
，尤其是一种可解释性课堂学生情感分析方法、系统、装置及介质。
技术介绍
随着互联网技术的快速发展与应用，智慧课堂日渐成为当代最重要的教育教学形态之一。智慧课堂的不断推广与应用，为新技术支持下的智慧课堂教与学提供了便利。然而，由于智慧课堂教师难以及时准确地了解每个学生的学习情感状态，学习过程中的情感交互极易失衡，严重影响了智慧课堂的互动性和高效性。因此，学生的“情感缺失”成为智慧课堂发展过程中亟需解决的一大挑战性问题。这迫切需要一种合理且有效的学生基于可解释卷积网络的智慧课堂学生情感分析系统，来解决智慧课堂环境中教师不能及时准确地了解每个学生的学习情感状态问题。面部表情作为反映学生情感表达的重要方式之一，蕴含了许多有关学生课堂学习过程中的内心情感变化过程，通过面部表情识别可以挖掘学生隐含的内部情感状态。因此，构建智慧课堂学生基于可解释卷积网络的智慧课堂学生情感分析系统的核心之一就是通过识别学生智慧课堂的表情特征，判别学生的情感状态，及时地采取措施来增强课堂互动性和高效性。目前表情识别主要是通过智慧课堂中学生表情的预处理、学生脸部特征提取、学生情感状态的分类等流程对智慧课堂中学生面部表情一个或多个动作或状态的分析，以此辨别与获取面向智慧课堂的学生个体或群体的情感状态。在此大前提下，各种面向智慧课堂学习环境下的表情识别的模型层出不穷，目前这方面主要有两大类方向：一类是几何特征法，基于深度学习算法，如卷积神经网络(ConvolutionalNeuralNetworks,CNN)、深度信念网络(DeepBeliefNetwork,DBN)、随机森林分类等，对学生表情的各面部对象类(包括眼睛、嘴巴、眉毛等)及对象特征(包括眨眼、下眼睑收紧等)来提取特征。另一类则是容貌特征法，如选择Gabor小波滤波器，对整体或局部人脸进行分析。相较于几何特征法，Gabor小波滤波器的时间复杂度较高，运行效率较慢，且对学生面部表情的识别主要是针对图片的纹理、颜色属性等进行处理，然而在智慧课堂情景中学生表情识别与输入图片的颜色、纹理属性无关。其中，目前的深度学习算法存在以下几个方面的不足：1)传统的卷积层包含颜色、对象类、对象特征等6个属性，但其中的颜色、纹理、等4个属性，对于智慧课堂学生表情识别是无影响的，增加了深度学习算法在训练过程中出现错误的风险；2)不具有可解释性，无法探知深度学习模型在训练过程中是否出现错误，虽然深度学习算法在人脸表情等分类领域具有优良的性能，但目前其理论知识尚不完备，都是通过调参的方法去提高识别率；3)智慧课堂学生学习情感分析模型中，需要一定的细粒度，人为检测表情识别的准确性，直接影响到教师对应学生的情感状态做出的举措，以及学生智慧课堂中的学习效果。深度学习算法无法对智慧课堂中学生情感分析做出准确可靠而又及时的判断。
技术实现思路
有鉴于此，本专利技术实施例提供一种准确可靠且实时性高的可解释性课堂学生情感分析方法、系统、装置及介质。本专利技术的第一方面提供了一种可解释性课堂学生情感分析方法，包括：获取学生智慧课堂面部表情数据；基于可解释性卷积神经网络建立学生学习情感分析模型；构建学生表情识别过程的可视化模型；通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。在一些实施例中，所述获取学生智慧课堂面部表情数据包括：获取学生智慧课堂的学习视频；从所述学习视频中提取视频帧；对所述视频帧进行处理，生成设定大小的输入矩阵；对所述输入矩阵进行运算处理，生成表情识别参数。在一些实施例中，所述基于可解释性卷积神经网络建立学生学习情感分析模型，包括：获取待训练学生面部表情的高卷积层信息；通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；对所述特征图进行掩膜操作，得到去除噪声后的特征图；对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。在一些实施例中，所述构建学生表情识别过程的可视化模型，包括：将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；对所述初始决策树种的每个结点进行参数化处理；确定所述初始决策树的叶子结点；根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。在一些实施例中，所述通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型，包括：对所述卷积神经网络进行训练；获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应激活的对象特征；从所述最终决策树中选取结点作为所述对象特征的决策模式，进而计算得到所述滤波器的权重和所述对象特征的权重；根据所述滤波器的权重和所述对象特征的权重，确定学生情感类型。本专利技术的第二方面提供了一种可解释性课堂学生情感分析系统，包括：获取模块，用于获取学生智慧课堂面部表情数据；第一构建模块，用于基于可解释性卷积神经网络建立学生学习情感分析模型；第二构建模块，用于构建学生表情识别过程的可视化模型；识别模块，用于通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。在一些实施例中，所述第一构建模块包括：获取单元，用于获取待训练学生面部表情的高卷积层信息；激活单元，用于通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；掩膜单元，用于对所述特征图进行掩膜操作，得到去除噪声后的特征图；识别单元，用于对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；构建单元，用于获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。在一些实施例中，所述第二构建模块包括：初始决策树构建单元，用于将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；参数化处理单元，用于对所述初始决策树种的每个结点进行参数化处理；结点确定单元，用于确定所述初始决策树的叶子结点；最终决策树构建单元，用于根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。本专利技术的第三方面提供了一种装置，包括处理器以及存储器；所本文档来自技高网...
【技术保护点】
1.一种可解释性课堂学生情感分析方法，其特征在于，包括：/n获取学生智慧课堂面部表情数据；/n基于可解释性卷积神经网络建立学生学习情感分析模型；/n构建学生表情识别过程的可视化模型；/n通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。/n
【技术特征摘要】
1.一种可解释性课堂学生情感分析方法，其特征在于，包括：
获取学生智慧课堂面部表情数据；
基于可解释性卷积神经网络建立学生学习情感分析模型；
构建学生表情识别过程的可视化模型；
通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型。
2.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述获取学生智慧课堂面部表情数据包括：
获取学生智慧课堂的学习视频；
从所述学习视频中提取视频帧；
对所述视频帧进行处理，生成设定大小的输入矩阵；
对所述输入矩阵进行运算处理，生成表情识别参数。
3.根据权利要求1所述的一种可解释性课堂学生情感分析方法，其特征在于，所述基于可解释性卷积神经网络建立学生学习情感分析模型，包括：
获取待训练学生面部表情的高卷积层信息；
通过所述待训练表情的特定面部对象激活所述高卷积层中的每个滤波器，生成特征图；
对所述特征图进行掩膜操作，得到去除噪声后的特征图；
对所述每个滤波器添加损耗，识别所述待训练表情对应的面部对象类及对象特征；
获取所述滤波器与所述对象特征之间的映射关系，解开高卷积层中缠绕的滤波器，得出对应对象特征的权值，然后基于识别表情的卷积神经网络，融合可解释性机制，建立本学生学习情感分析模型。
4.根据权利要求3所述的一种可解释性课堂学生情感分析方法，其特征在于，所述构建学生表情识别过程的可视化模型，包括：
将每个与对象特征映射的滤波器作为树的一个结点，构建一棵初始决策树；
对所述初始决策树种的每个结点进行参数化处理；
确定所述初始决策树的叶子结点；
根据所述初始决策树的叶子结点，合并生成新的子代结点，最后将所述初始决策树修正为最终决策树，进而建立可视化模型。
5.根据权利要求4所述的一种可解释性课堂学生情感分析方法，其特征在于，所述通过所述学生学习情感分析模型和所述可视化模型对所述智慧课堂表情数据进行表情识别，确定学生情感类型，包括：
对所述卷积神经网络进行训练；
获取学生的智慧课堂学习视频，提取所述智慧课堂学习视频中的面部表情图像，通过所述卷积神经网络对所述面部表情图像进行表情识别，得到不同滤波器对应...
【专利技术属性】
技术研发人员：黄昌勤，何洁，黄琼浩，俞建慧，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。