学生课堂学习兴趣智能分析方法及系统技术方案

一种学生课堂学习兴趣智能分析方法，其特征在于，包括以下步骤：采集教室内场景图像，在场景图像中定位人脸；在人脸区域中估计头部姿态，根据头部姿态评估学生的认知注意力集中程度；在人脸区域中估计面部表情，根据表情评估学生的学习情绪；记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣。本发明专利技术还提供了一种实现上述方法的系统。应用本发明专利技术能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析，为授课教师提供及实时反馈，帮助其及时调整教学方式以提高教学效果。

Intelligent analysis method and system for students' interest in classroom learning

An intelligent analysis method for students'interest in classroom learning is characterized by the following steps: collecting scene images in the classroom, locating faces in the scene images; estimating head posture in the face region, evaluating students' cognitive attention concentration according to head posture; estimating facial expressions in the face region, and locating faces in the scene images. Students'learning emotions were assessed according to their expressions; students' frequency and accuracy of interactive answers in class were recorded; students'participation was assessed according to the frequency and accuracy of the answers; students' cognitive attention, learning emotions and classroom participation were integrated into three-dimensional information to analyze students'learning interests. The invention also provides a system for realizing the above method. The invention can objectively, real-time and accurately monitor and analyze the learning interest of students in class, provide real-time feedback for teachers and help them adjust teaching methods in time to improve teaching effect.

【技术实现步骤摘要】
学生课堂学习兴趣智能分析方法及系统
本专利技术属于教育信息化
，具体涉及一种学生课堂学习兴趣智能分析方法及系统。
技术介绍
学习兴趣是指个人对学习活动的一种积极认识倾向和情绪状态。兴趣是好奇心的来源，具有探究的倾向，学习兴趣可以增强学习效果。研究表明，学习兴趣影响学习发生的类型或方式，学习的过程或机制以及学习目标的完成质量，是提高学习效果的重要因素。因此对学生课堂学习兴趣的分析研究是十分有必要的。我国现阶段对学生课堂学习兴趣的研究大多采用传统的问卷调查或案例分析等方法，其评价结果较为主观，且需要经过较长时间的统计分析才能得出，不能及时反馈给教师以改善教学行为。随着信息技术在教育领域的快速发展，教育信息化的应用不断地拓展和深入。学生课堂学习兴趣智能化分析是计算机通过一系列从观察目标获取的信息，如视觉、听觉或生理信号等，推测出相关的兴趣状态。目前学习兴趣的智能化研究侧重于对学习情绪或者认知注意力的分析，并未综合考虑认知注意力、学习情绪、课堂参与度三个方面，不能全面反映学生的学习兴趣。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供一种学生课堂学习兴趣智能分析方法及系统，能够客观地、实时地、准确地对课堂上学生的学习兴趣进行监控与分析，为授课教师提供及实时反馈，帮助其及时调整教学方式以提高教学效果。一种学生课堂学习兴趣智能分析方法，包括以下步骤：(1)采集教室内场景图像，在场景图像中定位人脸；(2)在人脸区域中估计头部姿态，根据头部姿态评估学生的认知注意力；(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；(4)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣。进一步地，所述融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣的具体实现方式为：提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度，构建判断矩阵A＝[aij],1≤i,j≤3，其中，aij表示第i个指标对第j个指标的重要程度；根据判别矩阵计算特征值和特征向量，最大特征值对应的特征向量归一化后即为三个指标所分配的权重v＝[v1,v2,v3]；融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S＝S1*v1+S2*v2+S3*v3。进一步地，所述根据头部姿态评估学生的认知注意力集中程度的具体实现方式为：根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C}；然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC：m∈{R,C}；计算课堂参与度评分S1＝R×wR+C×wC。进一步地，所述根据表情评估学生的学习情绪的具体实现方式为：在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间，将其定义为注意力集中时间；将注意力集中时间与预定注意力阈值段匹配，将匹配成功的阈值段对应的分值记为注意力评分S2。进一步地，所述根据答题的频率与正确率评估学生的参与度的具体实现方式为：若注意力集中且表情为笑脸，表明学习情绪正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间所占教学时间的比例；将该比例与预定情绪阈值段匹配，将匹配成功的阈值段对应的分值记为学习情绪评分S3。进一步地，所述头部姿态估计的具体实现方式为：采用vgg-face模型提取人脸图片的fc6层特征，然后送入离线训练的回归随机森林中估计头部姿态。进一步地，所述面部表情估计的具体实现方式为：采用vgg-face模型提取人脸图片的fc6层特征，按照头部姿态划分为五个区间Ω1＝{-30°≤ω≤+30°}、Ω2＝{-60°≤ω<-30°}、Ω3＝{+30°≤ω<+60°}、Ω4＝{-90°≤ω<-60°}和Ω5＝{+60°≤ω<+90°}；根据估计的头部姿态在五个区间的概率分布作为条件概率，并按照此条件概率从对应的随机森林表情分类器中选择相应数量的决策树；将选择的决策树组装成新的随机森林分类器并估计面部表情。一种学生课堂学习兴趣智能分析系统，包括：摄像头，用于采集教室内场景图像；人脸检测与分析模块，包括：人脸检测模块、头部姿态估计模块和表情识别模块；人脸检测模块，用于在所述的场景图像中检测和定位人脸区域；头部姿态估计模块，用于在人脸区域估计所述人脸的头部姿态；表情识别模块，用于在人脸区域估计所述人脸的表情；师生互动云平台模块，包括：教师端模块，学生端模块和平台数据分析模块；教师端模块，用于教师发布互动题目和收集学生的答题情况；学生端模块，用于学生接收互动题目和提交题目答案；平台数据分析模块用于统计学生的答题频率和正确率；学习兴趣分析模块，包括课堂参与度评分模块、注意力评分模块、参与度评分模块和融合模块；所述课堂参与度评分模块，用于根据头部姿态评估学生的认知注意力；所述注意力评分模块，用于根据表情评估学生的学习情绪；所述参与度评分模块，用于根据答题的频率与正确率评估学生的参与度；所述融合模块，用于融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣。进一步地，所述融合模块的具体实现方式为：提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度，构建判断矩阵A＝[aij],1≤i,j≤3，其中，aij表示第i个指标对第j个指标的重要程度；根据判别矩阵计算特征值和特征向量，最大特征值对应的特征向量归一化后即为三个指标所分配的权重v＝[v1,v2,v3]；融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S＝S1*v1+S2*v2+S3*v3。进一步地，所有参与度评分模块的具体实现方式为：依据参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C}；然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC：m∈{R,C}；计算课堂参与度评分S1＝R×wR+C×wC。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：本专利技术方法利用图像处理与模式识别获知头部姿态和面部表情，通过对认知注意力、学习情绪和课堂参与度的三维信息融合，从而实时了解学生在学习过程中的学习兴趣，便于老师了解学生的学习行为，调整教学方式，提高学习效果。进一步地，在三维信息融合中采用主观赋权法，融合的模型能较好的度量和区分学生的学习兴趣。进一步地，在参与度评估中采用熵权法，能够从数据样本出发，根据数据的变异性客观估计不同学习情境下的思维活跃度融合权重。本专利技术视觉处理对象为大场景图像，应用本专利技术方法能够同时并行地观测多名学生，提高了监控效率，帮助老师瞬间掌握更多学生的课堂学习兴趣分布情况。附图说明图1为本专利技术方法流程图；图2为本专利技术较佳系统较佳实施例结构图；图3为vgg-face模型的结果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互本文档来自技高网...

【技术保护点】
1.一种学生课堂学习兴趣智能分析方法，其特征在于，包括以下步骤：(1)采集教室内场景图像，在场景图像中定位人脸；(2)在人脸区域中估计头部姿态，根据头部姿态评估学生的认知注意力；(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；(4)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣。

【技术特征摘要】
1.一种学生课堂学习兴趣智能分析方法，其特征在于，包括以下步骤：(1)采集教室内场景图像，在场景图像中定位人脸；(2)在人脸区域中估计头部姿态，根据头部姿态评估学生的认知注意力；(3)在人脸区域中估计面部表情，根据表情评估学生的学习情绪；(4)记录学生在课堂上互动答题的频率与正确率，根据答题的频率与正确率评估学生的参与度；(5)融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣。2.根据权利要求1所述的学生课堂学习兴趣智能分析方法，其特征在于，所述融合学生的认知注意力、学习情绪和课堂参与度三维信息，分析学生的学习兴趣的具体实现方式为：提取认知注意力、学习情绪和课堂参与度三个指标两两之间的重要性程度，构建判断矩阵A＝[aij],1≤i,j≤3，其中，aij表示第i个指标对第j个指标的重要程度；根据判别矩阵计算特征值和特征向量，最大特征值对应的特征向量归一化后即为三个指标所分配的权重v＝[v1,v2,v3]；融合课堂参与度评分S1、注意力评分S2和学习情绪评分S3得到学生课堂学习兴趣评估值S＝S1*v1+S2*v2+S3*v3。3.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法，其特征在于，所述根据头部姿态评估学生的认知注意力集中程度的具体实现方式为：根据所有参与统计的N个学生的答题频率pRn和答题频率pCn计算信息熵m∈{R,C}；然后根据信息熵计算答题频率和答题正确率的融合权重wR和wC：计算课堂参与度评分S1＝R×wR+C×wC。4.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法，其特征在于，所述根据表情评估学生的学习情绪的具体实现方式为：在教学时间段内统计学生注视黑板、教师和学生端手持设备的时间，将其定义为注意力集中时间；将注意力集中时间与预定注意力阈值段匹配，将匹配成功的阈值段对应的分值记为注意力评分S2。5.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法，其特征在于，所述根据答题的频率与正确率评估学生的参与度的具体实现方式为：若注意力集中且表情为笑脸，表明学习情绪正面，其所持续的时间定义为正面学习情绪时间；计算正面学习情绪时间所占教学时间的比例；将该比例与预定情绪阈值段匹配，将匹配成功的阈值段对应的分值记为学习情绪评分S3。6.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法，其特征在于，所述头部姿态估计的具体实现方式为：采用vgg-face模型提取人脸图片的fc6层特征，然后送入离线训练的回归随机森林中估计头部姿态。7.根据权利要求1或2所述的学生课堂学习兴趣智能分析方法，其特征在于，所述面...

【专利技术属性】
技术研发人员：陈靓影，徐如意，张坤，韩加旭，刘乐元，彭世新，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北,42