一种学生课堂注意力检测方法技术

本发明专利技术公开一种学生课堂注意力检测方法，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。通过只需要提取学生的眼睛状态，利用课堂教学过程中学生位置、眼睛状态的延续性，可以计算学生注意力情况。该检测方法优化了视频识别算法，减小了运算量，经过数据统一可以得到每一位同学的课堂注意力情况，交叉对比学生大面积注意力涣散的时间点与教师授课内容，有助于教师查找自身教学缺失，提高授课水平，改善教学质量。

A Method for Student Attention Detection in Classroom

The invention discloses a method for detecting students'attention in class, which includes the following steps: collecting teaching images of teachers and facial images of students in class; extracting the state of students' eyes in frame images by spectral extinction method based on set depth data; calculating the orientation of students'eyes; recording the moments of students' distraction in classroom teaching and combining it with teaching images. Cross-comparison was made to analyze the causes of students'distraction. By simply extracting the students'eye state, using the continuity of the students' position and eye state in the classroom teaching process, the students'attention can be calculated. The detection method optimizes the video recognition algorithm and reduces the computational complexity. Through data unification, each student's classroom attention can be obtained. Cross-comparison of students'large area of distracted time points and teachers' teaching content can help teachers find their own teaching deficiencies, improve the teaching level and improve the teaching quality.

【技术实现步骤摘要】
一种学生课堂注意力检测方法
本专利技术属于教育信息化
，具体涉及一种学生课堂注意力检测方法。
技术介绍
如今科技创新能力已成为国家实力的关键体现，科技的创新与发展离不开教育，教育作为知识、文化、技术传授的基石，对科技创新起到决定性的作用，没有教育，科技创新也无从谈起。如今传统课堂教育与微课教育、反转课题、网络教育等多种现代新型教育手段交织发展，但是无论采用何种教育形式，教育质量的关键还是在于课堂质量，而课堂质量的关键在于教师的授课质量与学生的学习质量。如果授课老师能够在课堂中实时了解学生注意力状况，便能及时调整教学方式，有效提高教学效果。而现有的教室监控系统很少涉及对学生注意力的实时检测与分析。
技术实现思路
专利技术目的：本专利技术提供可实现课堂教学质量检测的一种学生课堂注意力检测方法。技术方案：所述的学生课堂注意力检测方法，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。进一步，对所述的面部图像中的学生面部与环境背景进行分离，并对面部特征进行提取。进一步，所述的面部特征提取步骤为：设置消光算法中的当前光照；确定在彩色RGB光谱图中组合比例；在帧图像中寻找最小的组合比例；化简组合比例约当阵，求取特征值；设置消光算子；对比深度数据，重构像素结构。进一步，所述的提取学生眼睛的状态的步骤为：提取所述的学生的面部活动图像的1帧图像，并对该帧图像进行检测，判断是否检测到人脸，如果没有检测到人脸，则跳出执行状态等待下一帧图像；如果检测到人脸，则检测学生眼部并判断眼睛状态。进一步，当检测到学生眼部时，首先检测眼睛是否睁开，当检测到眼睛睁开时，眼睛睁开状态自加1，检测后续的20帧图像，并计算眼睛的朝向；当检测到眼睛没有睁开时，眼睛闭合状态自加1，检测后续的10帧图像，如果眼睛变化小于阙值，则注意力涣散状态自加1，否则继续检测下一帧图像。进一步，当没有检测到学生眼部时，检测次数自加1；同时设有一个检测定时器，一定时间后如果始终没有检测到眼部，即检测次数大于阙值，注意力涣散标记自加1，清将定时器清零；如果检测次数小于阙值，则直接将定时器清零。有益效果：本专利技术所述的检测方法，只需要提取学生的眼睛状态，利用课堂教学过程中学生位置、眼睛状态的延续性，可以计算学生注意力情况。该检测方法优化了视频识别算法，减小了运算量，经过数据统一可以得到每一位同学的课堂注意力情况，有助于对学生的实时提醒与事后督促。根据学生课堂注意力变化曲线，交叉对比学生大面积注意力涣散的时间点与教师授课内容，有助于教师查找自身教学缺失，提高授课水平，改善教学质量。附图说明图1是本专利技术课堂教室的环境示意图；图2是本专利技术课堂注意力检测方法流程图；图3是本专利技术眼睛状态检测的流程图；图4是本专利技术学生注意力涣散的时刻与教师的授课视频进行对比的流程图；图5本专利技术的眼睛朝向判定的流程图。具体实施方式下面结合说明书附图和具体实例对本专利技术技术方案做进一步说明。如图1所示为课堂教室的环境示意图，该教室为阶梯教室，教师1在讲台上进行授课教学；图中五角形10代表正常听讲的学生，三角形11代表注意力涣散的学生，它们随机分布在教室区域，由于是阶梯教室，因此不存在学生上半身、尤其是面部被遮挡的情况。在教室设置有学生注意力检测摄像2、教学摄像机3、电脑5以及路由器4，其中，学生注意力检测摄像2用于拍摄所有上课学生的面部细节；该检测摄像机2包括RGB变焦摄像头6、红外测距摄像头7和俯仰/旋转舵机8，其中RGB变焦摄像头6用于拍摄学生的实时彩色视频；红外测距摄像头7用于拍摄具有深度数据的实时红外视频，RGB变焦摄像头6和红外测距摄像头7被封装在一个整体中，俯仰/旋转舵机8可以根据需要调整学生注力检测摄像机2的俯仰角与朝向。实际应用时如果学生人数较多，可以根据需要安装多个学生注意力检测摄像机。教学摄像机3，用于录制教师的教学环节和授课教师的面部细节；通过通信网络将教学摄像机录制3的教师授课视频和学生注意力检测摄像机2的学生面部视频上传存储到电脑5。可以通过人工对比，寻找学生注意力分散的原因，或者由路由器4将视频上传至服务器，服务器交叉对比学生大面积注意力涣散的时间点与教师授课内容，借助API接口，与大数据计算寻找学生注意力分散的原因。在授课过程中，学生的座位相对固定，并不对学生进行人脸识别，只对学生的眼部状态进行检测，并且学生的眼睛状态在以帧衡量的过程中具有延续性。如图2所示，给出课堂注意力检测方法，具体的检测步骤为：(1)采集授课教师的教学图像与上课学生的面部图像；定时教学摄像机设备3，课堂时间启动，定时所有的课堂注意力检测设备，只在课堂时间段工作。判断是否收到教师的命令。教师命令是以特殊语句的形式存储在设备中，如果当前时间为课堂时间，教师开始正式授课，只需说出特殊语句，即启动学生注意力检测摄像机2，实时记录学生的听课状态，并将视频上传存储到电脑5。这种方式将设备启动权限交于教师，有助于设备只针对课堂教学进行注意力检测，滤除其他干扰，(2)提取学生视频中的1帧进行分析视频是由一幅一幅的连续画面组成的，其中一幅画面称为一帧，学生注意力检测摄像机2所拍摄的视频每秒30帧，即每秒有30幅连续的画面。(3)分离学生面孔与环境背景使用基于集合深度数据的光谱消光方法提取帧画面中的人物外廓：(31)设置消光算法中的当前光照为：其中Ii为当前光照中显示的像素，Fronti为前景色像素，Backi为背景色像素；F为像素层，其为F1、F2···Fn，αi为组合比例。(32)在彩色RGB光谱图中组合比例αi可以表示为：(33)在帧图像中寻找最小的组合比例αi其中ε||aq||2是a的范数，用于对a进行归整化，a、b为线性化系数矩阵。(34)化简组合比例约当阵，求取特征值将公式3化简为只含有组合比例αi的约当阵J(α)＝αTLα(4)其中Lα是对α进行拉普拉斯计算其中δij是克罗内克函数，μq是q的颜色矢量矩阵，∑wq为其协方差矩阵，|wq|为像素的模，I3为三阶单位阵。计算公式4，其解为比例系数αi的特征值。(35)设置消光算子根据第(34)步计算出的特征值，可以将彩色像素组合变化为二进制表示。其中E为特征向量矩阵，根据公式6求取线性拟合矢量yk。以上步骤可以将学生面孔与环境背景进行分离，提取学生的面部轮廓。(36)对比深度数据，重构像素结构红外测距摄像头7发一束不可见红外光束，这束红外线光束具有高度随机性，空间中任意两个不同位置反射的光斑都有所不同，通过测距可以得到被测目标的空间深度，学生注意力检测摄像机2检测到的实际上是由R、G、B与深度数据组成的复合数据矩阵。以学生面部轮廓为分界线，对比分界线内外的深度数据，可以进一步确认光谱消光方法提取出轮廓的准确性，如果深度数据与提取轮廓存在偏差，需要以该偏差点Δl范围内进行修正，调整比例系数αi。(4)提取学生面孔特征本专利技术使用基于OpenCV的人脸识别器，分析人脸上眼睛、鼻子、颧骨和下巴的相对位置及大小，并只提取出眼睛的特征。(5)判断输入的一帧图像是否检测到人脸？如果有检测到人脸本文档来自技高网...

【技术保护点】
1.一种学生课堂注意力检测方法，其特征在于，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。

【技术特征摘要】
1.一种学生课堂注意力检测方法，其特征在于，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。2.根据权利要求1所述的一种学生课堂注意力检测方法，其特征在于：对所述的面部图像中的学生面部与环境背景进行分离，并对面部特征进行提取。3.根据权利要求2所述的一种学生面部特征提取方法，其特征在于：所述的面部特征提取步骤为：设置消光算法中的当前光照；确定在彩色RGB光谱图中组合比例；在帧图像中寻找最小的组合比例；化简组合比例约当阵，求取特征值；设置消光算子；对比深度数据，重构像素结构。4.根据权利要求1所述的一种学生眼部状态检测方法，其特征在于：所述的提取学生眼睛的状态的步骤为：提取所述的学生的面部活动图像的1帧图像，并对该帧图像进行检测，判断是否检测到人脸，如果没有检测到人脸，则跳出执行状态等待下一帧图像；如果检测到人脸，则检测学生眼部并判断眼睛状态。5.根据权利要求4所述的一种学生眼睛睁开状态方法，其特征在于：当检测到学生眼部时，首先检测眼睛是否睁开，当检测到眼睛睁开时，眼睛睁开状态自加1，检测后续的20帧图像，并计算眼睛的朝向；当检测到眼睛没有睁开时，眼睛闭合状态自加1，检测后续的10帧图像，如果眼睛变...

【专利技术属性】
技术研发人员：王伟然，林傅军，王鸿宇，王言中，张旗，张芊，张懿，朱安宏，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32