一种实时课堂注意力检测方法及系统技术方案

本发明专利技术涉及一种实时课堂注意力检测方法及系统，所述检测方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。与现有技术相比，本发明专利技术具有处理速度快、准确率高、能在低分辨率的情况下获得更好检测结果的优点。

【技术实现步骤摘要】
一种实时课堂注意力检测方法及系统
本专利技术涉及图像处理
，尤其是涉及一种实时课堂注意力检测方法及系统。
技术介绍
在传统的教学活动中，教学情境的教师行为、学生行为、师生互动、课堂氛围等事件的评估手段，一般还停留在学生问卷调查、教师自主观察或视察课堂等人工方式。传统的人工评估方式的评价结果过于主观、需要花费观察人员大量时间精力去统计分析、反馈周期过长，不能对教师的课堂行为进行及时反馈和调整。随着人工智能技术的迅速发展以及计算机算力的跃升，人脸检测算法已经能够准确、快速地在一张照片中对人脸进行定位，并对人脸特征进行提取。随着技术的提升，人脸检测算法已经很普遍地用于铁路安防系统、公安机关、移动警务和某些特定的场合，不仅提高了业务的效率，还减少了人力成本。在部分学校，人脸检测算法已经应用于日常学习生活。专利申请CN104517102A公开了一种注意力检测方法，该方法包括：采集教室内场景图像；定位人脸并计算人脸朝向态将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置；加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。但该方法中，头部姿态估计的使用回归森林法，效果不理想，若处理多个人脸运行速度过慢，延迟大；预测的欧拉角仅仅被分为若干个类别，提取的特征过少，准确性难以保证。专利申请CN109657553A公开了一种注意力检测方法，主要是根据眼睛状态来判断学生的注意力情况，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；使用算法提取面部特征，检测眼部状态(在实际情况中，将眼部长时间闭合和眼部长时间未检测到归为注意力涣散)；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。但该方法还存在以下不足：1)用眼睛的涣散程度和眼部视线方位来判断注意力成本过高，难以检测到有效的眼部数据，安装多个摄像头成本又过高，实现的参考效果有限；2)课堂环境中，课堂空间大，人数过多，后排人脸分辨率仅仅只能达到32×32左右；3)教室摄像头安装位置一般在教室的四个顶角，在正常课堂授课环境中，遮挡现象极其严重。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷而提供一种实时课堂注意力检测方法及系统，处理速度快、准确率高，能在低分辨率的情况下获得更好的结果。本专利技术的目的可以通过以下技术方案来实现：一种实时课堂注意力检测方法，该方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。进一步地，采用基于多任务卷积神经网络的深度学习模型进行所述人脸识别，获得人脸区域和人脸特征点坐标，以人脸特征点的鼻子坐标位置作为所述对象位置。进一步地，采用头部姿态估计深度学习模型对所述人脸区域进行处理，获得以正视图为参考系的对象的头部姿态，基于所述头部姿态获得对象的注意力欧拉角。进一步地，基于所述头部姿态获得对象的注意力欧拉角具体为：设置基准欧拉角，将所述头部姿态减去基准欧拉角，获得所述注意力欧拉角。进一步地，通过预先设置的透视变换矩阵将对象位置和注意力欧拉角映射至所述三维空间。进一步地，所述透视变换矩阵的获取方式为：获取某一帧图像，取其中形成正方形的四个顶点作为基准点，基于该基准点与三维空间中对应正方形的坐标点间的关系，生成透视变换矩阵。进一步地，所述注意力检测结果包括对象是否处于低头状态及对象是否存在注意力异常。进一步地，将头部俯仰角低于α度的对象标注为低头状态，30°≤α≤60°。进一步地，根据视线射线状态，将注意力斜率大于tan(θ/180)和集中度大于两倍平均集中度的对象标注为注意力异常，45°≤θ≤150°，其中，所述注意力斜率为视线射线在三维空间的课堂平面上的投影的斜率；所述集中度通过以下公式获取：其中，f(x)表示集中度，x表示某一视线射线与黑板轴形成的交点的横坐标，l为中心横坐标，以各视线射线与黑板轴形成的交点的平均值记为所述中心。本专利技术提供一种实时课堂注意力检测系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述计算机程序执行上述所述方法的步骤。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术使用人脸远距离检测的方式自动捕捉人脸信息，提取各项面部特征，并使用特定的算法检测出学生的注意力情况，实现课堂环境定性定量的统计分析。本专利技术不仅能够实时地、准确获得学生注意力情况，反馈给教师自身，有利于教师在课堂中根据学生注意力情况来做出种种判断，调整自身行为来提高上课效率，还可以将得到的注意力情况作为一个指标，结合学校的管理制度或管理系统，更好地评估课堂质量、评估教师教学成果，通过注意力指标，也能够及时发现学习效率不佳的学生，便于班主任及时了解，从而进行心理疏导，提升学生学习效率。2、本专利技术采用MTCNN网络，处理速度快、准确率高，能对低分辨率的照片进行注意力检测。3、本专利技术在课堂场景中，不需要使用多摄像头或者高分辨率摄像头，使用低分辨率的摄像头仍可实现其他模型或算法的检测效果，有效降低注意力检测技术的成本。4、本专利技术采用MTCNN网络进行人脸检测时，延迟小，实时课堂中每帧检测时间低于100ms，测试时总时间低于1s，可以很好地保证实时性，有效提升注意力检测的效果。5、本专利技术使用头部姿态估计的深度学习模型，速度快于传统机器学习模型，能够获取完整且准确率高的头部姿态欧拉角。附图说明图1为本专利技术的流程示意图；图2为三维空间的俯视图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。缩略语和关键术语定义MTCNN：多任务卷积神经网络，能够快速实现人脸区域检测和人脸关键点检测。HopeNet：一个精确且易于使用的头部姿态估计网络，用于进行头部姿态估计。实施例1如图1所示，本实施例提供一种实时课堂注意力检测方法，包括：步骤S101，用摄像头捕捉课堂的实时图像信息，按照一定的时间间隔取帧，对所取的实时图像进行处理，确定图像与三维空间的对应关系。确定图像与三维空间的对应关系具体为：获取某一帧图像，取教室中形成正方形(一般取教室课桌第一排为边构成正方形)的四个顶点作为输入的基准点，以该基准点作为输入点，将输入点映射到三维空间的正方形四个坐标点。根据四个正方形输入点和三维空间中的正方形点获得对应的透视变换矩阵。步骤S102，使用基于多任务卷积神经网络MTCNN的多本文档来自技高网...

【技术保护点】
1.一种实时课堂注意力检测方法，其特征在于，该方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。/n

【技术特征摘要】
1.一种实时课堂注意力检测方法，其特征在于，该方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。


2.根据权利要求1所述的实时课堂注意力检测方法，其特征在于，采用基于多任务卷积神经网络的深度学习模型进行所述人脸识别，获得人脸区域和人脸特征点坐标，以人脸特征点的鼻子坐标位置作为所述对象位置。


3.根据权利要求2所述的实时课堂注意力检测方法，其特征在于，采用头部姿态估计深度学习模型对所述人脸区域进行处理，获得以正视图为参考系的对象的头部姿态，基于所述头部姿态获得对象的注意力欧拉角。


4.根据权利要求3所述的实时课堂注意力检测方法，其特征在于，基于所述头部姿态获得对象的注意力欧拉角具体为：
设置基准欧拉角，将所述头部姿态减去基准欧拉角，获得所述注意力欧拉角。


5.根据权利要求1所述的实时课堂注意力检测方法，其特征在于，通过预先设置的透视变换矩阵将对象位置和注意力欧拉角映射至所述三维空间。


6.根据权利要求5所述的实时课堂注意力检测方法，其特征在于，所述透视变...

【专利技术属性】
技术研发人员：肖翔，姜飞，申瑞民，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31