基于多姿态的学习者兴奋状态标签算法制造技术

本文提出了一种基于多姿态的学习者兴奋状态标签算法。通过研究学习者的注意力以及行为分析等方式，从头部姿态，视线方向，眼睛闭合度以及书写姿势来评估学习者的课中兴奋状态。基于头部姿态的考量，我们分别利用罗德里格斯旋转公式，四元数以及PFLD关键点建立的几何模型计算欧拉角。考虑到学习者典型的不兴奋状态，瞌睡，左顾右盼等情况，加入了closeness,peryaw等特征维度，并利用手臂关键点提取学习者的手部姿态信息。本文手工提取了八种特征维度作为学习者兴奋状态下的指标，基于这些特征数据，对它进行进一步的特征分析。最后通过模型预测，不断进行参数调整，采用XGBoost模型，使得各个评估指标达到最佳。该方法能够有效的反映学生的学习状态，帮助教师及时掌握学生的课堂情况，实现智能化课堂教学。实现智能化课堂教学。实现智能化课堂教学。

【技术实现步骤摘要】
基于多姿态的学习者兴奋状态标签算法


[0001]本专利技术主要涉及图像处理技术，具体涉及一种基于多姿态的学习者兴奋状态标签算法。

技术介绍

[0002]在传统的教学中，老师虽然能与学生进行互动，但是由于教学是以班级为单位进行的，人数众多，老师不可能随时观察哪个学生上课注意力不集中，甚至出现打瞌睡的现象。现在，我们已经进入了信息时代，网上有许多学习平台，MOOC，网易，微课等等，这使得在线学习的人数越来越多。但是在一个虚拟的环境中，由于时间和空间上的问题，所以教师无法与学生之间进行一个好的交互，如果能够利用摄像头记录下学习者的相关信息，便能了解学习者在课中的状态。这样，无论是在虚拟环境还是传统的教学环境下，教师与学生之间都能够实现一个很好的交互，可以及时的了解学习者在课中的相应状态。
[0003]通过对学习者的行为分析可以反映出学习者在课中的兴奋状态。学习者在课堂上的兴奋度可以理解为学生在课堂上的参与程度，若学生在课堂中处于兴奋状态，则表现为上课注意力集中，专心，不会出现瞌睡，交头接耳，左顾右盼等现象。反之，则学习者处于不兴奋状态。因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PFLD的脸部关键点的头部姿态信息提取算法，其特征在于：对头部姿态信息进行提取时，进行以下步骤，首先，对输入的视频帧图像，利用Retinaface提取面部框架，然后使用PFLD进行人脸关键点的识别，得到98个人脸关键点；然后，利用提取出来的98个人脸关键点，构建一个数学模型，这个数学模型是通过数百张人脸的不同头部姿态关键点进行训练。最后，通过拟合出来的数学模型进行计算，获得欧拉角yaw，pitch，roll，对欧拉角进行相应的处理。pitch＝pitch
k
×
1.497+18.97
ꢀꢀꢀꢀ
(1)yaw＝yaw
k
×
71.58+0.7037
ꢀꢀꢀꢀ
(2)2.基于视线跟踪法提取学习者的眼部特征，其特征在于：利用双边滤波，腐蚀，阈值处理等图像处理技术分割出瞳孔的位置，再通过质心横坐标位置与眼睛轮廓的宽度计算出眼睛追踪指标。睛追踪指标。睛追踪指标。其中α，β...

【专利技术属性】
技术研发人员：袁玉波，孙琳，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：