一种在线学习专注度识别方法技术

本发明专利技术公开了一种在线学习专注度识别方法，包括如下步骤:构建人体疲劳状态检测模块和人体行为识别模块；通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。本发明专利技术的优点在于：本发明专利技术能够有效地实时检测线上教育学生的注意力状态，分析学生的听课专注度情况，是更好衡量网络教学质量的重要指标，有助于提高网课教学质量，更好地拓展素质教育线上教学。好地拓展素质教育线上教学。好地拓展素质教育线上教学。

【技术实现步骤摘要】
一种在线学习专注度识别方法


[0001]本专利技术涉及计算机视觉分析领域，特别涉及一种基于YOLOv5和Dlib模型的学生在线学习专注度识别分析系统。

技术介绍

[0002]目前，随着智能电子设备的普及以及教育形式的多元化，网络授课这种学习方式逐渐被引入高校的教育模式中，其中，学生的疲劳与注意力分散成为影响网络教育效果的主要因素。传统的课堂在获取教学反馈方式上耗时耗力，教师既要兼顾课堂所授内容的质量，同时又要监管学生的听课认真情况，就会造成教学质量的下降，并且教师无法时刻关注每名学生的上课状态。网课方便师生的同时，也存在着因为条件限制，对上网课的学生无法监管的问题。网课的教学方式仅仅是观看视频，而老师无法像传统课堂教学那么实时了解每个学生的听课效果和专注程度，老师无法监控或得到学生的听课反馈，导致学生上网课的听课质量大打折扣。因此，如何通过计算机视觉技术的方式自动的识别学生的网课过程中的专注度，对于网络教学来说至关重要，现有技术中尚没有相关文献公开。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于YOLOv5和Dlib模型的学生在线学习专注度识别分析方法，用于对学生在线学习的专注度进行自动识别。
[0004]为了实现上述目的，本专利技术采用的技术方案为：
[0005]一种在线学习专注度识别方法，包括如下步骤:
[0006]构建人体疲劳状态检测模块和人体行为识别模块；
[0007]通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；
[0008]通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。
[0009]所述人体疲劳状态检测模块首先分别获取左右眼和嘴部面部标志的索引，再通过OpenCV软件库中的函数类对视频流进行灰度化处理，检测出人眼和嘴巴的位置信息，然后计算出包括眼睛开合度、眨眼次数，嘴巴开合度，打哈欠频率等数据，构造用于评价疲劳程度的函数并将其与设定阈值比较从而检测出人体的疲劳程度。
[0010]人体疲劳状态检测模块包括眼睛检测步骤、嘴巴检测步骤和疲劳判断步骤，其中眼睛检测步骤包括：
[0011]计算左右眼的EAR值，EAR值即为眼睛长宽比的值，并使用左右两眼的平均值作为最终的EAR值；如果连续两帧的EAR值都小于设定的阈值，则表示进行了一次眨眼活动；统计在设定视频流总帧数Roll中符合闭眼特征的帧数Rolleye；
[0012]其中嘴巴检测步骤包括：计算嘴巴的MAR值，MAR值即为嘴巴长宽比的值；连续两帧图像中嘴巴的MAR值大于设定的阈值则认为在进行张嘴打哈欠，统计在设定视频流总帧数
Roll中符合打哈欠的帧数Rollmouth；
[0013]疲劳判断步骤包括：基于眼睛检测步骤检测的Rolleye值和嘴巴检测步骤中Rollmouth值判断疲劳程度。
[0014]疲劳判断步骤包括中疲劳程度的判断采用构造函数PERCLOS来判断，其中构造函数设定疲劳阈值P1，当PERCLOS值大于P1则判断为疲劳状态，否则判断为清醒状态。
[0015]计算左右眼的EAR值包括：步骤1：打开摄像头，获取学生的面部图像，再从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化处理；
[0016]步骤2：预先训练Dlib库中用于检测人脸区域的界限bounds的关键函数dlib.get_frontal_face_detector()；和Dlib库中用于获得脸部特征位置检测器并输出特征点坐标的关键函数dlib.shape_predictor(predictor path)；
[0017]使用d1ib.get_frontal_face_detector(gray，0)进行脸部位置检测，循环脸部位置信息，并使用dlib.shape_predictor(gray，rect)获得脸部特征位置的信息。
[0018]步骤3：提取帧图像检测人脸，根据脸部特征位置信息对眼部进行粗定位后进行肤色分割。通过肤色分割更好地定位人眼位置，利用眼睛与皮肤的颜色不同，图像处理的过程中会产生数据的跳跃，从而进行分割；
[0019]步骤4：将脸部特征信息转换为数组array的格式(用于以数组格式来存储眼睛坐标嘴巴坐标，方便后续的处理的提取)，并提取左眼和右眼坐标，眼部精确定位(粗定位确定一下各个部位的轮廓，精准定位直接确定坐标位置，线粗定位获取位置找到眼睛然后在精确定位获取对应的坐标位置)；
[0020]步骤5：构造函数计算左右眼的EAR值，其中EAR值为左右两眼的平均值作为最终的EAR值，其中一个眼睛的EAR值计算公式为：
[0021][0022]其中P
38
.y、P
39
.y、P
42
.y、P
41
.y分别为68点人脸特征点中的点38、39、42、41的纵坐标，P
37
.x、P
40
.x为68点人脸特征点中的37、40的横坐标；
[0023]分别计算两个眼睛的EAR值取平均后为最终的EAR值。
[0024]计算嘴巴的MAR值包括如下步骤：
[0025]步骤(1)：提取帧图像检测人脸，嘴部粗定位进行肤色分割，根据嘴巴颜色与皮肤颜色的差别大致画出嘴部轮廓，通过图像灰度化之后，由于颜色不同灰度的深浅也不同，可以直接判断深浅从而画出轮廓从而实现了快速的粗定位嘴巴的位置，更好地定位人嘴部位置，肤色分割是指嘴巴与皮肤的颜色会不同，图像处理的过程中就会看到数据的跳跃，从而进行分割)；
[0026]步骤(2)：将脸部特征信息转换为数组array的格式(该数组中按照68个人脸特征点的位置进行位置坐标信息的赋值和保存，可以精准定位各个位置)，并提取嘴部位置坐标，嘴部精确定位(根据数组中储存的坐标信息来精准定位，粗定位画出轮廓，精准定位给出坐标)；
[0027]步骤(4)、构造函数计算MAR值，MAR值计算函数如下：
[0028][0029]其中P
51
.y、P
53
.y、P
57
.y、P
59
.y为68点人脸特征点中的点51、59、53、57的纵坐标，P
49
.x、P
55
.x为68点人脸特征点中的点49、55的横坐标。
[0030]所述人体行为识别模块采用YOLOv5神经网络模型对采集的图像中的每帧图片中出现的物体进行识别并根据识别的物体来判断学生的学习的专注状态。
[0031]采用预先训练的、修改权重后的YOLOv5神经网络模型来识别采集的图像中的物体，预先标定出手机、香烟、水杯三种物体，并在识别到任一物体后判断为学习分心状态。
[0032]按照一定周期将疲劳程度结果和分心状态结果结合来评价专注度并给出专注度评价。
[0033]本专利技术的优点在于：本专利技术能够有效地实时检测线上教育学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在线学习专注度识别方法，其特征在于：包括如下步骤:构建人体疲劳状态检测模块和人体行为识别模块；通过人体疲劳状态检测模块对采集的人脸数据进行识别并检测出人体的疲劳程度；通过人体行为识别模块对采集的用户在线学习的图像数据进行识别并检测出用户的学习分心与否。2.如权利要求1所述的一种在线学习专注度识别方法，其特征在于：所述人体疲劳状态检测模块首先分别获取左右眼和嘴部面部标志的索引，再通过OpenCV软件库中的函数类对视频流进行灰度化处理，检测出人眼和嘴巴的位置信息，然后计算出包括眼睛开合度、眨眼次数，嘴巴开合度，打哈欠频率等数据，构造用于评价疲劳程度的函数并将其与设定阈值比较从而检测出人体的疲劳程度。3.如权利要求2所述的一种在线学习专注度识别方法，其特征在于：人体疲劳状态检测模块包括眼睛检测步骤、嘴巴检测步骤和疲劳判断步骤，其中眼睛检测步骤包括：计算左右眼的EAR值，EAR值即为眼睛长宽比的值，并使用左右两眼的平均值作为最终的EAR值；如果连续两帧的EAR值都小于设定的阈值，则表示进行了一次眨眼活动；统计在设定视频流总帧数Roll中符合闭眼特征的帧数Rolleye；其中嘴巴检测步骤包括：计算嘴巴的MAR值，MAR值即为嘴巴长宽比的值；连续两帧图像中嘴巴的MAR值大于设定的阈值则认为在进行张嘴打哈欠，统计在设定视频流总帧数Roll中符合打哈欠的帧数Rollmouth；疲劳判断步骤包括：基于眼睛检测步骤检测的Rolleye值和嘴巴检测步骤中Rollmouth值判断疲劳程度。4.如权利要求3所述的一种在线学习专注度识别方法，其特征在于：疲劳判断步骤包括中疲劳程度的判断采用构造函数PERCLOS来判断，其中构造函数设定疲劳阈值P1，当ERCLOS值大于P1则判断为疲劳状态，否则判断为清醒状态。5.如权利要求3所述的一种在线学习专注度识别方法，其特征在于：计算左右眼的EAR值包括：步骤1：打开摄像头，获取学生的面部图像，再从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化处理；步骤2：预先训练Dlib库中用于检测人脸区域的界限bounds的关键函数dlib.get_frontal_face_detector()；和Dlib库中用于获得脸部特征位置检测器并输出特征点坐标的关键函数dlib.shape_predictor(predictor path)；使用dlib.get_frontal_face_detector(gray,...

【专利技术属性】
技术研发人员：祝玉军，陈锡敏，郭梦丽，武伟，杨丹丹，章智强，陈能，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：