一种课堂注意力评估方法及系统技术方案

本发明专利技术公开了一种课堂注意力评估方法及系统，包括：S1、对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；获取各帧图像中的学生人数，将各帧图像中学生人数的众数记为学生总人数；S2、基于各帧图像中学生的头部姿态以及学生总人数，计算该节课的正抬头率和活跃指数；其中，正抬头率为头部姿态为正抬头的学生人数与学生总人数比值的平均值；活跃指数为学生头部姿态从非正抬头变为抬头姿态的频率的平均值；S3、计算该节课的正抬头率和活跃指数的乘积，得到该节课的注意力估计值。本发明专利技术设计了用来刻画课堂活跃状态的活跃指数，活跃指数与抬头率相互补充来评估课堂注意力，使得评估结果更加准确。

【技术实现步骤摘要】
一种课堂注意力评估方法及系统
本专利技术属于教育信息化
，更具体地，涉及一种课堂注意力评估方法及系统。
技术介绍
随着信息技术的发展，利用计算机监测分析课堂学习行为的方法系统也在不断出现。其中，课堂注意力的研究在教学研究领域的接受程度较高，通过对课堂注意力的分析研究可以达到辅助老师进行有效教学评估和教学反思的目的。目前对于课堂注意力的研究通常有两种方法。一种是对学生脸部表情进行识别，建立起不同表情与注意力的关联关系，这种多适用于单人、近距离的在线教学场景；另一种则是对脸部或头部姿态的分析来完成，这种方法更适用于真实的课堂教学场景，而且其观测的内容也与人的主观感受比较接近，更容易被教学研究者所接受。但是之前大部分针对课堂注意力测量的研究，都几乎将抬头率等同于课堂注意力来对待。这种做法存在的问题就是对注意力刻画不够细腻，例如：在一个课堂上，同学们伴随着教师的讲解，同步翻阅着教材并积极记录着笔记，此时的抬头率和注意力就存在着一定的差异，评估得到的课堂注意力值的准确率较低。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供一种课堂注意力评估方法及系统，用以解决现有技术进行课堂注意力评估的准确率较低的技术问题。为了实现上述目的，第一方面，本专利技术提供了一种课堂注意力评估方法，包括以下步骤：S1、对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；分别统计各帧图像中学生所在的位置框个数，得到各帧图像中的学生人数，并将各帧图像中学生人数的众数记为学生总人数；其中，头部姿态包括：正抬头和非正抬头；正抬头为学生头部正面朝向教学信息源的抬头姿态；S2、基于各帧图像中学生的头部姿态以及学生总人数，计算该节课的正抬头率和活跃指数；其中，正抬头率为头部姿态为正抬头的学生人数与学生总人数比值的平均值；活跃指数为学生头部姿态从非正抬头变为抬头姿态的频率的平均值；S3、计算该节课的正抬头率和活跃指数的乘积，得到该节课的注意力估计值。进一步优选地，步骤S2包括：S21、将一节课分为多个时间段，分别计算各时间段的正抬头率和活跃指数；S22、计算各时间段的正抬头率的平均值，得到该节课的正抬头率；S23、计算各时间段的活跃指数的平均值，得到该节课的活跃指数。进一步优选地，步骤S21包括：S211、分别统计Ti时间段内各帧图像中头部姿态为正抬头的学生人数，并计算Ti时间段内头部姿态为正抬头的学生人数与学生总人数比值的平均值，得到Ti时间段的正抬头率；S212、在Ti时间段内，分别对每一个学生统计其在相邻两帧图像中头部姿态发生变化、且其在后一帧图像中的头部姿态为正抬头的次数，得到每一个学生头部姿态发生相应变化的次数，并计算Ti时间段内学生头部姿态发生相应变化的频率的平均值，得到Ti时间段的活跃指数；其中，，m为一节课所对应的时间段个数。进一步优选地，Ti时间段的正抬头率为：其中，为Ti时间段的正抬头率；为Ti时间段的时长；为Ti时间段内的学生总人数；为第t时刻所对应的帧图像中第j个学生的头部姿态，若为正抬头，则取值为1，否则为0。进一步优选地，Ti时间段的活跃指数为：其中，为Ti时间段的活跃指数。进一步优选地，一节课的注意力估计值为：其中，K为课堂的注意力估计值。进一步优选地，各时间段的时长均为预设时长，m为一堂课的时长与预设时长的比值。进一步优选地，步骤S212中，得到每一个学生头部姿态发生相应变化的次数的方法包括：对于Ti时间段内的相邻两帧图像，对后一帧图像中头部姿势为正抬头的学生，将其所在的位置框与前一帧图像中的每一个位置框进行IoU计算，得到IoU计算结果的最大值；判断是否大于预设阈值，若是，则获取对应的前一帧图像中的学生所在的位置框，并判断位置框中学生的头部姿态是否为正抬头，若否，则将该学生头部姿态发生相应变化的次数加一。进一步优选地，上述课堂注意力评估方法还包括在步骤S1之前执行的步骤S0；步骤S0包括以下步骤：S01、搭建头部姿态检测模型；其中，头部姿态检测模型包括：特征提取模块、语义模块和检测模块；特征提取模块包括多个级联的降采样模块，用于基于不同感受野来提取帧图像的多个尺度的特征，得到多尺度特征图；每个的尺度特征图分别对应输入到一个语义模块中；语义模块和检测模块的个数均与多尺度特征图的个数相同，一个语义模块与一个检测模块对应相连；语义模块用于增加对应尺度特征图的背景信息得到语义特征图，并输入到检测模块中；检测模块包括并行的回归分支、分类分支和IOUAware分支；回归分支用于计算语义特征图中每个像素点处的预测框；分类分支用于分别对语义特征图中每个像素点处的预测框，计算其属于不同头部姿态类别的概率，并将最大概率值所对应的头部姿态类别作为该预测框所属头部姿态类别的预测值；IOUAware分支用于计算语义特征图中每个像素点处的预测框与真实框重合度的预测值;S02、分别获取预采集到的训练集中各样本图像的正预设框和负预设框；具体为：对样本图像对应的语义特征图中的每个像素点预设若干个不同尺度的预设框，计算各预设框与真实框之间的IOU；将大于或等于预设IOU阈值的IOU所对应的预设框作为正预设框，将小于预设IOU阈值的IOU中前N个取值较大的IOU所对应的预设框作为负预设框；其中，训练集包括多个样本图像及其对应的标签；样本图像包括课堂视频帧图像；标签包括学生所在的真实框以及对应的学生头部姿态类别的真实值；N为正整数;S03、将训练集输入到头部姿态检测模型中，以最小化回归分支计算得到的样本图像各正预设框中心点位置处的预测框与对应正预设框中心点的偏移量差异之和、最小化分类分支计算得到的样本图像各正预设框和各负预设框中心点位置处的预测框所属的头部姿态类别的预测值与对应头部姿态类别的真实值的差异之和，以及最小化IOUAware分支计算得到的样本图像各正预设框中心点位置处的预测框与真实框重合度的预测值与对应正预设框与真实框重合度的真实值的差异之和为目标，训练头部姿态检测模型。进一步优选地，进行头部姿态检测的方法包括：将课堂视频中的图像输入到预训练好的头部姿态检测模型中，得到图像所对应的各预测框、各预测框所属的头部姿态类别的预测值及其属于头部姿态类别预测值的概率、以及各预测框与真实框重合度的预测值；对各预测框，将其属于头部姿态类别预测值的概率和其与真实框重合度的预测值进行融合，得到各预测框的定位置信度；基于预测框的定位置信度对各预测框进行非极大值抑制，得到学生所在的位置框及其对应的头部姿态类型。进一步优选地，第r个预测框的定位置信度为：其中，为第r个预测框对应头部姿态类别的预测值的概率，为第r个预测框与真实框重合度的预测值，为比例系数参数。第二方面，本专利技术提供了一种课堂注意力评估系统，包括：头部姿态检测模块，用于对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；分别统计各帧图像本文档来自技高网...

【技术保护点】
1.一种课堂注意力评估方法，其特征在于，包括以下步骤：/nS1、对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；分别统计各帧图像中学生所在的位置框个数，得到各帧图像中的学生人数，并将各帧图像中学生人数的众数记为学生总人数；所述头部姿态包括：正抬头和非正抬头；所述正抬头为学生头部正面朝向教学信息源的抬头姿态；/nS2、基于各帧图像中学生的头部姿态以及所述学生总人数，计算该节课的正抬头率和活跃指数；其中，所述正抬头率为头部姿态为正抬头的学生人数与学生总人数比值的平均值；所述活跃指数为学生头部姿态从非正抬头变为抬头姿态的频率的平均值；/nS3、计算该节课的正抬头率和活跃指数的乘积，得到该节课的注意力估计值。/n

【技术特征摘要】
1.一种课堂注意力评估方法，其特征在于，包括以下步骤：
S1、对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；分别统计各帧图像中学生所在的位置框个数，得到各帧图像中的学生人数，并将各帧图像中学生人数的众数记为学生总人数；所述头部姿态包括：正抬头和非正抬头；所述正抬头为学生头部正面朝向教学信息源的抬头姿态；
S2、基于各帧图像中学生的头部姿态以及所述学生总人数，计算该节课的正抬头率和活跃指数；其中，所述正抬头率为头部姿态为正抬头的学生人数与学生总人数比值的平均值；所述活跃指数为学生头部姿态从非正抬头变为抬头姿态的频率的平均值；
S3、计算该节课的正抬头率和活跃指数的乘积，得到该节课的注意力估计值。


2.根据权利要求1所述的课堂注意力评估方法，其特征在于，所述步骤S2包括：
S21、将一节课分为多个时间段，分别计算各时间段的正抬头率和活跃指数；
S22、计算各时间段的正抬头率的平均值，得到该节课的正抬头率；
S23、计算各时间段的活跃指数的平均值，得到该节课的活跃指数。


3.根据权利要求2所述的课堂注意力评估方法，其特征在于，所述步骤S21包括：
S211、分别统计Ti时间段内各帧图像中头部姿态为正抬头的学生人数，并计算Ti时间段内头部姿态为正抬头的学生人数与学生总人数比值的平均值，得到Ti时间段的正抬头率；
S212、在Ti时间段内，分别对每一个学生统计其在相邻两帧图像中头部姿态发生变化、且其在后一帧图像中的头部姿态为正抬头的次数，得到每一个学生头部姿态发生相应变化的次数，并计算Ti时间段内学生头部姿态发生相应变化的频率的平均值，得到Ti时间段的活跃指数；
其中，，m为一节课所对应的时间段个数。


4.根据权利要求3所述的课堂注意力评估方法，其特征在于，所述Ti时间段的正抬头率、所述Ti时间段的活跃指数以及一节课的注意力估计值K分别为：









其中，为Ti时间段的时长；为Ti时间段内的学生总人数；为第t时刻所对应的帧图像中第j个学生的头部姿态，若为正抬头，则取值为1，否则为0。


5.根据权利要求3所述的课堂注意力评估方法，其特征在于，所述步骤S212中，得到每一个学生头部姿态发生相应变化的次数的方法包括：对于Ti时间段内的相邻两帧图像，对后一帧图像中头部姿势为正抬头的学生，将其所在的位置框与前一帧图像中的每一个位置框进行IoU计算，得到IoU计算结果的最大值；判断是否大于预设阈值，若是，则获取对应的前一帧图像中的学生所在的位置框，并判断位置框中学生的头部姿态是否为正抬头，若否，则将该学生头部姿态发生相应变化的次数加一。


6.根据权利要求1-5任意一项所述的课堂注意力评估方法，其特征在于，还包括在所述步骤S1之前执行的步骤S0；所述步骤S0包括以下步骤：
S01、搭建头部姿态检测模型；所述头部姿态检测模型包括：特征提取模块、语义模块和检测模块；所述特征提取模块包括多个级联的降采样模块，用于基于不同感受野来提取帧图像的多个尺度的特征，得到多尺度特征图；每个的尺度特征图分别对应输入到一个语义模块中；一个语义模块与一个检测模块对应相连；所述语义模块用于增加对应尺度特征图的背景信息得到语义特征图，并输入到所述检测模块中；所述检测模块包括并行的回归分支、分类分支和IOUAware分支；所...

【专利技术属性】
技术研发人员：许炜，田博文，郭春麟，肖宇，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42