一种学生课堂专注度评估方法、系统、设备及存储介质技术方案

本发明专利技术公开一种学生课堂专注度评估方法、系统、设备及存储介质，包括：对待测行为图像采用不同卷积核分解为不同的特征子图，对每个特征子图沿核空间的不同维度分别确定对应的注意力权重，对多维注意力特征图提取在宽度和高度方向的注意力权重，得到多维通道注意力特征图；对多维通道注意力特征图依次进行尺度感知注意力提取、空间感知注意力提取和任务感知注意力提取，以此识别得到课堂行为类别；对待测面部表情图像采用表情识别模型得到面部表情类别；根据课堂行为类别和面部表情类别综合评估课堂专注度。适应不同尺度的目标检测，增强目标感知能力，提高行为识别的准确率。提高行为识别的准确率。提高行为识别的准确率。

【技术实现步骤摘要】
一种学生课堂专注度评估方法、系统、设备及存储介质


[0001]本专利技术涉及计算机视觉目标检测
，特别是涉及一种学生课堂专注度评估方法、系统、设备及存储介质。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在现代教育中，了解学生的行为和参与程度对于教师的教学效果评估和学生学习成果的提升至关重要。为了更好地监测和识别学生在课堂上的行为，发展了一系列方法，主要包括传感器技术的发展、机器学习和模式识别算法的应用、情感计算的研究等。
[0004]其中，通过使用摄像头、麦克风、运动传感器等设备，可以收集学生行为数据，包括面部表情、语音特征、姿势和动作等，通过使用声音分析、姿势识别、脑电图等多种传感器数据结合机器学习算法来识别学生的参与度。借助机器学习和模式识别算法对学生行为数据进行分析和建模，将学生的行为特征与不同的行为类别相关联，例如专注、分心、互动等。在学生课堂行为识别中，情感计算可以帮助分析学生情感状态，如兴奋、沮丧、专注等，通过识别学生情感变化，可提供个性化的学习支持和教学反馈。
[0005]在学生课堂行为识别技术研究中，在进行目标检测时，由于距离摄像头安装位置的远近，处于教室后排的学生会成为小目标，同时由于距离过远，成像效果不理想，成为低分辨率目标，而卷积神经网络在进行卷积、下采样等操作时，会使得图像特征存在不同程度的损失，特别是对处于教室后排离摄像头较远的学生，目标小且分辨率低，在对后排学生提取特征时特征信息就会有很大的损失。
[0006]另外，在目标检测中目标存在大小不等的情况，而普通卷积模块在尺寸设计上是固定的，所以对图像中主要目标的特征信息不能够有效提取，不能够适应不同尺度目标的检测。
[0007]再者，学生身体之间会存在互相遮挡，以及课桌椅对学生身体也会存在遮挡，故会形成大量遮挡目标，教室的学生数量过多又会产生密集目标，考验模型对目标的感知能力。

技术实现思路

[0008]为了解决上述问题，本专利技术提出了一种学生课堂专注度评估方法、系统、设备及存储介质，适应不同尺度的目标检测，增强目标感知能力，在分辨率低的情况下尽可能多的保留图像特征信息，提高行为识别的准确率，从而实现根据课堂行为和面部表情两个指标综合评估学生的课堂专注度水平。
[0009]为了实现上述目的，本专利技术采用如下技术方案：
[0010]第一方面，本专利技术提供一种学生课堂专注度评估方法，包括：
[0011]获取学生课堂的待测行为图像，对待测行为图像采用不同卷积核分解为不同的特征子图，对每个特征子图沿核空间的不同维度分别确定对应的注意力权重，由此得到多维
注意力特征图，对多维注意力特征图提取在宽度和高度方向的注意力权重，由此得到多维通道注意力特征图；
[0012]对多维通道注意力特征图依次进行尺度感知注意力提取、空间感知注意力提取和任务感知注意力提取，以此识别得到课堂行为类别；
[0013]获取学生课堂的待测面部表情图像，对待测面部表情图像采用训练后的表情识别模型得到面部表情类别；
[0014]根据设定的课堂行为权重和面部表情权重，对识别得到的课堂行为类别和面部表情类别分别进行赋权后得到评估分数，根据评估分数与评估阈值的比较结果评估学生的课堂专注度水平。
[0015]作为可选择的实施方式，将输入的待测行为图像经全局池化处理，使处理后的特征图尺寸与通道尺寸相同；经全连接层对特征向量进行映射，经ReLU激活函数并通过4个全连接层搭配Sigmoid激活函数和Softmax激活函数生成卷积核维度、特征空间维度、输入通道维度和输出通道维度各自对应的注意力标量，由此得到多维注意力特征图。
[0016]作为可选择的实施方式，所述多维注意力特征图为：
[0017]y＝(α
w1
⊙
α
f1
⊙
α
c1
⊙
α
s1
⊙
W1+
…
+α
wn
⊙
α
fn
⊙
α
cn
⊙
α
sn
⊙
W
n
)*x
[0018]其中，x为输入的待测行为图像，y为输出的多维注意力特征图，W
n
为第n个卷积核，α
wn
为第n个卷积核的注意力标量，α
sn
、α
cn
和α
fn
分别为沿特征空间、输入通道和输出通道的注意力标量，
⊙
为沿核空间不同维度的乘法运算。
[0019]作为可选择的实施方式，所述多维通道注意力特征图的提取过程包括：
[0020]对多维注意力特征图分别按照X方向和Y方向进行平均池化，分别生成C*H*1、C*H*1、C*H*1的X方向特征图和C*1*W、C*1*W、C*1*W的Y方向特征图；
[0021]将Y方向特征图按照X方向特征图的尺寸进行变换后，与X方向特征图进行连接操作，并利用1*1卷积进行降维；
[0022]经批归一化和非线性激活进行特征转化后，再次按照空间维度进行分离操作，恢复原尺寸；
[0023]经两个1*1卷积进行升维操作，结合H_Sigmoid激活函数激活后，与多维注意力特征图合并进行残差连接操作。
[0024]作为可选择的实施方式，采用基于注意力机制的目标检测头，将多维通道注意力特征图的注意力转换为三个序列的注意力，每个注意力聚焦一个维度，具体为：
[0025][0026]其中，W(
·
)为注意力函数，为L
×
S
×
C的三维张量，L为特征图的层级，S为特征图的宽高乘积，C为特征图的通道数，π
C
(
·
)为任务感知注意力，π
S
(
·
)为空间感知注意力，π
L
(
·
)为尺度感知注意力。
[0027]作为可选择的实施方式，尺度感知注意力为：
[0028][0029]空间感知注意力为：
[0030][0031]任务感知注意力为：
[0032][0033]其中，f(
·
)为线性函数；σ(
·
)为激活函数；K为稀疏采样位置数；p
k
+Δ
k
代表由自学习空间位移量Δ
k
所决定的可移动位置p
k
，Δm
k
是可移动位置p
k
处的自学习重要性标量；是C个通道的特征切片；α和β为超参数，w
l,k
是卷积学习稀疏化。
[0034]作为可选择的实施方式，在识别课堂行为类别时，采用训练后的行为识别模型，对行为识别模型进行训练时，采用学生课堂行为动作数据集，对学生课堂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学生课堂专注度评估方法，其特征在于，包括：获取学生课堂的待测行为图像，对待测行为图像采用不同卷积核分解为不同的特征子图，对每个特征子图沿核空间的不同维度分别确定对应的注意力权重，由此得到多维注意力特征图，对多维注意力特征图提取在宽度和高度方向的注意力权重，由此得到多维通道注意力特征图；对多维通道注意力特征图依次进行尺度感知注意力提取、空间感知注意力提取和任务感知注意力提取，以此识别得到课堂行为类别；获取学生课堂的待测面部表情图像，对待测面部表情图像采用训练后的表情识别模型得到面部表情类别；根据设定的课堂行为权重和面部表情权重，对识别得到的课堂行为类别和面部表情类别分别进行赋权后得到评估分数，根据评估分数与评估阈值的比较结果评估学生的课堂专注度水平。2.如权利要求1所述的一种学生课堂专注度评估方法，其特征在于，将输入的待测行为图像经全局池化处理，使处理后的特征图尺寸与通道尺寸相同；经全连接层对特征向量进行映射，经ReLU激活函数并通过4个全连接层搭配Sigmoid激活函数和Softmax激活函数生成卷积核维度、特征空间维度、输入通道维度和输出通道维度各自对应的注意力标量，由此得到多维注意力特征图。3.如权利要求2所述的一种学生课堂专注度评估方法，其特征在于，所述多维注意力特征图为：y＝(α
w1
⊙
α
f1
⊙
α
c1
⊙
α
s1
⊙
W1+
…
+α
wn
⊙
α
fn
⊙
α
cn
⊙
α
sn
⊙
W
n
)*x其中，x为输入的待测行为图像，y为输出的多维注意力特征图，W
n
为第n个卷积核，α
wn
为第n个卷积核的注意力标量，α
sn
、α
cn
和α
fn
分别为沿特征空间、输入通道和输出通道的注意力标量，
⊙
为沿核空间不同维度的乘法运算。4.如权利要求1所述的一种学生课堂专注度评估方法，其特征在于，所述多维通道注意力特征图的提取过程包括：对多维注意力特征图分别按照X方向和Y方向进行平均池化，分别生成C*H*1、C*H*1、C*H*1的X方向特征图和C*1*W、C*1*W、C*1*W的Y方向特征图；C、H分别是通道数和高；将Y方向特征图按照X方向特征图的尺寸进行变换后，与X方向特征图进行连接操作，并利用1*1卷积进行降维；经批归一化和非线性激活进行特征转化后，再次按照空间维度进行分离操作，恢复原尺寸；经两个1*1卷积进行升维操作，结合H_Sigmoid激活函数激活后，与多维注意力特征图合并进行残差连接操作。5.如权利要求1所述的一种学生课堂专注度评估方法，其特征在于，采用基...

【专利技术属性】
技术研发人员：张让勇，刘琦，郭文杰，闫蕊，顾笑言，
申请(专利权)人：齐鲁工业大学山东省科学院山东山科智控数字化科技有限公司，
类型：发明
国别省市：