一种学生课堂动作检测方法、系统、设备及存储介质技术方案

本发明专利技术公开一种学生课堂动作检测方法、系统、设备及存储介质，包括：对训练图像提取人体关键点；其中，对训练图像采用部分卷积处理后，对得到的特征图通过注意力操作确定特征图权重，由此得到加权特征图，将加权特征图与原训练图像进行残差连接后得到人体关键点特征图；对人体关键点特征图的不同通道进行不同尺度的卷积操作，确定不同尺度下的注意力权值，得到人体关键点注意力特征图；根据人体关键点注意力特征图训练分类网络，对待测图像经提取人体关键点后，采用分类网络得到课堂动作所属类别。针对学生课堂场景下的动作识别进行自动化检测，提高学生课堂动作识别的准确性和鲁棒性，提高学生课堂考核的准确性和效率。提高学生课堂考核的准确性和效率。提高学生课堂考核的准确性和效率。

【技术实现步骤摘要】
一种学生课堂动作检测方法、系统、设备及存储介质


[0001]本专利技术涉及计算机视觉目标检测
，特别是涉及一种学生课堂动作检测方法、系统、设备及存储介质。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]传统的学生课堂动作检测方法，检测的精度低，模型的参数量较大，在实际训练过程中模型的计算量大，内存访问次数高，模型冗余导致检测的速度不理想，从而导致模型不能有效的提取空间特征；其次对学生课堂动作分类不够精确，导致动作分类的精度不够高。
[0004]综上所述，学生课堂动作识别研究在模型的检测速度和学生课堂动作分类准确度等方面存在一些弊端和问题。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种学生课堂动作检测方法、系统、设备及存储介质，针对学生课堂场景下的动作识别进行自动化检测，提高学生课堂动作识别的准确性和鲁棒性，提高学生课堂考核的准确性和效率。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]第一方面，本专利技术提供一种学生课堂动作检测方法，包括：
[0008]获取学生课堂动作的训练图像；
[0009]对训练图像提取人体关键点；
[0010]其中，对训练图像采用部分卷积处理后，对得到的特征图通过注意力操作确定特征图权重，由此得到加权特征图，将加权特征图与原训练图像进行残差连接后得到人体关键点特征图；
[0011]对人体关键点特征图的不同通道进行不同尺度的卷积操作，并通过注意力操作确定不同尺度下的注意力权值，由此得到人体关键点注意力特征图；
[0012]根据人体关键点注意力特征图训练得到分类网络，对学生课堂动作的待测图像经提取人体关键点后，采用分类网络得到课堂动作所属类别。
[0013]作为可选择的实施方式，对训练图像的部分卷积处理包括：对训练图像的输入通道进行正则卷积，其余通道保持不变。
[0014]作为可选择的实施方式，对训练图像采用部分卷积处理后，通过一个1
×
1卷积进行降维操作，再经批归一化和激活函数进行特征转化后，经一个1
×
1卷积进行升维操作，然后将得到的特征图进行全局平均池化，确定特征图权重，将特征图权重乘以特征图得到加权特征图。
[0015]作为可选择的实施方式，将人体关键点特征图进行通道划分，每组通道进行不同卷积核的卷积操作，提取不同尺度特征图，对不同尺度特征图获取对应的注意力权值，将每
组通道的注意力权值进行拼接和归一化处理后，在与不同尺度特征图进行加权，由此得到人体关键点注意力特征图。
[0016]作为可选择的实施方式，所述分类网络包括依次连接的四层线性层，具体处理过程包括：
[0017]经第一线性层进行线性变换矩阵运算处理后，再经批归一化处理，经激活函数层将输出送入到第二线性层；
[0018]经第二线性层进行线性变换矩阵运算处理后，再经批归一化处理，经激活函数层将输出送入到第三线性层；
[0019]经第三线性层进行线性变换矩阵运算处理后，再经批归一化处理，经激活函数层将输出送入到第四线性层；
[0020]经第四线性层进行线性变换矩阵运算处理后，再经批归一化处理，经Dropout层与输入的人体关键点注意力特征图进行合并。
[0021]作为可选择的实施方式，所述分类网络中采用BN批归一化搭配ELU激活函数。
[0022]作为可选择的实施方式，所述分类网络中添加的Dropout层随机丢弃神经元输出。
[0023]第二方面，本专利技术提供一种学生课堂动作检测系统，包括：
[0024]获取模块，被配置为获取学生课堂动作的训练图像；
[0025]特征提取模块，被配置为对训练图像提取人体关键点；
[0026]其中，对训练图像采用部分卷积处理后，对得到的特征图通过注意力操作确定特征图权重，由此得到加权特征图，将加权特征图与原训练图像进行残差连接后得到人体关键点特征图；
[0027]对人体关键点特征图的不同通道进行不同尺度的卷积操作，并通过注意力操作确定不同尺度下的注意力权值，由此得到人体关键点注意力特征图；
[0028]训练分类模块，被配置为根据人体关键点注意力特征图训练得到分类网络，对学生课堂动作的待测图像经提取人体关键点后，采用分类网络得到课堂动作所属类别。
[0029]第三方面，本专利技术提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
[0030]第四方面，本专利技术提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
[0031]与现有技术相比，本专利技术的有益效果为：
[0032]本专利技术提出的学生课堂动作检测方法中，特征提取的主干网络采用C3_Faster模块，其中，部分卷积操作减少冗余计算和内存访问，降低浮点运算次数，可以更有效的提取空间特征，使得人体关键点的预测更加准确；采用批归一化、ReLU激活函数和残差连接有效避免梯度消失和梯度爆炸问题，加快网络速度，可以更容易的学习细节，进而提高模型泛化能力；融入SE注意力机制可以自动学习特征图中的重要信息，从而减少对无关信息的关注，提高学生课堂动作识别的准确性和鲁棒性，提高学生课堂考核的准确性和效率。
[0033]为了提升学生课堂动作分类的精确度，本专利技术添加PSA注意力机制，通过学习特征图中个人体关键点位置之间的相似度和权重，更好的建模人体关键点位置之间的关系和上下文信息，降低特征图中各位置的耦合度，在通道和空间维度都保持较高的分辨率，保存更
多的语义信息，更加拟合出细粒度结果的输出，且因为没有空间和通道上的维度压缩，能更好的保存人体关键点的表征信息，使得模型更具有泛化能力，从而增强模型的表示能力。
[0034]在学生课堂动作分类时，采用批归一化搭配ELU激活函数，通过对每个批次的输入进行归一化，加速网络收敛，提高训练速度和网络泛化能力，有效解决梯度消失问题和梯度爆炸问题，通过在网络结构中加入残差连接，将前向传播中的信息直接传递到后续的层，避免信息丢失。
[0035]在学生课堂动作分类时，通过添加的Dropout层，使得网络不依赖于某些特定的神经元，从而可以更好的学习到特征的组合。Dropout层限制神经元的输出值，从而避免某些权重的值变得过大或过小，提高模型稳定性，防止梯度爆炸。
[0036]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0037]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0038]图1为本专利技术实施例1提供的学生课堂动作检测方法流程图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学生课堂动作检测方法，其特征在于，包括：获取学生课堂动作的训练图像；对训练图像提取人体关键点；其中，对训练图像采用部分卷积处理后，对得到的特征图通过注意力操作确定特征图权重，由此得到加权特征图，将加权特征图与原训练图像进行残差连接后得到人体关键点特征图；对人体关键点特征图的不同通道进行不同尺度的卷积操作，并通过注意力操作确定不同尺度下的注意力权值，由此得到人体关键点注意力特征图；根据人体关键点注意力特征图训练得到分类网络，对学生课堂动作的待测图像经提取人体关键点后，采用分类网络得到课堂动作所属类别。2.如权利要求1所述的一种学生课堂动作检测方法，其特征在于，对训练图像的部分卷积处理包括：对训练图像的输入通道进行正则卷积，其余通道保持不变。3.如权利要求1所述的一种学生课堂动作检测方法，其特征在于，对训练图像采用部分卷积处理后，通过一个1
×
1卷积进行降维操作，再经批归一化和激活函数进行特征转化后，经一个1
×
1卷积进行升维操作，然后将得到的特征图进行全局平均池化，确定特征图权重，将特征图权重乘以特征图得到加权特征图。4.如权利要求1所述的一种学生课堂动作检测方法，其特征在于，将人体关键点特征图进行通道划分，每组通道进行不同卷积核的卷积操作，提取不同尺度特征图，对不同尺度特征图获取对应的注意力权值，将每组通道的注意力权值进行拼接和归一化处理后，在与不同尺度特征图进行加权，由此得到人体关键点注意力特征图。5.如权利要求1所述的一种学生课堂动作检测方法，其特征在于，所述分类网络包括依次连接的四层线性层，具体处理过程包括：经第一线性层进行线性变换矩阵运算处理后，再经批归一化处理，经激活函数层将输出送入到第二线...

【专利技术属性】
技术研发人员：张让勇，刘琦，顾笑言，闫蕊，郭文杰，
申请(专利权)人：齐鲁工业大学山东省科学院山东山科智控数字化科技有限公司，
类型：发明
国别省市：