一种学生时空动作识别方法、装置、终端设备及介质制造方法及图纸

本申请适用于教学管理系统技术领域，提供了一种学生时空动作识别方法、装置、终端设备及介质，该方法包括：根据改进后的人脸识别方法和图像特征提取神经网络模型构建人脸特征提取模型；根据人体检测模型和时空特征提取神经网络模型构建时空动作识别模型；利用人脸检测模型和时空动作识别模型对待处理视频数据进行处理，得到动作管集合和人脸标注框集合；对动作管集合和人脸标注框集合进行空间交并，得到待识别动作集合；利用人脸特征提取模型提取每个人脸标注框的人脸特征数据；将目标学生的人脸特征数据与预处理人脸特征数据进行匹配，得到目标学生的身份信息以及动作信息。本申请能对学生的时空动作与学生身份进行匹配。申请能对学生的时空动作与学生身份进行匹配。申请能对学生的时空动作与学生身份进行匹配。

【技术实现步骤摘要】
一种学生时空动作识别方法、装置、终端设备及介质


[0001]本申请属于教学管理系统
，尤其涉及一种学生时空动作识别方法、装置、终端设备及介质。

技术介绍

[0002]随着国家教育信息化规划的推进，越来越多的人工智能技术与智能边缘设备被运用于高质量信息化教学实践之中，在教学场景下已经产生了大量原始数据可供研究，这些数据是多模态的，包含了学生的各方面信息，通过使用人工智能技术对这些视频、音频、文本数据的挖掘分析可以获得目标任务所需信息。特别的，教室教学场景下学生观测视频数据具有大容量、获取便利等特点，其数据挖掘工作成为了当前计算机视觉与教育学领域交叉研究的热点。当前对于学生观测视频数据的研究工作主要集中于动作识别与人脸识别两个通用研究方向上，通过对课堂中学生的动作识别和人脸识别实现课堂考勤、教学质量验证等应用。
[0003]人脸识别方法通常包括人脸检测与人脸验证两个阶段，特别的，目前的对于课堂场景下的人脸验证方法大多在小规模下进行身份匹配，无法泛化到大规模学生身份验证的场景下。而目前的动作识别方法只关注对课堂动作的识别，识别到的动作未与学生具体身份对应，获取到的动作数据只能用于特定课堂中整体的教学评价，无法对特定学生的动作进行分析。
[0004]综上，目前学生时空动作识别方法无法将学生的时空动作与学生身份进行匹配。

技术实现思路

[0005]本申请实施例提供了一种学生时空动作识别方法、装置、终端设备及介质，可以解决学生时空动作识别方法无法对学生的时空动作与学生身份进行匹配的问题。r/>[0006]第一方面，本申请实施例提供了一种学生时空动作识别方法，包括：
[0007]根据改进后的人脸识别方法和图像特征提取神经网络模型构建人脸特征提取模型；
[0008]根据预先训练后的人体检测模型和时空特征提取神经网络模型构建时空动作识别模型；
[0009]利用预先训练后的人脸检测模型和时空动作识别模型对待处理视频数据进行处理，得到动作管集合和人脸标注框集合；动作管集合包括多个动作标注框集合；
[0010]对动作管集合和人脸标注框集合进行空间交并操作，得到待识别动作集合；待识别动作集合包括多个人脸标注框以及每个人脸标注框对应的动作标注框；
[0011]利用人脸特征提取模型提取待识别动作集合中每个人脸标注框的人脸特征数据；人脸特征数据包括多个人脸特征；
[0012]将目标学生的人脸特征数据与特征数据库中的预处理人脸特征数据进行匹配，得到目标学生的身份信息以及该目标学生的动作信息。
[0013]可选的，根据改进后的人脸识别模型和图像特征提取神经网络模型构建人脸特征提取模型，包括：
[0014]通过计算公式
[0015][0016]得到改进的ArcFace损失函数L；其中，N表示每个训练批的大小，n表示类别的数量，m1、m2、m3分别表示SphereFace的乘性角度边距惩罚、ArcFace的加性角度边距惩罚和CosFace的加性余弦边距惩罚，θ表示训练批样本特征向量和权重矩阵列向量的夹角，下标j表示权重矩阵的列数，y
i
表示训练批第i个样本特征向量实际类别对应的列数，s表示训练所得超平面的半径；
[0017]将预先训练后的PyramidVision Transformer v2
‑
B2
‑
li神经网络模型作为图像特征提取神经网络模型，并利用改进的ArcFace损失函数L对Pyramid Vision Transformer v2
‑
B2
‑
li神经网络模型进行优化训练，得到人脸识别特征提取模型。
[0018]可选的，根据预先训练后的人体检测模型和时空特征提取神经网络模型构建时空动作识别模型，包括：
[0019]利用预先训练后的人体检测模型对原始视频数据进行检测，得到多个人体标注框；
[0020]将ResNet50作为SlowFast神经网络模型的主干网络，并利用SlowFast神经网络模型提取原始视频数据的时空特征和多个人体标注框中每个人体标注框的动作信息；
[0021]根据时空特征和动作信息构建时空动作识别模型。
[0022]可选的，对动作管集合和人脸标注框集合进行空间交并操作，包括：
[0023]分别将动作管集合A和人脸标注框集合F，与待处理视频数据进行时序对齐，得到含时间戳的动作管集合和含时间戳的人脸标注框集合；其中，A＝A1,A2,...,A
q
，F＝F1,F2,...,F
m
，q表示动作管的总数量，m表示人脸标注框的总数量；
[0024]对含时间戳的动作管集合进行双重裁切，得到视频帧集合；视频帧集合包括多个含时间戳的动作管；
[0025]针对视频帧集合中的每个动作标注框，通过计算公式
[0026][0027]h
inter
＝max(0,min(ay2,by2)
‑
max(ay1,by1))
[0028]w
inter
＝max(0,min(ax2,bx2)
‑
max(ax1,bx1))
[0029]得到该动作标注框与相同时间戳下所有人脸标注框的交并比IoU；其中，动作标注框坐标为(ax1,ay1,ax2,ay2)，人脸标注框坐标为(bx1,by1,bx2,by2)，IoU＝IoU1,IoU2,...,IoU
g
，g表示相同时间戳下该动作标注框对应的人脸标注框的总数量；
[0030]将交并比最高且与该动作标注框中心点几何距离最近的人脸标注框作为该动作标注框中动作的发起者，得到一组人脸动作数据；
[0031]根据所有动作标注框对应的多组人脸动作数据构建待识别动作集合。
[0032]可选的，对含时间戳的动作管集合进行双重裁切，得到视频帧集合，包括：
[0033]对含时间戳的动作管集合进行裁切，得到第一视频切片；
[0034]通过正态分布对第一视频切片进行区域划分，得到多个视频切片区域；
[0035]对多个视频切片区域随机抽取视频帧，得到视频帧集合。
[0036]可选的，将目标学生的人脸特征数据与特征数据库中的预处理人脸特征数据进行匹配，包括：
[0037]通过计算公式
[0038][0039]得到目标学生人脸特征与特征数据库中预处理人脸特征的余弦相似度cosθ，其中，目标学生人脸特征为ax
i
表示目标学生人脸特征的第i个特征分量，特征数据库中预处理人脸特征为征分量，特征数据库中预处理人脸特征为bx
i
表示特征数据库中预处理人脸特征的第i个特征分量，n表示学生人脸特征特征分量的总数；
[0040]若cosθ大于余弦相似度预设阈值，则确定目标学生人脸特征与该预处理人脸特征匹配，并将特征数据库中该预处理人脸特征对应的身份信息确定为目标学生的身份本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学生时空动作识别方法，其特征在于，包括：根据改进后的人脸识别方法和图像特征提取神经网络模型构建人脸特征提取模型；根据预先训练后的人体检测模型和时空特征提取神经网络模型构建时空动作识别模型；利用预先训练后的人脸检测模型和所述时空动作识别模型对待处理视频数据进行处理，得到动作管集合和人脸标注框集合；所述动作管集合包括多个动作标注框集合；对所述动作管集合和所述人脸标注框集合进行空间交并操作，得到待识别动作集合；所述待识别动作集合包括多个人脸标注框以及每个人脸标注框对应的动作标注框；利用所述人脸特征提取模型提取所述待识别动作集合中每个人脸标注框的人脸特征数据；所述人脸特征数据包括多个人脸特征；将目标学生的人脸特征数据与特征数据库中的预处理人脸特征数据进行匹配，得到目标学生的身份信息以及该目标学生的动作信息。2.根据权利要求1所述的识别方法，其特征在于，所述根据改进后的人脸识别方法和图像特征提取神经网络模型构建人脸特征提取模型，包括：通过计算公式得到改进的ArcFace损失函数L；其中，N表示每个训练批的大小，n表示类别的数量，m1、m2、m3分别表示SphereFace的乘性角度边距惩罚、ArcFace的加性角度边距惩罚和CosFace的加性余弦边距惩罚，θ表示训练批样本特征向量和权重矩阵列向量的夹角，下标j表示权重矩阵的列数，y
i
表示训练批第i个样本特征向量实际类别对应的列数，s表示训练所得超平面的半径；将预先训练后的Pyramid Vision Transformer v2
‑
B2
‑
li神经网络模型作为所述图像特征提取神经网络模型，并利用所述改进的ArcFace损失函数L对Pyramid Vision Transformer v2
‑
B2
‑
li神经网络模型进行优化训练，得到所述人脸识别特征提取模型。3.根据权利要求1所述的识别方法，其特征在于，所述根据预先训练后的人体检测模型和时空特征提取神经网络模型构建时空动作识别模型，包括：利用所述预先训练后的人体检测模型对原始视频数据进行检测，得到多个人体标注框；将ResNet50作为SlowFast神经网络模型的主干网络，并利用SlowFast神经网络模型提取所述原始视频数据的时空特征和所述多个人体标注框中每个人体标注框的动作信息；根据所述时空特征和所述动作信息构建所述时空动作识别模型。4.根据权利要求1所述的识别方法，其特征在于，所述对所述动作管集合和所述人脸标注框集合进行空间交并操作，包括：分别将所述动作管集合A和所述人脸标注框集合F，与所述待处理视频数据进行时序对齐，得到含时间戳的动作管集合和含时间戳的人脸标注框集合；其中，A＝A1,A2,...,A
q
，F＝F1,F2,...,F
m
，q表示动作管的总数量，m表示人脸标注框的总数量；对所述含时间戳的动作管集合进行双重裁切，得到视频帧集合；所述视频帧集合包括
多个含时间戳的动作管；针对所述视频帧集合中的每个动作标注框，通过计算公式i
inter
＝h
inter
*w
inter
h
inter
＝max(0,min(ay2,by2)
‑
max(ay1,by1))w
inter
＝max(0,min(ax2,bx2)
‑<...

【专利技术属性】
技术研发人员：罗京，胡超，费洪晓，陈黎，梁锴，余瑞实，
申请(专利权)人：中南大学，
类型：发明
国别省市：