一种学生活动伴随式数据分析方法技术

本申请公开了一种学生活动伴随式数据分析方法

【技术实现步骤摘要】
一种学生活动伴随式数据分析方法、装置及设备


[0001]本申请涉及人脸数据采集及识别
，更具体地，涉及一种学生活动伴随式数据分析方法
、
装置及设备
。

技术介绍

[0002]人工智能技术的发展和大数据时代的到来助推学生个性化学习之路，方便学校对学生开展专业化
、
个性化的教学，摒弃以往“流水线”式的教学模式，通过数据赋能，学校可以依托数据管理平台采集学生学习活动伴随式数据，在此基础上开展动态分析，教师
、
家长可利用动态分析精准指导学生学习，更好的服务于学生成长
。
但是学生学习活动由于其自身的复杂性与学习这一行为的独特性，已有的学生学习活动的数字轨迹或数字画像的刻画只是停留在表面，主要依靠一些静态性与周期性数据进行学生学习活动中侧面的统计或呈现，急需学生学习活动的伴随式数据采集以实现全要素不间断的数据覆盖与采集
。
[0003]目前，对于学生的学习专注度的采集与分析主要集中在学校，忽略了学生在家庭中的学习活动中的专注度采集与分析
。
...

【技术保护点】

【技术特征摘要】
1.
一种学生活动伴随式数据分析方法，其特征在于，包括以下步骤：
S1
获取待分析对象在学习活动过程中的伴随式视频数据并进行人脸检测，生成人脸图像；
S2
利用一个基于局部人脸的自注意力特征点采样模型对人脸图像进行面部特征点采样，获得多组面部特征点的集合；包括：从人脸图像中提取图像特征，生成特征图；以预测的面部特征点为中心从所述特征图中裁剪预设大小的局部图像块；从所述局部图像块中提取每个面部特征点在对应图像块中的局部坐标，以面部特征点的局部坐标与对应局部图像块的相对位置坐标之和作为最终预测的坐标，生成带有面部特征点的集合；
S3
将所述面部特征点的集合输入到一个基于残差提示的自注意力特征提取模型中提取面部特征；
S4
将所述面部特征与人脸特征库中存储的人脸特征进行比对，生成人脸特征数据及其对应的身份信息；
S5
基于所述伴随式视频数据和人脸特征数据进行可视化分析
。2.
如权利要求1所述的学生活动伴随式数据分析方法，其特征在于，所述从局部图像块中提取每个面部特征点在对应图像块中的局部坐标，包括：将局部图像块映射为向量，对每个局部图像块中的面部特征点之间的距离进行编码，获得面部特征点在局部图像块中的相对位置关系；根据编码结果对每个局部图像块中各面部特征点之间的相对位置关系进行建模，输出每个面部特征点相对局部图像块的局部坐标
。3.
如权利要求1所述的学生活动伴随式数据分析方法，其特征在于，所述将面部特征点的集合输入到一个基于残差提示的自注意力特征提取模型中提取面部特征，包括：在特征图上以每个面部特征点的坐标为中心划分图像块，将每个图像块映射到二维向量并添加分类标志和位置编码；叠加进行位置编码的各图像块，得到聚合向量；将所述聚合向量输入自注意力特征提取模型中进行特征提取，提取过程表示为：
其中，引入提示符号
S0∈R
M
×
d
，该提示符号
S0与图像块及分类标志一起通过编码器传输，在每一层，每个图像块都通过自注意力层与其他图像块交互；
Split
表示将长度为
N+L+1
的传播序列拆分为
N+1
个图像块和
L
个提示符；
S
J
为提示向量，对
S
J
进行平均池化处理后获得最终表示
I
0J
为分类标志经过
Transformer
编码器之后的输出值；
x
表示整个模型最终的输出，使用损失函数对输出
x
进行人脸识别监督训练，
N
为样本数量；
d
为边距，当中的是最后一个线性层的加权矩阵，
W
i
表示权矩阵的归一化第
i
列，
y
j
为对应的真值，当中的
b
j
为第
j
个样本
。4.
如权利要求1所述的学生活动伴随式数据分析方法，其特征在于，在特征提取过程中，第
l
层
MSA
计算可以表示为：其中，为可学习的参数
,
每一个自注意力
s
h
进行自注意力计算，利用矩阵融合每个自注意力头
s
h
得到
R
；在中间层
l
的
MSA
块内的计算中将残差提示添加到传播提示中，残差提示的计算可以表示为：其中，为
b
×
(N+1)
维零矩阵，为残差提示符；仅将残差提示添加到传播的提示符位置，而不添加到图像块或分类标记的位置
。5.
一种学生活动伴随式数据分析装置，其特征在于，包括：视频采集器，其用于采集待分析对象在学习活动过程中的伴随式视频数据；面部探测器，其用于对所述伴随式视频数据进行人脸检测，生成人脸图像；人脸识别模块，包括基于局部人脸的自注意力特征点采样模型和基于残差提示的自注意力特征提取模型；其中，所述自注意力特征点采样模型被配置为：从人脸图像...

【专利技术属性】
技术研发人员：徐建，张昭理，刘海，吴晨，吴砥，郭惠敏，代书铭，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：