一种无接触的课堂自动签到方法及系统技术方案

本发明专利技术公开了一种无接触的课堂自动签到方法及系统，属于图像处理技术领域。本发明专利技术包括：一、监控摄像捕捉教室画面，获取学生上课的教室图像；二、构建基于S3fd的人脸检测模型，对图像进行人脸检测并截取图像中的人脸部分，得到学生的人脸图像；三、使用基于稀疏表示的图像超分辨率重建模型，对学生人脸图像进行分辨率提升，得到高分辨率的学生人脸图像；四、利用基于facenet的人脸识别模型对学生人脸图像进行检验，得到对应人脸图像的学生信息；五、多次重复步骤一

【技术实现步骤摘要】
一种无接触的课堂自动签到方法及系统


[0001]本专利技术涉及图像处理
，更具体地说，涉及一种无接触的课堂自动签到方法及系统。

技术介绍

[0002]课堂签到，从学生角度来看可以起到约束的作用，尤其是对于那些自制力较差的学生，避免班级出现不良的学习氛围；从老师角度来看，课堂签到不仅可以维持正常的课堂秩序，而且可以帮助老师了解学生的学习态度，留意自制力较差和成绩不理想的学生，保证教学的质量。因此课堂签到对于教学来说是一个非常有意义的环节。
[0003]当前最常用的课堂签到方式大致可以分为两种：一种是传统课堂签到，即由老师为主导不通过线上进行签到的方式，如点名册点名、纸质签名等；另一种则是当下比较常用的线上签到，即通过手机app或网站进行签到，老师发布签到类型，如：位置签到、二维码签到等，然后学生借助手机进行签到。
[0004]传统签到方法费时费力，占用教学时间，且存在代签的可能；线上签到方法有时会受限于网络因素和手机因素，也会给学生带来玩手机的机会，且同样存在代签的可能，并且两种签到方式均需要老师组织开展，会占用上课时间。
[0005]经检索，利用人脸识别技术实现各种场合的无接触签到，已经出现较多方案。如专利号ZL2021100430616，公开了一种基于人脸识别的课堂多人点名签到方法，该申请案通过人脸检测和面部特征提取网络mtcnn生成人脸边框和面部特征点；然后对人脸聚类网络facenet的特征提取骨架Inception
‑
ResNet
‑
v1进行改进，利用facenet将学生的人脸面部特征向量转换到欧几里得向量空间进行人脸聚类；将学生学号制作成二维码，利用二维码辅助课堂多人的人脸信息的快速比对以及班级点名核实；调用摄像头对上课的学生进行拍照，通过不同照片提供的信息完成课堂多人点名签到的过程。该申请案提高了班级点名签到的工作效率，也能够解决当前学生逃课和代人上课的问题。但该申请案将学生学号制作成二维码，让每个学生用二维码遮挡脸部进行拍照的设计，仍然不够便捷，整个方案实施起来仍较繁琐。

技术实现思路

[0006]1.专利技术要解决的技术问题
[0007]针对现有技术中，课堂签到占用上课时间、存在学生帮忙代签现象的问题，本专利技术提供了一种无接触的课堂自动签到方法及系统，本专利技术设计基于S3fd的人脸检测模型，并进行图像超分辨率重建，提高了人脸检测和识别的准确率，实现了无接触的课堂自动签到。
[0008]2.技术方案
[0009]为达到上述目的，本专利技术提供的技术方案为：
[0010]本专利技术的一种无接触的课堂自动签到方法，包括以下步骤：
[0011]步骤一、监控摄像捕捉教室画面，获取学生上课的教室图像；
[0012]步骤二、构建基于S3fd的人脸检测模型，对图像进行人脸检测并截取图像中的人脸部分，得到学生的人脸图像；
[0013]步骤三、使用基于稀疏表示的图像超分辨率重建模型，对学生人脸图像进行分辨率提升，得到高分辨率的学生人脸图像；
[0014]步骤四、利用基于facenet的人脸识别模型对学生人脸图像进行检验，得到对应人脸图像的学生信息；
[0015]步骤五、多次重复步骤一
‑
步骤四，整合得到学生信息，生成学生课堂签到和未签到名单，再由老师核实未签到名单的准确性。
[0016]更进一步地，步骤二构建的基于S3fd的人脸检测模型，包括：
[0017]基础卷积层：保留VGG16网络的Conv1_1到pool5层的结构，去除VGG16网络其余的结构；
[0018]额外卷积层：对于VGG16的fc6和fc7层的参数进行二次采样并将其转化成卷积层，然后在fc6和fc7卷积层后面添加由大到小的额外卷积层Conv6_1、Conv6_2、Conv7_1和Conv7_2；
[0019]检测卷积层：将基础卷积层中的Conv3_3、Conv4_3、Conv5_3和额外卷积层中的Conv_fc7、Conv6_2、Conv7_2层设置为检测卷积层，并设置相匹配的步长和anchor；
[0020]正则化层：在检测卷积层中，Conv3_3、Conv4_3、Conv5_3具有不同的特征尺寸，通过L2归一化将这三个卷积层的范数重新约束到10、8和5；
[0021]预测卷积层：在每一个检测卷积层后面添加一个大小为p*3*3*q的卷积层作为预测卷积层，其中p和q分别是输出和输入的通道数，3*3是卷积核的尺寸；
[0022]多任务损失层：该层为损失函数层，其中对于分类损失使用交叉熵损失，回归损失则用Smooth L1损失。
[0023]更进一步地，在检测卷积层中，设置anchor的尺寸与步长的大小比例始终保持在4：1。
[0024]更进一步地，在Conv3_3检测层使用max
‑
out背景标签策略，将背景细分为N
m
类，人脸作为一类，对于小尺寸的anchor，预测N
m
类背景标签的概率，然后选择其中概率最高的作为最终分数，用于softmax中以提高小尺寸人脸检测的准确度。
[0025]更进一步地，在预测卷积层中，设置IOU阈值为0.35，并筛选出IOU大于0.1的anchor，然后进行排序，选择前N个anchor作为小尺寸人脸的匹配anchor，其中N为anchor排序前匹配成功的平均数。
[0026]更进一步地，在预测卷积层中，对于每一个anchor，预测4个检测框坐标的偏移量和预测N
s
个分类的分值，在Conv3_3检测层里，N
s
＝N
m
+1，其中N
m
为max
‑
out背景标签，而对于其他检测层，N
s
＝2。
[0027]更进一步地，步骤三首先通过低分辨率图像Y和稀疏基矩阵U构建最优人脸特征子空间的稀疏向量模型；再通过求解得到的最优稀疏向量c
*
和稀疏基矩阵U重建中等高分辨率图像再计算中等高分辨率图像的图像块y的中值m构建最优的稀疏表示系数模型；用得到的图像块中值m，最优稀疏表示系数α
*
构建出图像块x，对中等高分辨率图像的每一个图像块y作上述处理，得到超分辨率重建的人脸图像X*。
[0028]更进一步地，步骤四所述facenet模型结构包括：
[0029]输入层：批量输入人脸样本作为元组；
[0030]深度卷积神经网络：该模型使用的主干网络为Inception
‑
Resnet
‑
v1；
[0031]L2正则化层：对人脸特征向量进行L2范数归一化；
[0032]嵌入层：将人脸特征向量映射到一个新的特征空间；
[0033]三元组损失模型：通过学习使同一个人最相似两张人脸图像之间的欧式距离小于与最像这个人的人脸图像之间的欧氏距离。
[0034]更进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无接触的课堂自动签到方法，其特征在于，包括以下步骤：步骤一、监控摄像捕捉教室画面，获取学生上课的教室图像；步骤二、构建基于S3fd的人脸检测模型，对图像进行人脸检测并截取图像中的人脸部分，得到学生的人脸图像；步骤三、使用基于稀疏表示的图像超分辨率重建模型，对学生人脸图像进行分辨率提升，得到高分辨率的学生人脸图像；步骤四、利用基于facenet的人脸识别模型对学生人脸图像进行检验，得到对应人脸图像的学生信息；步骤五、多次重复步骤一
‑
步骤四，整合得到学生信息，生成学生课堂签到和未签到名单，再由老师核实未签到名单的准确性。2.根据权利要求1所述的一种无接触的课堂自动签到方法，其特征在于：步骤二构建的基于S3fd的人脸检测模型，包括：基础卷积层：保留VGG16网络的Conv1_1到pool5层的结构，去除VGG16网络其余的结构；额外卷积层：对于VGG16的fc6和fc7层的参数进行二次采样并将其转化成卷积层，然后在fc6和fc7卷积层后面添加由大到小的额外卷积层Conv6_1、Conv6_2、Conv7_1和Conv7_2；检测卷积层：将基础卷积层中的Conv3_3、Conv4_3、Conv5_3和额外卷积层中的Conv_fc7、Conv6_2、Conv7_2层设置为检测卷积层，并设置相匹配的步长和anchor；正则化层：在检测卷积层中，Conv3_3、Conv4_3、Conv5_3具有不同的特征尺寸，通过L2归一化将这三个卷积层的范数重新约束到10、8和5；预测卷积层：在每一个检测卷积层后面添加一个大小为p*3*3*q的卷积层作为预测卷积层，其中p和q分别是输出和输入的通道数，3*3是卷积核的尺寸；多任务损失层：该层为损失函数层，其中对于分类损失使用交叉熵损失，回归损失则用Smooth L1损失。3.根据权利要求2所述的一种无接触的课堂自动签到方法，其特征在于：在检测卷积层中，设置anchor的尺寸与步长的大小比例始终保持在4：1。4.根据权利要求3所述的一种无接触的课堂自动签到方法，其特征在于：在Conv3_3检测层使用max
‑
out背景标签策略，将背景细分为N
m
类，人脸作为一类，对于小尺寸的anchor，预测N
m
类背景标签的概率，然后选择其中概率最高的作为最终分...

【专利技术属性】
技术研发人员：李嘉鑫，李霞，李文喜，吴东杰，聂问天，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：