基于图像分析的高校课堂氛围评价系统技术方案

本发明专利技术公开了一种基于图像分析的高校课堂氛围评价系统，包含：第一摄像头，用于采集线下课堂图像；第二摄像头，用于采集线上课堂图像；边缘服务器，用于接收第一摄像头采集到的线下课堂图像和第二摄像头采集到的线上课堂图像并对其进行处理和分析；边缘服务器包含：图像预处理单元，用于对接收到的线下课堂图像和线上课堂图像进行预处理；图像检测分析单元，用于对预处理后的线下课堂图像和线上课堂图像进行分析得到学生的参与度与专注度。本发明专利技术的基于图像分析的高校课堂氛围评价系统，兼顾线上线下课堂场景，从学生参与度与专注度两大外显性指标入手，实时、客观地监控与反映课堂教学氛围的情况，为高校课堂评价的内源性发展提供了依据。展提供了依据。展提供了依据。

Evaluation system of college classroom atmosphere based on image analysis

【技术实现步骤摘要】
基于图像分析的高校课堂氛围评价系统


[0001]本专利技术涉及一种基于图像分析的高校课堂氛围评价系统。

技术介绍

[0002]本科教育是高等教育的根和本，是高校“双一流”建设中的基石。高质量的本科教育离不开有效的教学质量保障体系。良好的课堂氛围是优质教学过程的一大表现，课堂氛围评价可以成为课堂质量评价的有效手段之一。当前的课堂氛围评价方法大多针对传统线下课堂教学，存在评价指标主观、评价时间后移等缺点，难以兼顾高校同步开展的线上线下课堂。

技术实现思路

[0003]本专利技术提供了一种基于图像分析的高校课堂氛围评价系统解决上述提到的技术问题，具体采用如下的技术方案：
[0004]一种基于图像分析的高校课堂氛围评价系统，包含：
[0005]第一摄像头，用于采集线下课堂图像；
[0006]第二摄像头，用于采集线上课堂图像；
[0007]边缘服务器，用于接收第一摄像头采集到的线下课堂图像和第二摄像头采集到的线上课堂图像并对其进行处理和分析；
[0008]边缘服务器包含：
[0009]图像预处理单元，用于对接收到的线下课堂图像和线上课堂图像进行预处理；
[0010]图像检测分析单元，用于对预处理后的线下课堂图像和线上课堂图像进行分析得到学生的参与度与专注度。
[0011]进一步地，图像预处理单元包含：
[0012]第一预处理模块，用于对线下课堂图像进行分割。
[0013]进一步地，线下课堂图像的尺寸为16：9，第一预处理模块对线下课堂图像使用纵向3* 2
n
‑1‑
1条分割线，横向2
n
‑
1条分割线进行等间隔分块；
[0014]通过横向分割线对线下课堂图像进行分割后，在提取每一个单独的小图像时，实际截取的小图像在纵向和横向方向上均超出分割线的实际分割范围。
[0015]进一步地，图像预处理单元还包含：
[0016]第二预处理模块，用于对线上课堂图像进行处理提取出其中的人脸区域。
[0017]进一步地，第二预处理模块首先将线上课堂图像转换为灰度图；
[0018]然后对灰度化后的线上课堂图像进行二值化；
[0019]在对二值化后的线上课堂图像进行轮廓提取并对提取到的轮廓生成最小外接矩形框；
[0020]对这些外接矩形框进行筛选保留矩形边相对于水平面近似平行或垂直的外接矩形框；
[0021]将这些外接矩形框从原始的线上课堂图像中裁剪出来；
[0022]通过人脸检测获取裁剪出的外接矩形框中的图像的人脸区域并提取出来；
[0023]调节提取出的人脸图片的尺寸。
[0024]进一步地，图像检测分析单元包含：
[0025]第一检测模块，用于通过SSD目标检测网络对第一预处理模块分割后的图像进行检测识别出学生的头部姿态，并以此计算出学生的参与度和专注度。
[0026]进一步地，图像检测分析单元还包含：
[0027]热力图生成模块，用于根据第一检测模块检测出的学生的参与度和专注度智能生成线下课堂氛围热力图。
[0028]进一步地，图像检测分析单元还包含：
[0029]第二检测模块，用于通过人脸关键点检测算法对第二预处理模块提取出的人脸图片进行人脸关键点检测，根据检测到的人脸关键点，利用相机参数、三维空间人脸关键点坐标位置和与之一一对应的图像平面人脸关键点坐标位置，通过N点透视求解的方法解出二维坐标点映射到三维模型时的变换矩阵，进而获得人脸三维欧拉角度，并根据获得的人脸三维欧拉角度对人脸图像中的人脸进行三维旋转。
[0030]进一步地，第二检测模块从提取出的人脸图片中提取出9个人脸关键点。
[0031]进一步地，边缘服务器还包含：
[0032]数据存储单元，用于保存图像检测分析单元的分析结果。
[0033]本专利技术的有益之处在于所提供的基于图像分析的高校课堂氛围评价系统，兼顾线上线下课堂场景，从学生参与度与专注度两大外显性指标入手，实时、客观地监控与反映课堂教学氛围的情况，为高校课堂评价的内源性发展提供了依据。
附图说明
[0034]图1是本专利技术的一种基于图像分析的高校课堂氛围评价系统的示意图；
[0035]图2是对图像进行分割的示意图；
[0036]图3是生成的热力图的示意图。
具体实施方式
[0037]以下结合附图和具体实施例对本专利技术作具体的介绍。
[0038]如图1所示为本申请的一种基于图像分析的高校课堂氛围评价系统，主要包含：智能摄像头和边缘服务器。其中，智能摄像头包含第一摄像头和第二摄像头。第一摄像头用于采集线下课堂图像。其布置在教师中。第二摄像头用于采集线上课堂图像。线上课堂由于一般使用钉钉、腾讯会议等软件进行，可以利用学生电脑自带的摄像头进行图像采集。边缘服务器用于接收第一摄像头采集到的线下课堂图像和第二摄像头采集到的线上课堂图像并对其进行处理和分析。具体地，边缘服务器包含：图像预处理单元、图像检测分析单元和数据存储单元。其中，图像预处理单元用于对接收到的线下课堂图像和线上课堂图像进行预处理。图像检测分析单元，用于对预处理后的线下课堂图像和线上课堂图像进行分析得到学生的参与度与专注度。
[0039]数据存储单元用于保存图像检测分析单元的分析结果。教师可以通过个人电脑来
查询数据库来了解课堂情况。本申请采用SQLServer完成数据库的管理。
[0040]边缘服务器指的是具有高性能的嵌入式设备。本专利使用的设备型号为华为昇腾 atlas200Dk。实时采集的图像通过流媒体传输协议如RTSP协议(Real Time StreamingProtocol)传输到边缘服务器中，之后对采集到的图像进行图像预处理。由于线上图像与线下图像的差别较大，因此针对线上和线下图像采取不同的图像预处理方式。
[0041]作为一种优选的实施方式，图像预处理单元包含：第一预处理模块。第一预处理模块用于对线下课堂图像进行分割。
[0042]具体而言，线下课堂的摄像头大多为2k分辨率，即摄像头拍摄的视频进行截帧处理后获得的静态图像大小为2560
×
1440像素。因为深度学习网络输入的大小要求均远小于摄像头所获得的静态图像大小，所以需要对图像进行分割或缩放。为了网络中的正方形卷积核可以获得对称的感受野，输入图像的形状大多为正方形。如果直接将摄像头获得的静态图像暴力地调整尺寸，图像将出现明显的变形，图像中绝大多数的人脸都将成为小目标(即目标尺寸小于32
×
32像素)，后续目标检测准确率将会明显下滑。因此缩放并不适合线下课堂的检测任务。最终选择对图像进行分割。
[0043]为了解决摄像头获取的静态图像与目标检测网络框架要求的输入图像间的尺寸不匹配，对摄像头获取的静态图像进行分块操作。在本申请中，线下课堂图像的长宽比为16：9，为了使得分块后小图尺寸近似于正方形，减少送入网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分析的高校课堂氛围评价系统，其特征在于，包含：第一摄像头，用于采集线下课堂图像；第二摄像头，用于采集线上课堂图像；边缘服务器，用于接收所述第一摄像头采集到的所述线下课堂图像和所述第二摄像头采集到的线上课堂图像并对其进行处理和分析；所述边缘服务器包含：图像预处理单元，用于对接收到的所述线下课堂图像和所述线上课堂图像进行预处理；图像检测分析单元，用于对预处理后的所述线下课堂图像和所述线上课堂图像进行分析得到学生的参与度与专注度。2.根据权利要求1所述的基于图像分析的高校课堂氛围评价系统，其特征在于，所述图像预处理单元包含：第一预处理模块，用于对所述线下课堂图像进行分割。3.根据权利要求2所述的基于图像分析的高校课堂氛围评价系统，其特征在于，所述线下课堂图像的尺寸为16：9，所述第一预处理模块对所述线下课堂图像使用纵向3*2
n
‑1‑
1条分割线，横向2
n
‑
1条分割线进行等间隔分块；通过所述横向分割线对所述线下课堂图像进行分割后，在提取每一个单独的小图像时，实际截取的小图像在纵向和横向方向上均超出所述分割线的实际分割范围。4.根据权利要求3所述的基于图像分析的高校课堂氛围评价系统，其特征在于，所述图像预处理单元还包含：第二预处理模块，用于对所述线上课堂图像进行处理提取出其中的人脸区域。5.根据权利要求4所述的基于图像分析的高校课堂氛围评价系统，其特征在于，所述第二预处理模块首先将所述线上课堂图像转换为灰度图；然后对灰度化后的所述线上课堂图像进行二值化；在对二值化后的所述线上课堂图像进行轮廓提取并对提取到的轮廓生成...

【专利技术属性】
技术研发人员：周泓，高思敏，解颉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：