基于图像分割的课堂前排就座率自动检测方法、系统及存储介质技术方案

本发明专利技术提供基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。该方法包括：接收教室监控的视频画面图像；对视频画面图像进行处理，分割出教室桌椅所在区域图像；提取教室桌椅所在区域图像中的前排桌椅所在位置图像；对视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；根据前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。该方法基于深度学习分割网络检测教室桌椅区域，能直接确定教室内学生就座的有效范围，无需手动标定或额外输入教室桌椅位置，在训练过程中使用基于透视变换的弹性形变等方法进行数据增强，扩充与丰富训练集，增强模型的鲁棒性与泛化性。型的鲁棒性与泛化性。型的鲁棒性与泛化性。

【技术实现步骤摘要】
基于图像分割的课堂前排就座率自动检测方法、系统及存储介质


[0001]本专利技术涉及图像分割
，具体而言，尤其涉及一种基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。

技术介绍

[0002]在大学课堂上，可能会出现两种极端现象：(1)上课之后，大部分学生都落座在教室中后排，而前排座位上学生寥寥无几；(2)某门课程十分火爆，所有座位都被坐满，甚至有学生坐在教室地面上听课。在这两种现象中，教室前排就座率作为一种表象，反映了课堂的教学质量。有研究指出，前排就座的同学倾向于得到较高成绩，体现了学生对课程学习的积极度与教室座次分布之间的相关性，可用于了解学生学习状态。学生落座前排的数目或占比有时也可反映教师所授课程是否有吸引力，因此也可用来评价教师授课水平或课程难度。因此前排就座率可作为课堂教学质量的一个评价维度，用于评价、诊断并改进课堂教学质量，为提升信息化教学质量提供有力支持。
[0003]教室环境较为复杂，现有的一些识别教室空座或评价课堂质量的技术或系统中，有些会利用外置传感器等设备测量记录教室的桌椅位置，相关配置复杂且需添置大批量硬件设备；有些则需要人为手动标定教室特定区域或桌椅位置的坐标，费时费力，且一旦摄像头进行了移动，则需重新进行标定。目前还没有根据教室监控视频图像自动检测前排就座率的方法或系统被提出，前排就座率的计算仍需要耗费大量人员与时间进行人为计数，效率低且十分浪费人力物力。

技术实现思路

[0004]根据上述提出的现有技术中课堂前排就座率检测效率低且浪费人力物力的技术问题，提供一种基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。本专利技术主要利用教室监控视频图像自动检测教室前排区域，并自动计算课程中教室内前排区域学生数与教室总学生数比值，旨在不依赖外部设备或手动标定来自动检测前排就座率。
[0005]本专利技术采用的技术手段如下：
[0006]一种基于图像分割的课堂前排就座率自动检测方法，包括：
[0007]接收教室监控的视频画面图像；
[0008]对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像；
[0009]提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像；
[0010]对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；
[0011]根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。
[0012]进一步地，所述对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区
域图像，包括：
[0013]将所述接收到的视频画面图像切分为序列图像；
[0014]依次调整序列图像的大小，将序列图像的大小调整到深度学习分割网络要求的尺寸；
[0015]将调整好大小的序列图像输入到训练好的深度学习分割网络中，经过网络处理后输出分割网络预测的教室内桌椅区域部分的掩码，取所有掩码的并集作为教室桌椅区域掩码。
[0016]进一步地，所述深度学习分割网络包括U
‑
Net、MaskRCNN，所述深度学习分割网络的输出层为与输入同尺寸的概率图，图上每个像素值表示该点属于分割区域的概率，设置阈值将概率值转为0或1，1表示分割区域。
[0017]进一步地，所述深度学习分割网络的训练过程，包括：
[0018]数据标注：设置固定帧数对教室监控视频进行间隔采集，采集到的所有图像作为训练集图像，并对桌椅区域进行标注，计算得到标注位置的坐标，标注位置为桌椅区域的四个角点、最前排和最后排桌子的中点、第三排桌子最边缘且靠近后排的桌角；
[0019]数据增强：训练时对训练集进行数据增强，增强方法包括弹性形变、透视变换、旋转、水平翻转、随机裁剪、通道转换、亮度、对比度、饱和度和色调，其中弹性形变基于透视变换，旋转和随机裁剪需保证桌椅区域保持完整和始终处于图像内；
[0020]损失函数：网络损失函数使用交叉熵损失函数与dice损失函数，并设置不同权重使网络收敛。
[0021]进一步地，所述提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像，包括：
[0022]计算分割得到的掩码区域m
inter
的面积，保留面积最大的掩码区域作为桌椅区域；
[0023]检测桌椅区域的轮廓，并计算得到轮廓的最小外接矩形；
[0024]计算最小外接矩形的角点坐标，得到最小外接矩形左右两条边的中点坐标，与最小外接矩形下边两端点坐标；
[0025]根据教室特征对角点坐标进行策略调整，得到包围区域，使包围区域逐渐逼近教室前排区域，并输出前排区域坐标。
[0026]进一步地，所述对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息，包括：
[0027]将所述序列图像输入到训练好的深度学习人头检测网络中，检测并输出图像中出现的所有人头坐标与总人头数。
[0028]进一步地，所述根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率，包括：
[0029]通过桌椅区域掩码对人头坐标进行限制，排除位于讲台上的老师或窗户倒影中误检的人头，得到学生人头坐标与学生人头总数；
[0030]根据学生人头坐标判断学生是否出现在所述包围区域内并进行计数，得到前排人数；
[0031]计算前排就座率，并输出前排就座率的最终计算结果。
[0032]一种基于上述基于图像分割的课堂前排就座率自动检测方法的基于图像分割的
课堂前排就座率自动检测系统，包括：
[0033]视频数据接收模块，用于接收教室监控的视频画面图像；
[0034]教室桌椅区域分割模块，用于对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像；
[0035]教室前排区域提取模块，用于提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像；
[0036]人头检测模块，用于对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；
[0037]前排就座率计算模块，用于根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。
[0038]一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述基于图像分割的课堂前排就座率自动检测方法。
[0039]较现有技术相比，本专利技术具有以下优点：
[0040]1、本专利技术提供的基于图像分割的课堂前排就座率自动检测方法、系统，仅需要输入教室监控视频或图像即可自动检测教室前排区域位置，并自动计算前排就座率，无需配置外部设备、手动标定位置坐标或人工计数，能极大地提升前排就座率检测效率，有效节省人力物力。
[0041]2、本专利技术提供的基于图像分割的课堂前排就座率自动检测方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割的课堂前排就座率自动检测方法，其特征在于，包括：接收教室监控的视频画面图像；对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像；提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像；对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。2.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像，包括：将所述接收到的视频画面图像切分为序列图像；依次调整序列图像的大小，将序列图像的大小调整到深度学习分割网络要求的尺寸；将调整好大小的序列图像输入到训练好的深度学习分割网络中，经过网络处理后输出分割网络预测的教室内桌椅区域部分的掩码[m1,m2,...,m
i
]，取所有掩码的并集m
inter
作为教室桌椅区域掩码。3.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述深度学习分割网络包括U
‑
Net，所述深度学习分割网络的输出层为与输入同尺寸的概率图，图上每个像素值表示该点属于分割区域的概率，设置阈值将概率值转为0或1，1表示分割区域。4.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法其特征在于，所述深度学习分割网络的训练过程，包括：数据标注：设置固定帧数对教室监控视频进行间隔采集，采集到的所有图像作为训练集图像，并对桌椅区域进行标注，计算得到标注位置的坐标，标注位置为桌椅区域的四个角点、最前排和最后排桌子的中点、第三排桌子最边缘且靠近后排的桌角；数据增强：训练时对训练集进行数据增强，增强方法包括弹性形变，弹性形变基于透视变换，旋转和随机裁剪需保证桌椅区域保持完整和始终处于图像内；损失函数：网络损失函数使用交叉熵损失函数与dice损失函数，并设置不同权重使网络收敛。5.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法其特征在于，所述提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像，包括：计算分割得到的掩码区域m
inte...

【专利技术属性】
技术研发人员：王艳秋，于丹，肖鹏，彭苏婷，张彤，
申请(专利权)人：大连东软教育科技集团有限公司，
类型：发明
国别省市：