课堂前排就座率自动检测方法、系统及存储介质技术方案

本发明专利技术提供一种课堂前排就座率自动检测方法、系统及存储介质，该方法，包括：接收教室监控的视频画面图像，将视频画面图像拆分成图像序列；采用训练完成的U

【技术实现步骤摘要】
课堂前排就座率自动检测方法、系统及存储介质


[0001]本专利技术涉及AI+教育
，具体而言，尤其涉及一种课堂前排就座率自动检测方法、系统及存储介质。

技术介绍

[0002]现有技术在统计教室前排就座率时，多采用教务老师观看录像，进行人工统计的方式，费时费力；此外，也有在教室座椅上安装传感器实现前排就座率统计的方式，该方法准确度高，但是硬件成本高，不利于实际应用。

技术实现思路

[0003]根据上述提出的如何实现前排就座率的自动计算的技术问题，提供一种课堂前排就座率自动检测方法、系统及存储介质。本专利技术主要利用将AI技术与教育理论相结合，提出利用视觉人工智能算法实现对教室前排区域的检测，结合人头检测算法完成前排就坐率的自动计算。
[0004]本专利技术采用的技术手段如下：
[0005]一种课堂前排就座率自动检测方法，包括：
[0006]接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
[0007]采用训练完成的U
‑
Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
[0008]对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
[0009]获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；
[0010]确定前排区域后，采用人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。
[0011]进一步地，所述采用训练完成的U
‑
Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置，包括：
[0012]采用U
‑
Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U
‑
Net深度学习分割网络的训练。
[0013]进一步地，所述采用U
‑
Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U
‑
Net深度学习分割网络的训练，包括：
[0014]对数据进行标记，标记过程如下：
[0015]基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；
[0016]对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个
标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；
[0017]数据标记完成后，开始训练U
‑
Net深度学习分割网络，训练过程如下：
[0018]将U
‑
Net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。
[0019]进一步地，所述数据标记的顺序以左上角点起始按顺时针旋转。
[0020]进一步地，所述U
‑
Net深度学习分割网络采用改进的U
‑
Net深度学习分割网络，用于增加角点位置预测分支，使得单个网络模型能够同时作为区域分割或区域角点预测，方便后续处理。
[0021]进一步地，所述对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃，包括：
[0022]在获取视频画面图像中的座位区域及座位区域角点位置后，分别点2和点3、点4和点5、点6和点7以及点8和点1连线并延长，四条线段的延长线交点即为根据改进的U
‑
Net深度学习分割网络预测的角点确定的座位区域S1；
[0023]同时，UNet深度学习分割网络分割支路会预测监控画面中哪些像素位置属于座位区域，对这些像素进行膨胀腐蚀操作后，保留最大连通区域即得到由分割结果确定的座位区域S2；
[0024]如果网络的预测结果与实际偏差较小时，则S1、S2的面积及位置相近，计算S1与S2面积交集和S1与S2面积并集，再计算面积交集与面积并集相除的值与阈值0.65比较，若该值大于阈值，则接收预测结果，否则预测失败；
[0025]在预测结果接收后，令监控画面输入图像的四角坐标确定的区域为S3，根据S1与S3的四个对应角点的位置关系获得透视变化矩阵，将座位区域S1由不规则四边形矫正为规则长方形S4，方便后续的处理。
[0026]进一步地，所述人头检测算法具体为：
[0027]使用卷积神经网络将教室监控画面映射为维度固定的矩阵，通过对矩阵元素的解码与过滤，获得监控画面中学生人头的位置以及数量。
[0028]一种基于上述课堂前排就座率自动检测方法的课堂前排就座率自动检测系统，包括：
[0029]视频数据接收模块，用于接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
[0030]座位区域与座位区域角点检测模块，用于采用训练完成的U
‑
Net深度学习分割网络对所述视频数据接收模块拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
[0031]识别结果判断与座位区域矫正模块，用于对所述座位区域与座位区域角点检测模块得到的U
‑
Net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
[0032]前排区域提取模块，用于所述识别结果判断与作为区域矫正模块获得所述规则四
边形区域后，根据选择的位置阈值确定前排区域；
[0033]前排就座率计算模块，用于所述前排区域提取模块确定前排区域后，采用已开发人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。
[0034]一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述的课堂前排就座率自动检测方法。
[0035]较现有技术相比，本专利技术具有以下优点：
[0036]本专利技术将AI技术与教育理论相结合，提出利用视觉人工智能算法实现对教室前排区域的检测，结合人头检测算法完成前排就坐率的自动计算。该系统能够量化教育过程，用于反映教学质量，辅助学校的教学质量评估工作。从技术角度本系统能够自动识别前排区域，计算前排就座率。避免了人工统计的麻烦，且能够接入学校监系统，实时反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂前排就座率自动检测方法，其特征在于，包括：接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；采用训练完成的U
‑
Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；确定前排区域后，采用人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。2.根据权利要求1所述的课堂前排就座率自动检测方法，其特征在于，所述采用训练完成的U
‑
Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置，包括：采用U
‑
Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U
‑
Net深度学习分割网络的训练。3.根据权利要求2所述的课堂前排就座率自动检测方法，其特征在于，所述采用U
‑
Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U
‑
Net深度学习分割网络的训练，包括：对数据进行标记，标记过程如下：基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；数据标记完成后，开始训练U
‑
Net深度学习分割网络，训练过程如下：将U
‑
Net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。4.根据权利要求3所述的课堂前排就座率自动检测方法，其特征在于，所述数据标记的顺序以左上角点起始按顺时针旋转。5.根据权利要求3所述的课堂前排就座率自动检测方法，其特征在于，所述U
‑
Net深度学习分割网络采用改进的U
‑
Net深度学习分割网络，用于增加角点位置预测分支，使得单个网络模型能够同时作为区域分割或区域角点预测。6.根据权利要求1所述的课堂前排就座率自动检测方法，其特征在于，所述对获取的视频画面图像中的座位区域及座位区域角点位置进行后处...

【专利技术属性】
技术研发人员：肖鹏，于丹，王艳秋，彭苏婷，张彤，
申请(专利权)人：大连东软教育科技集团有限公司，
类型：发明
国别省市：