一种基于背景建模与光流法的录播系统学生起立检测方法技术方案

本发明专利技术公开一种基于背景建模与光流法的录播系统学生起立检测方法，包括以下步骤：步骤1，通过黑板正上方全景云台摄像机获取实时学生行为的视频，运行qt程序，对于具体教室环境设置预置信息并保存参数；步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标的目标矩形；步骤3，用LK光流法找到向上运动的目标矩形；步骤4，将向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出起立目标中心点的坐标信息；步骤5，起立目标的坐标信息与预置信息结合得出跟踪此起立目标所需的跟踪云台的角度焦距，串口发送指令给云台，使云台给起立目标特写，达到实时跟踪起立学生的效果。

A method based on background modeling and optical flow to detect students' standing up in the recording and broadcasting system

【技术实现步骤摘要】
一种基于背景建模与光流法的录播系统学生起立检测方法
本专利技术涉及录播设备中目标检测
，特别涉及一种基于背景建模与光流法的智能录播系统学生起立检测方法。
技术介绍
目前在教学监控学生起立发言定位的研究很少，各种运动目标识别方法，类似于帧差法、背景建模法、光流算法等都已经有较成熟的研究成果，所以本文在运动目标识别的基础上继续深入研究，综合运用多种方法，提出一种有效的学生起立检测方法。在课堂教学环境中对监控的对象进行目标识别是一件困难的事情，困难的因素主要来源于监控场景的复杂性，复杂性来源于以下几个方面：①教室内学生人数之多，每个学生都是一个具备运动行为的个体；②教室内光照变化的影响；③学生举手、身体晃动造成的干扰。要在这样的复杂的环境下对起立的学生进行识别，如果只从以往的单一的运动目标识别算法去考虑，会发现很难解决这个问题。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供一种基于背景建模与光流法的录播系统学生起立检测方法，本专利技术结合运动目标检测背景建模法运算速度快和光流法运动目标检测准确度高的特点，提出了背景建模与光流法结合的智能录播系统学生起立检测，创造性地设计了预置直线，克服了学生晃动所造成对起立干扰，有效的减少了误检与漏检，降低行为识别运算量，并且速度上能够上达到实时性。本专利技术的目的是通过以下技术方案实现的：一种基于背景建模与光流法的录播系统学生起立检测方法，包括以下步骤：步骤1，通过教室黑板正上方全景云台摄像机获取实时学生行为的视频，运行qt程序，对于具体教室环境设置预置信息并保存参数；步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标的外接矩形，即目标矩形；步骤3，用LK光流法找到向上运动的目标矩形；步骤4，将向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出起立目标中心点的坐标信息；步骤5，起立目标的坐标信息与预置信息结合得出跟踪此起立目标所需的跟踪云台的角度焦距，串口发送指令给云台，使云台给起立目标特写，达到实时跟踪起立学生的效果。进一步的，步骤(1)包括：(101)从显示屏上显示摄像机捕获到的实时的学生区域视频，运行qt程序，根据教室排数拖动5条预置直线，将教室学生区域分为5个区域，每个区域的学生坐下时低于该区域上方最近的预置直线，站起来高于该区域上方最近的预置直线；(102)教室前方某个位置设置预置位，它在视频图像中坐标记录为posA,调节跟踪摄像机的水平角度，竖直角度和焦距，对该位置站立的学生进行特写，记录此时的水平角度为hAngleA和竖直角度vAngleA，焦距zoomA，同理在教室后方某个位置设置预置位，坐标为posB，水平角度hAngleB和竖直角度vAngleB，焦距zoomB；(103)保留预置信息中的各个参数。进一步的，步骤(2)包括：(201)对摄像机获取的视频提取灰度信息；(202)对灰度信息采用混合高斯模型方法处理，获取前景目标；(203)画出前景目标的轮廓和目标矩形。进一步的，步骤(3)包括：(301)用opencv中的goodFeaturesToTrack函数检测当前帧目标矩形区域的角点point1；(302)用opencv中的calcOpticalFlowPyrLK函数检测灰度下一阵帧目标矩形区域对应于point1的角点point2；(303)若角点的横坐标变化小于1/3轮廓的外接矩形的宽d，纵坐标变化大于1/3轮廓的外接矩形的长L，即Point2[i].y-Point1[i].y<1/2d,Point2[i].y-Point1[i].y>1/3L,判定这一帧运动方向为向上；(304)连续5帧有向上运动趋势的目标矩形被保存。进一步的，步骤(4)包括：(401)确认步骤3中筛选后的目标矩形的中心点在步骤1中所在的划分区域。(402)找到此区域上方最近的预置直线，若目标矩形的上边高于此预置直线，判定为起立目标，输出此目标矩形的中心点的坐标。进一步的，步骤(5)包括：(501)步骤(4)中已经判定的起立目标的中心点的横坐标与纵坐标分别与跟踪云台摄像机的水平角度和垂直角度、焦距成线性关系，计算出特写起立目标时对应云台的角度与摄像机焦距，调整云台，实现对起立目标的跟踪；(502)为减少横向抖动，下一帧检测到的目标中心点会与上一帧的目标中心点比较，若横向波动较大，但纵向偏差小，则保持当前云台视角，有效增加跟踪的稳定性。与现有技术相比，本专利技术的技术方案所带来的有益效果是：1.本专利技术方法综合利用了背景建模法、光流法,通过高斯背景建模提取完整的运动目标和目标矩形，用光流法筛选向上运动的目标矩形，减小了坐下的学生左右晃动对起立学生的干扰，减小误检漏检。2.本专利技术方法根据具体教室环境，在qt程序界面上设置参数，方便调试。创造性地提出了“预置直线”的方法，把教室分为若干个区域，光流法筛选后的目标矩形的顶点若超过直线所在区域上方最近的直线，此目标矩形被判定为起立目标，可以在教室人数众多的环境下减少干扰，距离摄像机比较远的小目标也可以达到很好的检测效果。针对学生起立时候的晃动问题也做了云台控制优化处理，实现平稳跟踪。3.本专利技术方法易于实现，所需硬件简单，只需要两台云台摄像机，一台嵌入式开发板和一台显示器，比起深度学习对于硬件的要求，该算法易于落地，并且可以达到实时检测和跟踪学生起立的效果。附图说明图1是本专利技术方法的实施流程图。图2是本专利技术方法的实现仿真图。图3是通过qt程序进行学生区域划分的图示。具体实施方式以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术保护一种基于背景建模与光流法的录播系统学生起立检测方法，如图1所示，包括以下步骤：步骤1，通过教室黑板正上方云台摄像机获取实时学生行为的YUV视频，通过qt程序，对于具体教室环境设置预置信息并保存参数；作为本专利技术的进一步优化，本实施例步骤1中主要包括：101：从显示屏上显示实时的学生区域画面，运行qt程序，根据教室排数拖动预置直线，如图3所示，把教室中学生所在的位置分为Area1......Area5等5个区域，每个区域的学生坐下时低于该区域上方最近的预置直线，站起来高于该区域上方的预置直线，5条直线的各个端点分别为p1,p2......p10，斜率分别为k1,k2......k5,各斜率计算公式为：102：教室前方设置预置位，坐标即为posA,调节跟踪摄像机的水平角度，竖直角度和焦距，对该位置的学生进行特写，分别记录此时的水平角度hAngleA和竖直角度vAngleA，焦距zoomA，同理在教室后方设置预置位，坐标为posB，水平角度hAngleB和本文档来自技高网...

【技术保护点】
1.一种基于背景建模与光流法的录播系统学生起立检测方法，其特征在于，包括以下步骤：/n步骤1，通过教室黑板正上方全景云台摄像机获取实时学生行为的视频，运行qt程序，对于具体教室环境设置预置信息并保存参数；/n步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标的外接矩形，即目标矩形；/n步骤3，用LK光流法找到向上运动的目标矩形；/n步骤4，将向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出起立目标中心点的坐标信息；/n步骤5，起立目标的坐标信息与预置信息结合得出跟踪此起立目标所需的跟踪云台的角度焦距，串口发送指令给云台，使云台给起立目标特写，达到实时跟踪起立学生的效果。/n

【技术特征摘要】
1.一种基于背景建模与光流法的录播系统学生起立检测方法，其特征在于，包括以下步骤：
步骤1，通过教室黑板正上方全景云台摄像机获取实时学生行为的视频，运行qt程序，对于具体教室环境设置预置信息并保存参数；
步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标的外接矩形，即目标矩形；
步骤3，用LK光流法找到向上运动的目标矩形；
步骤4，将向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出起立目标中心点的坐标信息；
步骤5，起立目标的坐标信息与预置信息结合得出跟踪此起立目标所需的跟踪云台的角度焦距，串口发送指令给云台，使云台给起立目标特写，达到实时跟踪起立学生的效果。


2.根据权利要求1所述基于背景建模与光流法的录播系统学生起立检测方法，其特征在于，步骤(1)包括：
(101)从显示屏上显示摄像机捕获到的实时的学生区域视频，运行qt程序，根据教室排数拖动5条预置直线，将教室学生区域分为5个区域，每个区域的学生坐下时低于该区域上方最近的预置直线，站起来高于该区域上方的预置直线；
(102)教室前方某个位置设置预置位，它在视频图像中坐标记录为posA,调节跟踪摄像机的水平角度，竖直角度和焦距，对该位置站立的学生进行特写，记录此时的水平角度为hAngleA和竖直角度vAngleA，焦距zoomA，同理在教室后方某个位置设置预置位，坐标为posB，水平角度hAngleB和竖直角度vAngleB，焦距zoomB；
(103)保留预置信息中的各个参数。


3.根据权利要求1所述基于背景建模与光流法的录播系统学生起立检测方法，其特征在于，步骤(2)包括：
(201)对采集到的视频提取灰度信息；
(202)对灰度信息采用混合高...

【专利技术属性】
技术研发人员：苏寒松，李雪峰，刘高华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12