一种录播系统中学生起坐动作的检测方法及系统技术方案

本发明专利技术的一种录播系统中学生起坐动作的检测方法及系统，包括以下步骤：S100、采集一帧图像；S200、对采集的图像进行预处理；S300、对预处理后的图像进行前景提取获取运动历史图；S400、对运动历史图进行可能性目标判定并保存；S500、对保存的信息通过判定模块进行两级判定得到起立与坐下的坐标。本发明专利技术的录播系统中学生起坐动作的检测方法及系统，提供一种基于运动历史图和梯度方向的学生起立、坐下动作检测方法，采用两级判别对起立和坐下动作进行判断来提高检测准确率。利用运动历史图解决背景建模等方法检测目标不完整的问题，对完整目标提取全局运动角度，最终采用两级判别法进行判别。

【技术实现步骤摘要】
一种录播系统中学生起坐动作的检测方法及系统
本专利技术涉及运动检测
，具体涉及一种录播系统中学生起坐动作的检测方法及系统。
技术介绍
在智慧录播中，学生的互动监控主要采取检测学生的起立与坐下动作，一些检测设备采用电容压感等方式，这种检测方法需要在每个座位上配备一个装备，代价高，成本大。为了节约成本，基于视觉处理的方法越来越受到关注。CN102096930A(专利号)采用背景建模的方式判定运动目标，然后利用模板匹配进行学生起立坐下判定，这种方法完全没有考虑到其他运动带来的干扰，误检率很高；CN110728696A首先利用背景建模选出运动目标，再利用特征点加稀疏光流的方法进行起立判定，最后根据预先设定好的线进行给出判定结果，这种方法有几个缺点：一、单纯的背景建模方法在教室这种复杂的环境下，很难提取一个完整的运动目标；二、特征点容易受光线和着装的干扰，光流法的计算复杂度大；三、预先划线的方法受限太多，如果摄像机稍微移动，则整个判定条件都会失效。
技术实现思路
本专利技术提出的一种录播系统中学生起坐动作的检测方法及系统，可解决上述技术缺陷。为实现上述目的，本专利技术采用了以下技术方案：一种录播系统中学生起坐动作的检测方法，包括以下步骤：S100、采集一帧图像；S200、对采集的图像进行预处理；S300、对预处理后的图像进行前景提取获取运动历史图；S400、对运动历史图进行可能性目标判定并保存；S500、对保存的信息通过判定模块进行两级判定得到起立与坐下的坐标。进一步的，S200中对采集的图像进行预处理包括把采集的4K图像的高与宽分别缩放为原来的1/4，然后进行高斯滤波处理。进一步的，所述S300、对预处理后的图像进行前景提取获取运动历史图；具体包括：(c1)采用帧间差法即当前帧中的每一个点与之前帧对应点的像素值差的绝对值，两帧差法对应的是前一帧，三帧差法对应的是前两帧，以此类推，公式如1所示，F(x,y)＝abs(I(x,y)-Ipre(x,y))(1)其中，F(x,y)表示帧差后的结果，abs()表示绝对值处理，I(x,y)表示当前帧坐标(x,y)的像素值，Ipre(x,y)表示之前帧坐标(x,y)的像素值；具体的，创建一个存储4帧图像的环形buf，取出buf[i]与buf[i+2]中的图像，使用公式(1)计算出帧差后的结果；(c2)运动历史图是将发生运动的运动历史图像素设置为当前时间戳，而清除很久以前最后一次发生运动的运动历史图像素，公式如2所示，具体的，设定二值化阈值为13，对F(x,y)进行二值化得到silh(x,y)，当silh(x,y)≠0时，运动历史图mhi(x,y)的值取当前系统时间timestamp，当silh(x,y)＝0并且mhi(x,y)小于当前系统时间timestamp减去持续时间duration时，运动历史图mhi(x,y)的值为0，其他情况下mhi(x,y)的值保持不变；通过以上步骤得到运动目标的二值化图像，对二值化图像进行3*3形态学腐蚀、膨胀处理，然后提取运动目标的外接矩形作为可能性起立坐下目标模块判定的输入。进一步的，所述S300中根据教室场景学生的座位的实际情况，duration变量的值取0.3到0.5之间。进一步的，所述S400、对运动历史图进行可能性目标判定并保存具体包括，起立的向上角度设置为angle>80并且angle<170，坐下的向下角度设置为angle>200并且angle<300；具体的角度求解包括梯度方向求解和全局运动方向求解；其中，(d1)梯度方向求解梯度方向计算如公式3所示，具体的，使用sobel算子分别计算出和然后使用fastAtan2函数求取算子的反正弦得到运动历史图的梯度方向；(d2)全局运动方向求解全局运动方向是计算所选区域的平均方向，根据平均方向求出一个0到360的角度值；平均方向是根据加权方向直方图计算的，权重计算公式为ω＝ax+b，其中b＝1-t*a，最终其中t表示mhi中的timestamp，dt表示mhi中的duration，从公式中可知最近的运动具有较大的权重，而过去发生的运动具有较小的权重；具体的，把梯度方向图按照0到360度划分为12等份，得到梯度方向直方图，寻找梯度方向直方图最大值的坐标作为基本方向，根据权重公式及初始化权重系数计算出运动历史图的权重，计算基本方向的相对偏移量，根据偏移量和基本方向可求出最终的运动方向角度。进一步的，所述S500、对保存的信息通过判定模块进行两级判定得到起立与坐下的坐标，具体采用了两级判定的方式来提升检测的精度；在第一级判定中利用起立坐下运动的连续性特点，通过计算目标连续多帧的运动方向判断起立坐下动作，第二级起立判定在第一级的基础上加入人脸检测来确定最终的判定结果，第二级坐下判定采用HOG特征相似度比较进行判定。进一步的，第一级判定是根据学生起立、坐下运动的特点，连续10帧存在上升运动的趋势则认为是起立动作，连续10帧存在下降运动的趋势则认为是坐下的动作；具体步骤，首先是相邻帧相似区域的运动判断，初始化会建立一个特征提取向量，用来存储所有可能性目标的运动角度、运动的坐标区域，假设当前帧提取出前景区域的运动角度满足angle>80并且angle<170，则采用非极大值抑制的方式把该区域坐标与上一帧所有的坐标进行比较，考虑到运动过程中产生的干扰，可能存在连续3帧运动角度不满足angle>80并且angle<170的情况，因此当两帧运动区域重合的面积与两者面积之间最小值的比值大于0.5则判定两个区域是相似区域，帧计数加一，如果连续3帧运动角度都不满足angle>80并且angle<170条件则帧计数清零，当有满足帧计数大于10的特征向量，则会进一步对该向量中所有存储的angle进行判断，只有满足angle>80并且angle<95的个数大于等于5帧是判定为起立的动作；坐下动作判定跟起立动作判定逻辑相同，在最终判定的时候只需要判定特征向量的帧计数是否大于10帧，大于10帧则判定为坐下的动作。进一步的，第二级采用人脸检测的方法进行起立判定；在第一级确定的位置两秒内，取出10帧并合并成一帧图像进行检测，如果检测出两张及以上人脸，并且人脸的几何位置在所选位置的上半部分则判定为起立动作；对于坐下动作，则是在第一级确定位置后的每一帧提取HOG特征与存储图像的HOG特征进行相似度比较，如果相似度的值小于0.7则判定为坐下。另一方面，本专利技术还公开一种录播系统中学生起坐动作的检测系统，包括以下单元，图像采集模块，用于采集学生上课场景中的图像；图像预处理模块，用于对采集的图像进行预处理；前景提取模块，用于对预处理后的图像进行前景提取获取本文档来自技高网...

【技术保护点】
1.一种录播系统中学生起坐动作的检测方法，其特征在于：包括以下步骤：/nS100、采集一帧图像；/nS200、对采集的图像进行预处理；/nS300、对预处理后的图像进行前景提取获取运动历史图；/nS400、对运动历史图进行可能性目标判定并保存；/nS500、对保存的信息通过判定模块进行两级判定得到起立与坐下的坐标。/n

【技术特征摘要】
1.一种录播系统中学生起坐动作的检测方法，其特征在于：包括以下步骤：
S100、采集一帧图像；
S200、对采集的图像进行预处理；
S300、对预处理后的图像进行前景提取获取运动历史图；
S400、对运动历史图进行可能性目标判定并保存；
S500、对保存的信息通过判定模块进行两级判定得到起立与坐下的坐标。


2.根据权利要求1所述的录播系统中学生起坐动作的检测方法，其特征在于：S200中对采集的图像进行预处理包括把采集的4K图像的高与宽分别缩放为原来的1/4，然后进行高斯滤波处理。


3.根据权利要求1所述的录播系统中学生起坐动作的检测方法，其特征在于：所述S300、对预处理后的图像进行前景提取获取运动历史图；
具体包括：
(c1)采用帧间差法即当前帧中的每一个点与之前帧对应点的像素值差的绝对值，两帧差法对应的是前一帧，三帧差法对应的是前两帧，以此类推，公式如1所示，
F(x,y)＝abs(I(x,y)-Ipre(x,y))(1)
其中，F(x,y)表示帧差后的结果，abs()表示绝对值处理，I(x,y)表示当前帧坐标(x,y)的像素值，Ipre(x,y)表示之前帧坐标(x,y)的像素值；
具体的，创建一个存储4帧图像的环形buf，取出buf[i]与buf[i+2]中的图像，使用公式(1)计算出帧差后的结果；
(c2)运动历史图是将发生运动的运动历史图像素设置为当前时间戳，而清除很久以前最后一次发生运动的运动历史图像素，公式如2所示，



具体的，设定二值化阈值为13，对F(x,y)进行二值化得到silh(x,y)，当silh(x,y)≠0时，运动历史图mhi(x,y)的值取当前系统时间timestamp，当silh(x,y)＝0并且mhi(x,y)小于当前系统时间timestamp减去持续时间duration时，运动历史图mhi(x,y)的值为0，其他情况下mhi(x,y)的值保持不变；
通过以上步骤得到运动目标的二值化图像，对二值化图像进行3*3形态学腐蚀、膨胀处理，然后提取运动目标的外接矩形作为可能性起立坐下目标模块判定的输入。


4.根据权利要求3所述的录播系统中学生起坐动作的检测方法，其特征在于：所述S300中根据教室场景学生的座位的实际情况，duration变量的值取0.3到0.5之间。


5.根据权利要求3所述的录播系统中学生起坐动作的检测方法，其特征在于：所述S400、对运动历史图进行可能性目标判定并保存具体包括，
起立的向上角度设置为angle>80并且angle<170，坐下的向下角度设置为angle>200并且angle<300；
具体的角度求解包括梯度方向求解和全局运动方向求解；
其中，
(d1)梯度方向求解
梯度方向计算如公式3所示，



具体的，使用sobel算子分别计算出和然后使用fastAtan2函数求取算子的反正弦得到运动历史图的梯度方向；
(d2)全局运动方向求解
全局运动方向是计算所选区域的平均方向，根据平均方向求出一个0到360的角度值；
平均方向是根据加权方向直方图计算的，权重计算公式为ω＝a...

【专利技术属性】
技术研发人员：张进，蒋守欢，廖亮亮，王满海，
申请(专利权)人：安徽天虹数码科技股份有限公司，
类型：发明
国别省市：安徽;34