【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种目标检测学生行为的方法。
技术介绍
1、近年来，随着信息化、智能化的课堂环境，摄像头、电脑以及智能屏幕的广泛应用，使得深度学习目标检测算法对学生行为状态的识别成为可能，并进一步发展，作为课堂教育的对象，学生的行为状态直接反映了教师教学的效果与效率。关注学生的课堂表现与体验，将填鸭式接受型教育转换成互动式体验学习，是教育发展的促进剂。
2、基于深度学习的目标检测算法对课堂学生行为状态识别，打破了传统意义上的课堂教学活动分析方法，利用各种神经网络分类识别学生课堂行为动作，实时反映学生上课情况，直观及动态的量化学生课堂状态，提供更好更准确的教学分析方法，进一步推动智慧校园的建设和发展。
3、然而，由于课堂摄像头监控时人物数量较多，且在教室中由于摄像头的位置问题，导致学生在视频中的分辨率差别很大，有时还会存在严重的遮挡现象，不能很好的进行行为识别。
技术实现思路
1、本专利技术的目的是提出一种目标检测学生行为的方法，可以通过高效的目标检测分析算法，根据课堂监控视频进行学生行为分析，通过跟踪不同学生的行为特点来进行个性化教育。
2、为了实现上述目的，本专利技术所采用的技术方案如下：
3、步骤s1：图像采集；使用教室监控摄像头采集教师上课时学生的行为，对采集到的图像进行预处理；
4、步骤s2：目标识别；对视频帧进行目标框标注，识别采集视频中每个学生，并为每个学生建立行为记录日志，以计算每个学生上
5、步骤s3：行为特征提取；使用双分支网络对视频帧进行特征提取，第一个分支使用低帧率、高通道数的卷积网络来分析视频中的静态信息，第二个分支使用高帧率、低通道数的卷积网络来分析视频中的动态信息，检测整个视频中所有目标框，根据不同学生的目标框进行坐标roi映射得到每一名学生的特征；
6、步骤s4：行为分类；将第一分支和第二分支的结果作为全连接网络的输入，通过softmax层完成学生基本行为的识别，输出识别结果，对学生行为进行分类，将其分为举手、站立、写字、听讲、互相交谈、睡觉、玩手机不同类型，并进行可视化显示。
7、优选的，基于adaboost算法监测出视频帧中所有人脸部分，包括人脸图像的位置、大小，在此基础上进行人脸特征的特征点定位，提取人脸的特征信息，最后构造人脸的几何特征向量进行匹配识别。
8、优选的，第一分支使用一个较大的步长τ来采集视频帧，设置τ为16，第一分支通道数为d，第二分支使用一个较小的步长来采集视频帧，步长为τ/α，其中α设置为8，第二分支通道数为βd，β为通道比例，设置为1/8；第一分支和第二分支均使用3d卷积来提取特征，输入图像后，首先进行自下而上的连接，使用5个卷积层提取特征，将浅层特征和高层特征进行融合，并在每个分支的末端，执行全局平均池化。
9、优选的，将第二分支和第一分支通过侧向连接相连，将第二分支的数据送入第一分支之中，将第二分支的数据进行变换成第一分支的数据形式。
10、优选的，将第一分支和第二分支输入分类网络进行分类，在特征提取网络之后，不同目标使用不同的特征层来进行roi映射，融合不同尺度的特征，并使小目标在较大尺度的特征层上进行映射：
11、
12、其中，p是进行roi映射的特征层数，224是图像输入大小，p0是基准值，设置为5，w和h表示目标框的长和宽。
13、优选的，在检测学生在课堂上使用手机的异常行为时，首先判断是否有手机目标物出现，其次判断手机存在的持续时间，如果该时间超过预设的阈值，则视其为非正常使用手机的情况，将对该学生进行标记。
14、本专利技术通过上述技术方案，使用双分支网络对视频帧进行特征提取，第一个分支使用低帧率、高通道数的卷积网络来分析视频中的静态信息，第二个分支使用高帧率、低通道数的卷积网络来分析视频中的动态信息，得到每一名学生的特征，将第一分支和第二分支的结果作为全连接网络的输入，通过softmax层完成学生基本行为的识别，输出识别结果，解决了由于摄像头角度问题，场景中目标尺度不一致，小目标行为难以识别的问题。本专利技术的方法能够融合不同尺度的特征，在小目标在特征层上映射，更加准确识别小目标的行为。
本文档来自技高网...【技术保护点】
1.一种目标检测学生行为的方法，采用以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，优选的，基于AdaBoost算法监测出视频帧中所有人脸部分，包括人脸图像的位置、大小，在此基础上进行人脸特征的特征点定位，提取人脸的特征信息，最后构造人脸的几何特征向量进行匹配识别。
3.根据权利要求2所述的方法，其特征在于，在步骤S3中，第一分支使用一个较大的步长τ来采集视频帧，设置τ为16，第一分支通道数为D，第二分支使用一个较小的步长来采集视频帧，步长为τ/α，其中α设置为8，第二分支通道数为βD，β为通道比例，设置为1/8；第一分支和第二分支均使用3D卷积来提取特征，输入图像后，首先进行自下而上的连接，使用5个卷积层提取特征，将浅层特征和高层特征进行融合，并在每个分支的末端，执行全局平均池化。
4.根据权利要求3所述的方法，其特征在于，在步骤S3中，将第二分支和第一分支通过侧向连接相连，将第二分支的数据送入第一分支之中，将第二分支的数据进行变换成第一分支的数据形式。
5.根据权利要求1所述的方法，其特征在于，在步骤S4中，
6.根据权利要求1所述的方法，其特征在于，在检测学生在课堂上使用手机的异常行为时，首先判断是否有手机目标物出现，其次判断手机存在的持续时间，如果该时间超过预设的阈值，则视其为非正常使用手机的情况，将对该学生进行标记。
...【技术特征摘要】
1.一种目标检测学生行为的方法，采用以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤s2中，优选的，基于adaboost算法监测出视频帧中所有人脸部分，包括人脸图像的位置、大小，在此基础上进行人脸特征的特征点定位，提取人脸的特征信息，最后构造人脸的几何特征向量进行匹配识别。
3.根据权利要求2所述的方法，其特征在于，在步骤s3中，第一分支使用一个较大的步长τ来采集视频帧，设置τ为16，第一分支通道数为d，第二分支使用一个较小的步长来采集视频帧，步长为τ/α，其中α设置为8，第二分支通道数为βd，β为通道比例，设置为1/8；第一分支和第二分支均使用3d卷积来提取特征，输入图像后，首先进行自下而上的连接，使用5个卷积层提取特征，将浅层特征和高层特征进行融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。